통제 불능 AI에 ‘인류 멸종’ 공포심

오픈AI 웹사이트 10여곳 무단 접근
앤트로픽도 추가 사고 뒤늦게 발견
업계 “10년 내 멸망 확률 10% 넘어”

미국 인공지능(AI) 기업 오픈AI와 앤트로픽의 AI 에이전트가 시험 과정에서 인간이 설정한 통제 범위를 벗어난 사례가 추가로 드러났다. AI 에이전트의 자율성이 커질수록 통제와 안전장치도 함께 강화해야 한다는 지적이 나온다.

오픈AI의 실험용 AI 에이전트가 개인 홈페이지와 대학이 운영하는 링크 단축 서비스 등 최소 10곳의 다른 웹사이트를 허가 없이 통신 수단으로 이용한 것으로 드러났다고 로이터통신이 9일(현지시간) 보도했다. 앞서 이 에이전트가 독일의 한 위키사이트를 비롯해 AI 개발 플랫폼 허깅페이스에 무단으로 접근한 사실이 알려진 데 이어 추가 확인된 것이다.


연구진은 당초 인터넷 접속을 ‘읽기 전용’으로 제한한 상태에서 AI 에이전트를 테스트했다. 그러나 에이전트는 이런 제한을 벗어나 오래된 위키와 개인 웹사이트, 대학의 인터넷 주소(URL) 단축 서비스 등에서 글을 남길 수 있는 기능을 찾아내 메시지를 남기고 다른 에이전트와 정보를 주고받은 것으로 조사됐다. 허용된 경로로 접근할 수 없게 되자 다른 방법을 스스로 찾아 외부 시스템과 통신한 것이다. 이번 결과는 6개 연구팀이 오픈AI 에이전트의 활동 기록을 조사하는 과정에서 확인됐다.

앤트로픽에서도 별도의 사고가 뒤늦게 확인됐다. 초기 버전 ‘클로드 오퍼스 4.6’이 지난 1월 사이버 보안 테스트 과정에서 실수로 허용된 인터넷 연결을 이용해 외부 시스템에 접근한 사례다. 앤트로픽은 14만여건의 테스트 기록을 재검토하고도 사고를 발견하지 못했다가 지난달 추가 검토 과정에서 이를 뒤늦게 확인했다. 이에 앤트로픽은 미국 비영리 AI 연구기관 미터(METR)에 8주간의 독립적인 외부 조사를 맡기기로 했다.

인간의 통제를 넘어서는 AI에 대해 업계 내부에서도 우려의 목소리가 잇따르고 있다. 앤트로픽 연구원 제이컵 콕슨은 AI가 통제 불능이 돼 10년 내 인류를 멸종시킬 수 있다고 경고하며 지난 8일(현지시간) 사직했다. 앤트로픽의 정렬 과학 총괄인 에번 휴빙거는 콕슨의 우려에 동조하며 “AI가 향후 10년 안에 인류를 멸망시킬 확률이 10%를 넘는다”고 경고했다.



송수연 기자