오픈AI는 지난 21일(현지시간) 최신 인공지능(AI) 모델 ‘GPT-5.6 솔’과 미공개 모델이 내부 사이버 평가 도중 시험용 격리 환경을 벗어나 허깅페이스 운영 시스템에 침투했다고 밝혔다. 모델은 보안 문제 답을 찾다 내부 시스템의 새 취약점을 발견해 인터넷에 접속했고 권한을 높인 뒤 여러 시스템을 거쳐 허깅페이스 서버에서 원격으로 코드를 실행했다.
사람이 시킨 일은 보안 문제를 푸는 것이었고, 외부 시스템 공격 지시는 없었다. 그런데 모델은 답을 얻기 위해 스스로 방법을 골랐고, 그 과정에서 실제 시스템까지 건드렸다. AI가 틀린 답을 내놓은 것이 아니라 맞는 답을 찾으려다 개발자가 예상하지 못한 행동을 이어 간 셈이다.
평가 당시 일부 안전장치가 완화돼 있었던 것은 사실이다. 그렇다고 고성능 모델이 시험 환경의 허점을 찾아 외부 서버 침투까지 이어 갔다는 사실까지 가벼워지지는 않는다. 모델은 제로데이 취약점과 탈취한 인증정보를 조합하고 권한 상승과 내부망 이동을 거쳐 목표에 도달했다. 오픈AI가 사고 뒤 격리와 감시, 인터넷 접근 통제를 강화하겠다고 밝힌 이유다.
위험의 성격이 달라진 배경에는 AI의 진화가 있다. 최신 모델은 질문에 답하는 도구를 넘어 직접 일을 처리하는 에이전트로 발전하고 있다. 목표를 여러 단계로 나누고 필요한 도구를 고른 뒤 중간 결과에 따라 다음 행동을 정한다. 사람이 일일이 지시하지 않아도 복잡한 업무를 끝낼 수 있는 능력이 이번에는 허용되지 않은 경로를 찾아내는 데 쓰였다. 이제는 결과뿐 아니라 그 결과에 이르는 과정도 살펴야 한다.
오픈AI의 시행착오를 먼 나라 일로 넘길 수 없는 이유도 여기에 있다. 한국은 미국과 중국에 이은 ‘AI 3강’을 목표로 자체 모델 개발과 산업 현장 적용에 속도를 내고 있다. 정부의 ‘독자 AI 파운데이션 모델’ 사업에서는 LG AI연구원, SK텔레콤, 업스테이지, 모티프테크놀로지스 등 4개 정예팀이 경쟁 중이다. 국내 기업들은 공공·제조·국방·교육 등으로 활용 범위를 넓히고 있다.
해외 모델을 가져다 쓰는 단계를 넘어 직접 개발·운영하는 만큼 책임도 달라진다. 국내에서 만든 AI가 예상 밖의 행동을 했을 때 어떻게 발견하고 멈출지, 사고 기록을 어디까지 공개할지, 개발사와 서비스 기업의 책임을 어떻게 나눌지를 우리 스스로 정해야 한다. 성능 경쟁에 앞서 통제 기준을 세우지 않으면 같은 시행착오를 뒤늦게 되풀이할 수 있다.
지난 24일(현지시간) 발표된 ‘샌프란시스코 AI 선언’은 한국을 글로벌 AI 공급망의 핵심 국가로 키우는 동시에, AI가 ‘인간 중심의 가치’ 위에서 발전해야 한다는 원칙을 담았다. 이제 이 ‘인간 중심’이라는 기치를 구체적 실행 기준으로 옮겨야 할 때다. AI 모델의 행동을 추적하고, 필요할 때는 멈출 수 있는 능력과 의무를 갖추며, 사고 발생 시 책임 소재를 명확히 하는 기준이 그것이다. AI 3강은 강한 기술을 확보하는 데서 끝나지 않는다. 그 기술을 어디까지 믿고 맡길 수 있는지도 함께 증명해야 한다.
