AI 500종 맘대로 쓰는 KT ‘토큰팩토리’

모델·비용·보안 통합관리 플랫폼
기업 고객 대상 30일 정식 출시

KT가 국내외 인공지능(AI) 모델 500개 이상을 한곳에서 이용하고 사용량과 비용까지 통합 관리할 수 있는 AI 플랫폼 ‘토큰팩토리’를 선보였다.

KT는 27일 서울 종로구 광화문 웨스트빌딩에서 AI 모델 선택부터 비용 관리, 보안 기능까지 제공하는 KT 토큰팩토리를 공개했다고 밝혔다. 정식 출시는 오는 30일이다.


토큰팩토리는 AI 모델별로 다른 성능과 비용을 고려해 업무 목적에 맞는 모델을 선택하고 사용량을 관리할 수 있는 플랫폼이다. 기업 고객은 여러 AI 모델을 개별적으로 구독하거나 관리할 필요 없이 하나의 플랫폼에서 모델 선택과 이용 현황 모니터링, 결제까지 처리할 수 있다.

KT는 자체 개발한 AI 모델 라우팅 기술 ‘오토 모델 라우터’를 적용해 비용 효율성을 높였다. 이 기술은 질문의 업무 유형과 난이도, 요구 품질, 비용 등을 종합적으로 분석해 적합한 AI 모델을 자동으로 선택한다.

KT에 따르면 오토 모델 라우터는 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 ‘라우터아레나’에서 종합 1위를 기록했다.



한국어 특성을 고려한 프롬프트 압축 기술도 적용했다. 불필요한 반복 표현 등을 제거해 질문의 의미와 응답 품질을 유사하게 유지하면서 입력 토큰 수를 줄이는 방식이다. KT는 이런 자체 기술을 통해 AI 이용에 필요한 토큰 사용량을 최대 25% 절감할 수 있다고 설명했다.

데이터 주권과 보안 기능도 강화했다. 해외 AI 서비스 의존에 따른 데이터 유출 우려를 줄이기 위해 국내 KT 데이터센터에서 자체 AI 추론 서비스를 제공한다. KT 자체 AI 모델을 비롯해 국내외 오픈웨이트 모델, 독자 AI 파운데이션 모델 등을 국내 인프라에서 활용할 수 있도록 지원한다.

김지예 기자