크래프톤이 자체 개발한 음성 AI 파운데이션 모델인 A.X. K2 라온 스피치(A.X K2 Raon-Speech)를 글로벌 AI 플랫폼 허깅페이스(Hugging Face)에 공개했다. 이번에 선보인 모델은 과학기술정보통신부가 주관하는 독자 AI 파운데이션 모델 프로젝트의 SK텔레콤 정예팀에 참가해 거둔 2차수 연구 성과다.

해당 모델은 210억 파라미터 규모로 개발되었으며, 300억 이하급 공개 음성 언어 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 차지했다. 평가는 음성 인식과 합성, 이해, 음성 및 텍스트 질의응답, 도구 호출 등 6개 영역에서 치러졌다. 평가에는 리브리스피치, K스폰스피치, 보이스벤치, K보이스벤치, MMAU, KMMAU, API-뱅크, 펑션챗 벤치 등 총 46개의 벤치마크가 활용됐다.

A.X. K2 라온 스피치는 SK텔레콤의 소형 언어 모델에 크래프톤이 자체 학습한 음성 인코더와 코덱을 적용해 음성 이해와 생성 능력을 갖췄다. 기존의 대화 시스템은 사용자의 목소리를 텍스트로 바꾸는 과정에서 감정과 억양이 손실되는 한계가 있었다. 반면 이번 모델은 사용자 음성에 담긴 정보를 그대로 활용해 한층 자연스러운 답변을 생성한다.

크래프톤은 지난 4월 AI 모델 브랜드 라온(Raon)을 출범하고 라온 스피치, 실시간 음성 대화 모델인 라온 스피치챗, 텍스트-음성 변환 모델인 라온 오픈TTS, 비전 인코더인 라온 비전인코더를 공개했다. 이강욱 CAIO는 "A.X K2 라온 스피치는 크래프톤이 AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물"라며 "앞으로도 게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나갈 것"이라고 말했다.

크래프톤은 이번 연구로 쌓은 음성 AI 역량을 사용자 플레잉 AI 캐릭터인 씨피씨(CPC, Co-Playable Character)를 고도화하는 데 활용한다. CPC가 사용자의 목소리와 의도를 파악하고 게임 상황에 적절한 음성으로 반응하도록 하여, 이용자와 AI가 유기적으로 상호작용하는 게임 환경을 구축한다.