카카오가 국내 IT 업계 최초로 한국어 AI 언어 모델의 펑션콜 성능 평가를 위한 데이터셋 'FunctionChat-Bench'를 구축, 오픈소스로 공개했습니다.

펑션콜이란 AI 언어 모델이 스스로 할 수 없는 동작을 지시하거나, 학습하지 않은 정보를 실시간으로 받아올 수 있도록 외부 도구와 연결하는 기술입니다. 예를 들어, 지도 API와 연결하면 실시간 도로 정보를 가져와 답변하는 방식입니다.

기존 펑션콜 성능 평가 데이터셋은 대부분 영어 기반이었지만, 카카오는 한국어 기반 AI 생태계 활성화를 위해 FunctionChat-Bench를 개발했습니다.

FunctionChat-Bench는 함수 이름과 인자 추출의 정확성, 함수 호출 결과 전달의 정확성, 누락 정보 인지, 호출 가능한 함수와의 관련성 감지 등을 평가합니다. 특히, 기존 데이터셋과 달리 함수 호출 전후 사용자와의 상호 작용 메시지 생성 능력까지 평가 영역에 포함한 것이 특징입니다.

카카오는 깃허브를 통해 FunctionChat-Bench를 공개했으며, 향후 데이터셋 규모를 확장하고 영어 버전도 추가할 계획입니다.