대형언어모델(LLM)을 단일 실행 파일 형태(.exe)로 변환, PC에서 간단하게 활용 가능하게 만든 '온디바이스 AI' 솔루션이 나왔다. 

이를 활용하면 LLM을 USB에 저장, 어디에서든 LLM을 사용할 수 있게 된다. 방대한 규모의 LLM을 복잡한 과정없이 즉시 실행 가능한 파일 형태로 배포하는 획기적 방식이라는 평가다.

해커데이는 3일(현지시간) 모질라가 LLM의 배포 및 활용 방식을 변화시키기 위해 설계한 오픈 소스 솔루션 '라마파일(llamafile)'을 공개했다고 보도했다. 이는 메타의 '라마 2'를 미세조정한 '라바 1.5 7B(llava-v1.5-7b)' 버전이다.

이에 따르면 라마파일은 LLM 가중치 세트를 단일 독립 바이너리 실행 파일로 변환, 별도의 설치가 필요 없이 맥OS이나 윈도우, 리눅스, 프리BSD, 오픈BSD, 넷BSD 등 6가지 운영 체제에서 원활하게 작동할 수 있다. 라마파일의 크기는 3.97기기바이트(GB)다.