소식 LLM을 단일 파일 형태로 PC에 탑재…엣지 AI에서 실행되는 휴대용 LLM 등장
- BarryWhite
- 조회 수 400
- 2023.12.04. 19:36
대형언어모델(LLM)을 단일 실행 파일 형태(.exe)로 변환, PC에서 간단하게 활용 가능하게 만든 '온디바이스 AI' 솔루션이 나왔다.
이를 활용하면 LLM을 USB에 저장, 어디에서든 LLM을 사용할 수 있게 된다. 방대한 규모의 LLM을 복잡한 과정없이 즉시 실행 가능한 파일 형태로 배포하는 획기적 방식이라는 평가다.
해커데이는 3일(현지시간) 모질라가 LLM의 배포 및 활용 방식을 변화시키기 위해 설계한 오픈 소스 솔루션 '라마파일(llamafile)'을 공개했다고 보도했다. 이는 메타의 '라마 2'를 미세조정한 '라바 1.5 7B(llava-v1.5-7b)' 버전이다.
이에 따르면 라마파일은 LLM 가중치 세트를 단일 독립 바이너리 실행 파일로 변환, 별도의 설치가 필요 없이 맥OS이나 윈도우, 리눅스, 프리BSD, 오픈BSD, 넷BSD 등 6가지 운영 체제에서 원활하게 작동할 수 있다. 라마파일의 크기는 3.97기기바이트(GB)다.
🥇소식게 수호자🥇미게 지박령🥉큰게 좋아🥇미코의 잡담왕🥈유게 공무원🥉할인 경보📝게시판 소유자✨️🥉에로게 심심이
댓글
0