소식 LLM 단일 파일로 배포‧실행, 처리 능력 10배 향상
- BarryWhite
- 조회 수 198
- 2024.04.04. 13:36
대규모 언어 모델(LLM)을 단 4GB 정도 실행 파일 하나로 손쉽게 배포하고 실행할 수 있게 해주는 패키지인 라마파일(llamafile) v0.7이 공개됐다. 이번 버전에선 CPU와 GPU 모두 계산 성능과 정확도가 향상됐으며 AVX-512 명령어 세트 아키텍처 지원으로 AMD 젠4(Zen4) 아키텍처 CPU 등에서 프롬프트 처리 시간이 10배 빨라졌다고 한다.
라마파일은 대부분 시스템에서 실행 가능한 단일 파일로 LLM을 제공해 개발자와 엔드유저가 LLM을 손쉽게 배포하고 활용할 수 있도록 해주는 방식이다.
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
댓글
0