미니 LLM에 대한 환상이 있으신 분들이 있는데..
- Eomjunsik
- 조회 수 1201
- 2023.09.04. 13:35
생각보다 필요 하드웨어, 기술적 장벽 모두 엄~청 낮아진지 오래입니다.
지금 폰에 잘만 달려있는 8gen2로도 스테이블 디퓨전으로 AI 그림 찍고 언어모델 잘 돌려요;;
그냥 데이터 잔뜩 만들고 llama 2 학습시켜서 4bit 양자화로 돌리면 자체 로컬 모델 완성입니다. 와!
보통 발목을 잡는 VRAM 문제도 통합 메모리라는 스마트폰 구조상 어느정도는 용인이 되고..
결국 문제는 배터리 -> 이건 전용 가속 칩셋 달면 어느정도 해결할만 하겠죠.
성능 -> 이건 답이 없죠. 삼성이 OpenAI를 이긴다.. 한국어 LLM은 GPT-4 성능 그대로 내줘도 시원찮은데 이걸 로컬로, 그것도 모바일로, 그것도 삼성이? 별 기대 안하시는게 좋습니다.
댓글
AMD AI 9 HX 370 vs 퀄퀌 스냅드래곤 X 엘리트, 실제품 성능 비교
LLM 같은 거 할 때 하드웨어 장벽이 있다는 건 학습 단계에서의 이야기죠.
최종 소비자용 기기에서 추론할 때야 뭐 요즘 기기로 말씀하신대로 얼추 다 합니다.