AI S24에서 온디바이스 LLM 체험하기
- Eomjunsik
- 조회 수 634
- 2024.06.16. 18:03
최초의 AI 폰이라는 홍보가 무색하게 S24의 온디바이스 기능은 상당히 빈약한 편입니다. 물론 8GB 램이나 현재 칩셋의 수준을 감안하면 놀라운 일은 아니죠.
그래도 S24가 픽셀을 제외하고는 유일하게 구글의 Gemini Nano 모델을 탑재하고 있어 온디바이스 구동이 가능은 합니다. 물론 사용처가 구글 메시지 하나이기 때문에 이게 뭔 의미인가.. 싶지만요.
테스트를 위해 굳이 구글 메시지 베타 버전을 설치해봤습니다.
이런 식으로 답장의 스타일을 바꿔줍니다. 삼성 키보드의 기능과 비슷한데, 삼성 키보드는 온디바이스로 구동되지 않죠. 스크린샷에서 인터넷 연결이 없는거 보이시죠?
근데 왜 삼성 키보드는 온디바이스 구동을 안할까요? 그 이유는 램이죠. 스크린샷에서 띄워놓은 그래프가 램 점유율인대 평상시에는 70% 초반대이다가 저 기능을 사용하면 83%까지 치솟습니다. 시장통 계산법으로는 모델 사이즈가 대략 1GB 가까이 되는거죠. 답변 생성 속도나 품질도 솔직히 그닥입니다. (한국어인데 영어로만 추천해줍니다..?) 그나마 픽셀 8 노멀에서는 램 이슈로 지원을 안하는걸 삼성은 풀어줘서 다행이라고 해야할까요.
결과적으로 S24 시리즈의 온디바이스 AI는 번역-STT-구글 메시지 추천 이 세가지가 전부인거죠. 하긴 HW-SW를 모두 관리하는 애플도 이제야 걸음마를 뗀 수준인데 안드 진영이 갈 길은 아주 멀어보입니다.
며칠 전에 안드로이드에서도 llm을 꽤 좋은 성능으로 돌릴 수 있게 해주는 프레임워크가 나온 것 같더라구요. https://powerinfer.ai/v2/
삼성 키보드도 온디바이스로 처리하는 옵션 키면 온디바이스로 처리되지 않나요?