소식 애플, SSD에 AI 모델 데이터 저장 연구...기존 대비 최소 4배 빨라
- BarryWhite
- 조회 수 281
- 2024.05.06. 00:34
애플의 연구팀이 발표한 논문에 따르면, 애플은 단말기의 램에 저장되는 AI 모델 데이터를 SSD에 저장하는 대안 시스템을 고안한 것으로 나타났습니다.
"LLM in a flash: 제한된 메모리로 효율적인 대규모 언어 모델 추론"이라는 논문 내용을 보면, 애플 연구팀은 "(SSD서) 사용 가능한 DRAM 크기의 최대 2배까지 LLM을 실행할 수 있는 능력을 입증했다"고 밝혔습니다.
이 주장에 따르면, SSD를 통한 AI 모델은 기존 CPU를 이용한 방식의 4~5배. GPU의 경우 20~25배의 추론 속도를 달성했다고 합니다. 단말기에서 가장 저렴하게 이용할 수 있는 저장소(SSD)를 활용, 더 빠르고 효율적으로 AI 모델을 운용할 수 있다는 겁니다.
또 애플 연구팀은 LLM의 성능을 악화시키지 않고, 규모를 작은 크기로 압축할 수 있는 EELBERT란 시스템도 만든 것으로 나타났습니다. 이는 구글의 Bert 모델에 비해 15배 더 작은 1.2메가바이트에 불과합니다. 시간 지연이 조금 발생하긴 하나 압축에 따른 품질 저하는 4%에 불과했다고 합니다.
더 버지는 이런 애플의 연구가 결국 시리의 성능 향상으로 귀결된다고 설명했습니다.
애플 연구팀은 사용자가 "시리야"라는 말을 하지 않고도 시리를 쓸 수 있는 방법을 연구 중입니다. 사용자가 시리, 단말기를 향해 말을 하는지 판단할 수 있게 만든다는 것입니다. 물론 연구팀은 사용자의 음성을 감지해 동작하는 것보다, 이런 선행 음성없이 인식하는 것이 더 어려운 기능 임을 인정했습니다.
또 연구팀은 사용자가 새로운 질문을 할 때와 후속 질문을 할 때를 구분, 시리가 사용자와 주고받는 커뮤니케이션을 개선하기 위해 STEER(Semantic Turn Extension-Expansion Recognition)라는 시스템도 개발했다고 합니다.
사용자가 하는 불확실한 말의 뜻을 어떻게든 파악할 수 있도록, AI가 주도적으로 명확한 질문을 던지는 방향도 연구되고 있습니다.
애플은 AI를 통한 신체 데이터 활용 외에도, 스테이블AI와 같은 창작형 AI 도구도 만들고 있습니다. '키프레이머'라는 시스템인데, 프롬프트로 원하는 이미지를 생성하고, 또 그 이미지를 조정하거나 다듬을 수 있도록 설계됐다고 합니다.
그밖에도 사용자의 설명만으로도 이미지를 편집해주는 MGIE라는 도구도 준비 중입니다.
절대 램을 늘려주지 않겠다는 의지