로그인 해주세요.

IT 소식 *최신 IT소식을 보거나 등록하실 수 있습니다.

BarryWhite

소식 애플, SSD에 AI 모델 데이터 저장 연구...기존 대비 최소 4배 빨라

수정됨_CleanShot_2024_05_03_at_09.50.52.jpg

수정됨_CleanShot_2024_05_03_at_09.36.28.jpg

 

애플의 연구팀이 발표한 논문에 따르면, 애플은 단말기의 램에 저장되는 AI 모델 데이터를 SSD에 저장하는 대안 시스템을 고안한 것으로 나타났습니다.

 

"LLM in a flash: 제한된 메모리로 효율적인 대규모 언어 모델 추론"이라는 논문 내용을 보면, 애플 연구팀은 "(SSD서) 사용 가능한 DRAM 크기의 최대 2배까지 LLM을 실행할 수 있는 능력을 입증했다"고 밝혔습니다.

 

이 주장에 따르면, SSD를 통한 AI 모델은 기존 CPU를 이용한 방식의 4~5배. GPU의 경우 20~25배의 추론 속도를 달성했다고 합니다. 단말기에서 가장 저렴하게 이용할 수 있는 저장소(SSD)를 활용, 더 빠르고 효율적으로 AI 모델을 운용할 수 있다는 겁니다.

 

또 애플 연구팀은 LLM의 성능을 악화시키지 않고, 규모를 작은 크기로 압축할 수 있는 EELBERT란 시스템도 만든 것으로 나타났습니다. 이는 구글의 Bert 모델에 비해 15배 더 작은 1.2메가바이트에 불과합니다. 시간 지연이 조금 발생하긴 하나 압축에 따른 품질 저하는 4%에 불과했다고 합니다.

 

더 버지는 이런 애플의 연구가 결국 시리의 성능 향상으로 귀결된다고 설명했습니다.

 

애플 연구팀은 사용자가 "시리야"라는 말을 하지 않고도 시리를 쓸 수 있는 방법을 연구 중입니다. 사용자가 시리, 단말기를 향해 말을 하는지 판단할 수 있게 만든다는 것입니다. 물론 연구팀은 사용자의 음성을 감지해 동작하는 것보다, 이런 선행 음성없이 인식하는 것이 더 어려운 기능 임을 인정했습니다.

 

또 연구팀은 사용자가 새로운 질문을 할 때와 후속 질문을 할 때를 구분, 시리가 사용자와 주고받는 커뮤니케이션을 개선하기 위해 STEER(Semantic Turn Extension-Expansion Recognition)라는 시스템도 개발했다고 합니다.

 

사용자가 하는 불확실한 말의 뜻을 어떻게든 파악할 수 있도록, AI가 주도적으로 명확한 질문을 던지는 방향도 연구되고 있습니다.

 

애플은 AI를 통한 신체 데이터 활용 외에도, 스테이블AI와 같은 창작형 AI 도구도 만들고 있습니다. '키프레이머'라는 시스템인데, 프롬프트로 원하는 이미지를 생성하고, 또 그 이미지를 조정하거나 다듬을 수 있도록 설계됐다고 합니다.

 

그밖에도 사용자의 설명만으로도 이미지를 편집해주는 MGIE라는 도구도 준비 중입니다.

BarryWhite
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
📝게시판 소유자(1)✨️🥇미게 지박령🥇미코의 잡담왕🥇소식게 수호자🥉에로게 심심이🥈유게 공무원🥉큰게 좋아🥉할인 경보
댓글
13
요그
1등 요그
2024.05.06. 01:19

절대 램을 늘려주지 않겠다는 의지

[요그]님의 댓글을 신고합니다. 취소 신고
엑시용용이
2등 엑시용용이
2024.05.06. 01:32

모델을 굳이 로딩하는 과정이 필요가 없다는 이점이 있겠네요.

다만 추론 시 레이턴시가 관건일듯 한데... 궁금하네요 실사시엔 어떨지

[엑시용용이]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite 엑시용용이 님께
2024.05.06. 01:29

엄청 거슬릴 정도만 아니면 괜찮을 듯합니다.

[BarryWhite]님의 댓글을 신고합니다. 취소 신고
EricCartman
3등 EricCartman
2024.05.06. 01:44

얘네는 맨날 램을 SSD로 대체하려고 하네요 ㅋㅋㅋ

램도 SSD로 스왑해서 쓰고 이젠 LLM에도 활용하려고 하는데 아무리 요즘 SSD내구성이 좋아졌다고는 해도

너무 원가절감하려는거 아닌가 싶군요.

[EricCartman]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite EricCartman 님께
2024.05.06. 01:58
[BarryWhite]님의 댓글을 신고합니다. 취소 신고
치즈볼
치즈볼
2024.05.06. 02:29

ssd에서 AI 모델을 돌릴수 있게되면 초거대 AI모델을 맥북에어 1T 모델에서도 돌릴 수 있게 되는걸까요 ㄷㄷ 물론 애플이 만든 애플만의 AI 밖에 돌릴 수 없겠지만, 그래도 기대되네요. 저 논문으로 오픈소스 거대 LLM 모델들이 등장한다면 누구나 방구석에 개인비서를 두고 지낼 수 있게 될지도요. 특히나 스마트폰에서 기능하면 진짜 대박이겠네요... 

[치즈볼]님의 댓글을 신고합니다. 취소 신고
RuBisCO
RuBisCO
2024.05.06. 08:55

램을 무슨수로라도 안늘려줄거라는 저 강철같은 의지는 존경스럽군요

[RuBisCO]님의 댓글을 신고합니다. 취소 신고
best 쌍피ㄷㄷ
2024.05.06. 12:01

저건 단순히 램을 아끼겠다는 의지 그 이상인 것 같네요. 엔드포인트 딥러닝 관점에서 보면 상당히 이점이 많은 접근입니다. 당장 오늘날의 대부분의 로컬 LLM들이 램 하나때문에 혼신의 몸비틀기로 양자화하고 애써 몇포인트 올린 성능을 다 날려 먹거든요. 어차피 대부분의 소비자용 SSD들이 수명을 채 다 못 쓰고 버려지고 있다는 점을 생각하면 저건 메리트가 상당히 클 것 같습니다

[쌍피ㄷㄷ]님의 댓글을 신고합니다. 취소 신고
세츠나
세츠나 쌍피ㄷㄷ 님께
2024.05.06. 14:53

저도 여기에 공감하는 게 4년차에 접어든 1TB SSD 수명이 이제야 2% 닳아있더군요

그나마도 대용량 게임들 깔았다 지웠다하거나 OS 재설치해서 닳은 게 아닐까 싶을 정도로 금강불괴입니다...

[세츠나]님의 댓글을 신고합니다. 취소 신고
윤이
윤이
2024.05.06. 14:11

모델들 용량이 장난 아닌거 생각해보면 램을 두배 해줘도 사실 모자랄텐데 맞는 접근 같습니다.

근데 램은 좀 늘려주지..

[윤이]님의 댓글을 신고합니다. 취소 신고
Eomjunsik
2024.05.06. 16:51

방향은 맞는데 lpddr로도 부족한 대역폭을 ssd로.. 쉽지 않을 것 같아요.

[Eomjunsik]님의 댓글을 신고합니다. 취소 신고
하루옹
하루옹
2024.05.07. 07:35

스마트폰에서 요구하는 AI성능을 생각하면 가성비 탁월한 접근방법이네요...

[하루옹]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 소식 IT 소식 게시판 이용 수칙 230127 admin 19.11.15 9 49586
핫글 소식 올해 최고의 폰 카메라는? 갤럭시S24 울트라 근소한 차이로 2위 BarryWhite 24.08.08 2 340
핫글 소식 아이패드 에어 OLED 주력 공급사로 삼성D 유력 [2] update 뉴스봇 24.08.08 1 543
2675 소식 OTT 천하 미디어 플랫폼 시장...'FAST 채널' 대체제로 주목 [1] 뉴스봇 24.05.05 0 525
2674 소식 스타워즈 제다이: 서바이버, 엑스박스서 체험판 공개 [1] BarryWhite 24.05.06 0 228
2673 소식 삼성: 안심하세요, 우리 알람은 울립니다 [1] BarryWhite 24.05.06 8 990
소식 애플, SSD에 AI 모델 데이터 저장 연구...기존 대비 최소 4배 빨라 [13] file BarryWhite 24.05.06 5 272
2671 소식 OLED 아이패드, 다음주 드디어 나온다 BarryWhite 24.05.06 0 391
2670 소식 애플, 접이식 제품을 위한 새로운 힌지 특허 출원 file BarryWhite 24.05.06 3 167
2669 소식 통신사, 5G망 투자 축소 …"추가 여력 없어" [4] 룬룬 24.05.06 3 673
2668 소식 LG전자, 협력사 탄소배출 감축 컨설팅 제공 뉴스봇 24.05.06 0 49
2667 소식 LGU+, 알뜰폰 온라인몰 ‘알닷’ 선봬 뉴스봇 24.05.06 0 183
2666 소식 SKB, 셋톱박스 ‘스마트3’ 저탄소제품 인증 뉴스봇 24.05.06 0 119
2665 소식 삼성SDI, '차이나 사이클 쇼 2024'서 원통형 배터리 라인업 선봬 뉴스봇 24.05.06 0 155
2664 소식 통신사 1분기 실적, SKT·KT ‘선방’ LGU+ ‘고전’ 유력…왜? [1] 뉴스봇 24.05.06 0 170
2663 소식 테슬라 "주행거리 늘리려면 2000달러 내세요" [1] 뉴스봇 24.05.06 1 689
2662 소식 삼성전자 등 간판기업 20곳 현금 확보 총력전 BarryWhite 24.05.06 0 273
2661 소식 삼성 MS 에이수스 스냅드래곤 X 탑재 …퀄컴, AI PC에서 인텔·AMD 대항마로 부상 BarryWhite 24.05.06 0 277
2660 소식 헬다이버즈2, 스팀-PSN 계정 강제 연동 정책 6일 폐지 [2] BarryWhite 24.05.06 1 252
2659 소식 삼성전기, 반도체 유리기판 앞당긴다…3분기 파일럿 라인 구축 BarryWhite 24.05.06 0 308
2658 소식 [결정적 순간] 적금도 게임이다, 카카오뱅크 뉴스봇 24.05.06 0 202
2657 소식 애플 2025년 20.3인치 하이브리드 디바이스 출시? BarryWhite 24.05.06 0 113
2656 소식 애플 아이패드 발표 행사, 준비된 영상 길이는 35분 BarryWhite 24.05.06 1 464
2655 소식 2024Q1 가장 많이 팔린 폰은 아이폰 15 프로 맥스 [4] file BarryWhite 24.05.06 5 254
2654 소식 DRAM의 아버지 로버트 데나드 타계 file BarryWhite 24.05.07 0 202
2653 소식 구글, 에픽의 플레이스토어 변경안 거부 BarryWhite 24.05.07 0 232
2652 소식 갤럭시 폴드6 렌더링이 맞았다? 케이스 업체 확인 [2] file BarryWhite 24.05.07 4 278
2651 소식 신형 애플 펜슬, 애플 펜슬3 아니다? 애플 펜슬 프로 file BarryWhite 24.05.07 0 374
2650 소식 애플, 아이폰 플러스 대신 아이폰 슬림 준비 중? 6.55" 디스플레이 사용 BarryWhite 24.05.07 0 365
2649 소식 아이폰 17 프로, 8GB램 드디어 벗어나나...12GB 램 탑재 전망 [3] BarryWhite 24.05.07 5 884
2648 소식 윈도우 10에서 윈도우 11로의 업그레이드, 23H2 버전 바로 지원 뉴스봇 24.05.07 0 298
2647 소식 마이크로소프트, 오는 7월부터 ‘클래식’ 팀즈 지원 종료 뉴스봇 24.05.07 0 237
2646 소식 MS, 윈도우 코파일럿 UI 테스트 일시 중지 "피드백 기반으로 개선하기 위해" 뉴스봇 24.05.07 0 167

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...