로그인 해주세요.

IT 소식 *최신 IT소식을 보거나 등록하실 수 있습니다.

BarryWhite

소식 애플, SSD에 AI 모델 데이터 저장 연구...기존 대비 최소 4배 빨라

수정됨_CleanShot_2024_05_03_at_09.50.52.jpg

수정됨_CleanShot_2024_05_03_at_09.36.28.jpg

 

애플의 연구팀이 발표한 논문에 따르면, 애플은 단말기의 램에 저장되는 AI 모델 데이터를 SSD에 저장하는 대안 시스템을 고안한 것으로 나타났습니다.

 

"LLM in a flash: 제한된 메모리로 효율적인 대규모 언어 모델 추론"이라는 논문 내용을 보면, 애플 연구팀은 "(SSD서) 사용 가능한 DRAM 크기의 최대 2배까지 LLM을 실행할 수 있는 능력을 입증했다"고 밝혔습니다.

 

이 주장에 따르면, SSD를 통한 AI 모델은 기존 CPU를 이용한 방식의 4~5배. GPU의 경우 20~25배의 추론 속도를 달성했다고 합니다. 단말기에서 가장 저렴하게 이용할 수 있는 저장소(SSD)를 활용, 더 빠르고 효율적으로 AI 모델을 운용할 수 있다는 겁니다.

 

또 애플 연구팀은 LLM의 성능을 악화시키지 않고, 규모를 작은 크기로 압축할 수 있는 EELBERT란 시스템도 만든 것으로 나타났습니다. 이는 구글의 Bert 모델에 비해 15배 더 작은 1.2메가바이트에 불과합니다. 시간 지연이 조금 발생하긴 하나 압축에 따른 품질 저하는 4%에 불과했다고 합니다.

 

더 버지는 이런 애플의 연구가 결국 시리의 성능 향상으로 귀결된다고 설명했습니다.

 

애플 연구팀은 사용자가 "시리야"라는 말을 하지 않고도 시리를 쓸 수 있는 방법을 연구 중입니다. 사용자가 시리, 단말기를 향해 말을 하는지 판단할 수 있게 만든다는 것입니다. 물론 연구팀은 사용자의 음성을 감지해 동작하는 것보다, 이런 선행 음성없이 인식하는 것이 더 어려운 기능 임을 인정했습니다.

 

또 연구팀은 사용자가 새로운 질문을 할 때와 후속 질문을 할 때를 구분, 시리가 사용자와 주고받는 커뮤니케이션을 개선하기 위해 STEER(Semantic Turn Extension-Expansion Recognition)라는 시스템도 개발했다고 합니다.

 

사용자가 하는 불확실한 말의 뜻을 어떻게든 파악할 수 있도록, AI가 주도적으로 명확한 질문을 던지는 방향도 연구되고 있습니다.

 

애플은 AI를 통한 신체 데이터 활용 외에도, 스테이블AI와 같은 창작형 AI 도구도 만들고 있습니다. '키프레이머'라는 시스템인데, 프롬프트로 원하는 이미지를 생성하고, 또 그 이미지를 조정하거나 다듬을 수 있도록 설계됐다고 합니다.

 

그밖에도 사용자의 설명만으로도 이미지를 편집해주는 MGIE라는 도구도 준비 중입니다.

BarryWhite
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다😘
🥇소식게 수호자🥇미게 지박령🥉큰게 좋아🥇미코의 잡담왕🥈유게 공무원🥉할인 경보📝게시판 소유자✨️🥉에로게 심심이
댓글
13
요그
1등 요그
2024.05.06. 01:19

절대 램을 늘려주지 않겠다는 의지

[요그]님의 댓글을 신고합니다. 취소 신고
엑시용용이
2등 엑시용용이
2024.05.06. 01:32

모델을 굳이 로딩하는 과정이 필요가 없다는 이점이 있겠네요.

다만 추론 시 레이턴시가 관건일듯 한데... 궁금하네요 실사시엔 어떨지

[엑시용용이]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite 엑시용용이 님께
2024.05.06. 01:29

엄청 거슬릴 정도만 아니면 괜찮을 듯합니다.

[BarryWhite]님의 댓글을 신고합니다. 취소 신고
EricCartman
3등 EricCartman
2024.05.06. 01:44

얘네는 맨날 램을 SSD로 대체하려고 하네요 ㅋㅋㅋ

램도 SSD로 스왑해서 쓰고 이젠 LLM에도 활용하려고 하는데 아무리 요즘 SSD내구성이 좋아졌다고는 해도

너무 원가절감하려는거 아닌가 싶군요.

[EricCartman]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite EricCartman 님께
2024.05.06. 01:58
[BarryWhite]님의 댓글을 신고합니다. 취소 신고
치즈볼
치즈볼
2024.05.06. 02:29

ssd에서 AI 모델을 돌릴수 있게되면 초거대 AI모델을 맥북에어 1T 모델에서도 돌릴 수 있게 되는걸까요 ㄷㄷ 물론 애플이 만든 애플만의 AI 밖에 돌릴 수 없겠지만, 그래도 기대되네요. 저 논문으로 오픈소스 거대 LLM 모델들이 등장한다면 누구나 방구석에 개인비서를 두고 지낼 수 있게 될지도요. 특히나 스마트폰에서 기능하면 진짜 대박이겠네요... 

[치즈볼]님의 댓글을 신고합니다. 취소 신고
RuBisCO
RuBisCO
2024.05.06. 08:55

램을 무슨수로라도 안늘려줄거라는 저 강철같은 의지는 존경스럽군요

[RuBisCO]님의 댓글을 신고합니다. 취소 신고
best 쌍피ㄷㄷ
2024.05.06. 12:01

저건 단순히 램을 아끼겠다는 의지 그 이상인 것 같네요. 엔드포인트 딥러닝 관점에서 보면 상당히 이점이 많은 접근입니다. 당장 오늘날의 대부분의 로컬 LLM들이 램 하나때문에 혼신의 몸비틀기로 양자화하고 애써 몇포인트 올린 성능을 다 날려 먹거든요. 어차피 대부분의 소비자용 SSD들이 수명을 채 다 못 쓰고 버려지고 있다는 점을 생각하면 저건 메리트가 상당히 클 것 같습니다

[쌍피ㄷㄷ]님의 댓글을 신고합니다. 취소 신고
세츠나
세츠나 쌍피ㄷㄷ 님께
2024.05.06. 14:53

저도 여기에 공감하는 게 4년차에 접어든 1TB SSD 수명이 이제야 2% 닳아있더군요

그나마도 대용량 게임들 깔았다 지웠다하거나 OS 재설치해서 닳은 게 아닐까 싶을 정도로 금강불괴입니다...

[세츠나]님의 댓글을 신고합니다. 취소 신고
윤이
윤이
2024.05.06. 14:11

모델들 용량이 장난 아닌거 생각해보면 램을 두배 해줘도 사실 모자랄텐데 맞는 접근 같습니다.

근데 램은 좀 늘려주지..

[윤이]님의 댓글을 신고합니다. 취소 신고
Eomjunsik
2024.05.06. 16:51

방향은 맞는데 lpddr로도 부족한 대역폭을 ssd로.. 쉽지 않을 것 같아요.

[Eomjunsik]님의 댓글을 신고합니다. 취소 신고
하루옹
하루옹
2024.05.07. 07:35

스마트폰에서 요구하는 AI성능을 생각하면 가성비 탁월한 접근방법이네요...

[하루옹]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 소식 IT 소식 게시판 이용 수칙 230127 admin 19.11.15 9 51431
핫글 소식 美싱크탱크 "삼성D-BOE 소송서 美 정부기관 삼성D 지원" 제안 뉴스봇 24.09.27 4 366
핫글 소식 "AR 글래스가 스마트폰 대체"…마크 저커버그의 자신감 [2] 뉴스봇 24.09.27 3 234
핫글 소식 지마켓도 희망퇴직…"근본적인 체질 개선 불가피" 뉴스봇 24.09.27 1 221
62652 소식 퍼즐게임 모뉴먼트 밸리3, 넷플릭스 게임 독점 출시 [1] file Stellist 24.08.21 0 239
62651 소식 AMD, ZT 시스템 인수로 AI 서버 경쟁력 강화…"엔비디아에 도전장" 뉴스봇 24.08.21 0 102
62650 소식 MS, 개인 및 업무 계정 모두 한 곳에서 관리 가능한 단일 팀즈 앱 출시 뉴스봇 24.08.21 0 136
62649 소식 토요타 미국 지사 해킹 당했다…직원·고객 정보 등 대규모 유출 [1] 뉴스봇 24.08.21 0 293
62648 소식 TSMC, 독일 파운드리 공장 기공식…14조 규모 뉴스봇 24.08.21 0 156
62647 소식 아이폰16 시리즈 홍보 자료 유출…진짜 맞아 [1] 뉴스봇 24.08.21 1 678
62646 소식 일론 머스크, 트위터 인수 대출금 상환은 언제…"금융위기 후 최악의 대출" 뉴스봇 24.08.21 0 171
62645 소식 "맥OS용 MS 앱에서 마이크·카메라 조작할 수 있는 취약점 발견" 시스코 탈로스 뉴스봇 24.08.21 1 233
62644 소식 원플러스, ANC 무선이어폰 버즈 프로3 발표 [3] file Stellist 24.08.21 1 379
62643 소식 텐서 G5 탑재할 차기 구글 픽셀10…"아이폰16 능가할까" 뉴스봇 24.08.21 0 314
62642 소식 엔비디아, RTX 4070 GDDR6 모델 출시…가격은 그대로 BarryWhite 24.08.21 0 229
62641 소식 파이날 판타지, 향후 PC 동시 출시 가능성 BarryWhite 24.08.21 0 156
62640 회원 애플, 맥북 사용 방식 바꾸나...다이나믹 디스플레이 인터페이스 특허 획득 file BarryWhite 24.08.21 0 169
62639 소식 엔비디아-미디어텍, G-SYNC 기술 협력...게이밍 모니터 대중화 시동 BarryWhite 24.08.21 1 143
62638 소식 퀄컴, 중급형 스마트폰용 스냅드래곤 7s Gen 3 공식 발표 BarryWhite 24.08.21 0 229
62637 소식 스냅드래곤 8 Gen4 아드레노 830, 전작 대비 클럭 25% 높아 BarryWhite 24.08.21 1 326
62636 소식 애플 왕국의 세금체계가 무너진다 뉴스봇 24.08.21 0 375
62635 소식 아너, 가장 얇은 폴더블폰 매직V3 IFA서 공개 file BarryWhite 24.08.20 0 304
62634 소식 구글: 핏비트 단종, 계획 전혀 없다 BarryWhite 24.08.20 0 159
62633 소식 해외서도 주목하는 韓 AI 디지털 교과서 [2] BarryWhite 24.08.20 0 236
62632 소식 달에 조선 천문학자 이름 딴 '남병철 크레이터'…첫 한국 명칭 file 크로아츠 24.08.20 2 238
62631 소식 HP의 게이밍 전략은 “넘버원 게이밍 솔루션 컴퍼니” 뉴스봇 24.08.20 0 176
62630 소식 밸브, CS2에서 레이저/우팅의 SOCD 기능 금지해 [5] file Stellist 24.08.20 3 540
62629 소식 [까다로운 리뷰] 30만원대 극가성비 폰 낫싱 CMF 폰 1 뉴스봇 24.08.20 0 378
62628 소식 [커머스BN] 쿠팡과 CJ제일제당이 손잡을 수밖에 없는 이유 뉴스봇 24.08.20 0 265
62627 소식 애플, 9월 10일 특별 행사 통해 아이폰 16 시리즈 발표? file BarryWhite 24.08.20 0 322
62626 소식 애플, 자체 검색 엔진 만들까…실현 가능성은 글쎄 BarryWhite 24.08.20 0 159
62625 소식 북한 해커, MS 윈도우 디펜더 제로데이 취약점 악용했다 BarryWhite 24.08.20 2 295
62624 소식 SK실트론, 2나노용 공정 기술 개발…웨이퍼 업계 초미세 대응 BarryWhite 24.08.20 0 262
62623 소식 美 소비자: 차세대 아이폰에 더 큰 디스플레이 원해 [1] BarryWhite 24.08.20 0 169

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

확장 변수

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.