로그인 해주세요.

IT 소식 *최신 IT소식을 보거나 등록하실 수 있습니다.

BarryWhite

소식 애플, SSD에 AI 모델 데이터 저장 연구...기존 대비 최소 4배 빨라

수정됨_CleanShot_2024_05_03_at_09.50.52.jpg

수정됨_CleanShot_2024_05_03_at_09.36.28.jpg

 

애플의 연구팀이 발표한 논문에 따르면, 애플은 단말기의 램에 저장되는 AI 모델 데이터를 SSD에 저장하는 대안 시스템을 고안한 것으로 나타났습니다.

 

"LLM in a flash: 제한된 메모리로 효율적인 대규모 언어 모델 추론"이라는 논문 내용을 보면, 애플 연구팀은 "(SSD서) 사용 가능한 DRAM 크기의 최대 2배까지 LLM을 실행할 수 있는 능력을 입증했다"고 밝혔습니다.

 

이 주장에 따르면, SSD를 통한 AI 모델은 기존 CPU를 이용한 방식의 4~5배. GPU의 경우 20~25배의 추론 속도를 달성했다고 합니다. 단말기에서 가장 저렴하게 이용할 수 있는 저장소(SSD)를 활용, 더 빠르고 효율적으로 AI 모델을 운용할 수 있다는 겁니다.

 

또 애플 연구팀은 LLM의 성능을 악화시키지 않고, 규모를 작은 크기로 압축할 수 있는 EELBERT란 시스템도 만든 것으로 나타났습니다. 이는 구글의 Bert 모델에 비해 15배 더 작은 1.2메가바이트에 불과합니다. 시간 지연이 조금 발생하긴 하나 압축에 따른 품질 저하는 4%에 불과했다고 합니다.

 

더 버지는 이런 애플의 연구가 결국 시리의 성능 향상으로 귀결된다고 설명했습니다.

 

애플 연구팀은 사용자가 "시리야"라는 말을 하지 않고도 시리를 쓸 수 있는 방법을 연구 중입니다. 사용자가 시리, 단말기를 향해 말을 하는지 판단할 수 있게 만든다는 것입니다. 물론 연구팀은 사용자의 음성을 감지해 동작하는 것보다, 이런 선행 음성없이 인식하는 것이 더 어려운 기능 임을 인정했습니다.

 

또 연구팀은 사용자가 새로운 질문을 할 때와 후속 질문을 할 때를 구분, 시리가 사용자와 주고받는 커뮤니케이션을 개선하기 위해 STEER(Semantic Turn Extension-Expansion Recognition)라는 시스템도 개발했다고 합니다.

 

사용자가 하는 불확실한 말의 뜻을 어떻게든 파악할 수 있도록, AI가 주도적으로 명확한 질문을 던지는 방향도 연구되고 있습니다.

 

애플은 AI를 통한 신체 데이터 활용 외에도, 스테이블AI와 같은 창작형 AI 도구도 만들고 있습니다. '키프레이머'라는 시스템인데, 프롬프트로 원하는 이미지를 생성하고, 또 그 이미지를 조정하거나 다듬을 수 있도록 설계됐다고 합니다.

 

그밖에도 사용자의 설명만으로도 이미지를 편집해주는 MGIE라는 도구도 준비 중입니다.

BarryWhite
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
🥇소식게 수호자🥇미게 지박령🥉큰게 좋아🥇미코의 잡담왕🥈유게 공무원🥉할인 경보📝게시판 소유자(1)✨️🥉에로게 심심이
댓글
13
요그
1등 요그
2024.05.06. 01:19

절대 램을 늘려주지 않겠다는 의지

[요그]님의 댓글을 신고합니다. 취소 신고
엑시용용이
2등 엑시용용이
2024.05.06. 01:32

모델을 굳이 로딩하는 과정이 필요가 없다는 이점이 있겠네요.

다만 추론 시 레이턴시가 관건일듯 한데... 궁금하네요 실사시엔 어떨지

[엑시용용이]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite 엑시용용이 님께
2024.05.06. 01:29

엄청 거슬릴 정도만 아니면 괜찮을 듯합니다.

[BarryWhite]님의 댓글을 신고합니다. 취소 신고
EricCartman
3등 EricCartman
2024.05.06. 01:44

얘네는 맨날 램을 SSD로 대체하려고 하네요 ㅋㅋㅋ

램도 SSD로 스왑해서 쓰고 이젠 LLM에도 활용하려고 하는데 아무리 요즘 SSD내구성이 좋아졌다고는 해도

너무 원가절감하려는거 아닌가 싶군요.

[EricCartman]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite EricCartman 님께
2024.05.06. 01:58
[BarryWhite]님의 댓글을 신고합니다. 취소 신고
치즈볼
치즈볼
2024.05.06. 02:29

ssd에서 AI 모델을 돌릴수 있게되면 초거대 AI모델을 맥북에어 1T 모델에서도 돌릴 수 있게 되는걸까요 ㄷㄷ 물론 애플이 만든 애플만의 AI 밖에 돌릴 수 없겠지만, 그래도 기대되네요. 저 논문으로 오픈소스 거대 LLM 모델들이 등장한다면 누구나 방구석에 개인비서를 두고 지낼 수 있게 될지도요. 특히나 스마트폰에서 기능하면 진짜 대박이겠네요... 

[치즈볼]님의 댓글을 신고합니다. 취소 신고
RuBisCO
RuBisCO
2024.05.06. 08:55

램을 무슨수로라도 안늘려줄거라는 저 강철같은 의지는 존경스럽군요

[RuBisCO]님의 댓글을 신고합니다. 취소 신고
best 쌍피ㄷㄷ
2024.05.06. 12:01

저건 단순히 램을 아끼겠다는 의지 그 이상인 것 같네요. 엔드포인트 딥러닝 관점에서 보면 상당히 이점이 많은 접근입니다. 당장 오늘날의 대부분의 로컬 LLM들이 램 하나때문에 혼신의 몸비틀기로 양자화하고 애써 몇포인트 올린 성능을 다 날려 먹거든요. 어차피 대부분의 소비자용 SSD들이 수명을 채 다 못 쓰고 버려지고 있다는 점을 생각하면 저건 메리트가 상당히 클 것 같습니다

[쌍피ㄷㄷ]님의 댓글을 신고합니다. 취소 신고
세츠나
세츠나 쌍피ㄷㄷ 님께
2024.05.06. 14:53

저도 여기에 공감하는 게 4년차에 접어든 1TB SSD 수명이 이제야 2% 닳아있더군요

그나마도 대용량 게임들 깔았다 지웠다하거나 OS 재설치해서 닳은 게 아닐까 싶을 정도로 금강불괴입니다...

[세츠나]님의 댓글을 신고합니다. 취소 신고
윤이
윤이
2024.05.06. 14:11

모델들 용량이 장난 아닌거 생각해보면 램을 두배 해줘도 사실 모자랄텐데 맞는 접근 같습니다.

근데 램은 좀 늘려주지..

[윤이]님의 댓글을 신고합니다. 취소 신고
Eomjunsik
2024.05.06. 16:51

방향은 맞는데 lpddr로도 부족한 대역폭을 ssd로.. 쉽지 않을 것 같아요.

[Eomjunsik]님의 댓글을 신고합니다. 취소 신고
하루옹
하루옹
2024.05.07. 07:35

스마트폰에서 요구하는 AI성능을 생각하면 가성비 탁월한 접근방법이네요...

[하루옹]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 소식 IT 소식 게시판 이용 수칙 230127 admin 19.11.15 9 49828
핫글 소식 애플, 아이폰16프로 카메라 'AR코팅' 스펙 조용히 삭제 [3] newfile Stellist 12:18 7 361
핫글 소식 애플, M4 아이패드 프로 벽돌 현상 인정... 업데이트 중단 조치 new BarryWhite 14:30 1 397
핫글 소식 퀄컴, 위기에 빠진 인텔 인수 타진...당국 합병심사 등 장애물 [2] new 룬룬 11:34 1 381
63162 소식 스타워즈 아웃로, 기대 이하 판매량...유비소프트 주가 하락 BarryWhite 24.09.05 0 110
63161 소식 MS, 검은 신화: 오공 엑스박스 출시 위해 개발사 협력 중 BarryWhite 24.09.05 0 134
63160 소식 파이어폭스 130, AI 챗봇과 로컬 번역 기능 추가 뉴스봇 24.09.05 0 69
63159 소식 엔트로픽, 클로드 엔터프라이즈 요금제 출시…50만 토큰 컨텍스트 창 제공 뉴스봇 24.09.05 0 60
63158 소식 에이서, 게이밍 UMPC 니트로 블레이즈 7 공개 file BarryWhite 24.09.05 0 154
63157 소식 비츠, 오타니 쇼헤이 통해서 파워비츠 프로2 티저 공개 [4] file Stellist 24.09.05 0 168
63156 회원 애플 아이폰 SE4, 삼성 OLED 배제? [2] BarryWhite 24.09.05 2 152
63155 소식 블루투스 6.0 사양 발표 BarryWhite 24.09.05 0 254
63154 소식 엑스박스 원신, 게임패스 구독없이 플레이 가능 BarryWhite 24.09.05 2 265
63153 소식 인텔 파운드리 18A, 수율 문제로 브로드컴 생산 차질? BarryWhite 24.09.05 0 744
63152 소식 문명6, 애플 실리콘 지원 업데이트 출시…로딩 2배 빨라졌다 [2] file BarryWhite 24.09.05 0 459
63151 소식 소니 PS5 프로, 디지털 에디션만 출시 가능성 BarryWhite 24.09.05 0 329
63150 소식 TSMC, 차세대 칩 패키징 CoW-SoW 2027년 도입 BarryWhite 24.09.05 0 97
63149 소식 인텔, 다우지수서 퇴출 위기…주가 폭락 시총 1000억 달러 아래로 BarryWhite 24.09.05 0 584
63148 소식 캘리포니아 SNS 규제법, 수정헌법 위반 소지...일론 머스크 X 승리 BarryWhite 24.09.05 1 78
63147 회원 닌텐도 스위치 2, 이달 중 공개 가능성...하위 호환 지원 BarryWhite 24.09.05 0 67
63146 소식 엔비디아, 미 법무부 반독점 조사 소문 부인…소환장 받은 적 없다 BarryWhite 24.09.05 0 47
63145 소식 인텔, 20A 공정 건너뛰고 18A 직행…애로우 레이크 TSMC 유력 BarryWhite 24.09.05 0 664
63144 소식 MS, 게임 개발사 지아마 게임즈에 사과 BarryWhite 24.09.05 0 88
63143 소식 SK텔레콤, AI검색 시장 도전..."성급한 유료화보단 규모가 먼저" 뉴스봇 24.09.05 0 91
63142 소식 일리야 슈츠케버의 SSI, 10억달러 투자 유치...오픈AI와 다른 AI 개발? 뉴스봇 24.09.05 0 51
63141 소식 대만서 격돌한 삼성 SK 메모리 수장들 뉴스봇 24.09.05 0 285
63140 소식 ASUS, 스냅X 플러스 태블릿 ProArt PZ13 발표 [1] file Stellist 24.09.05 2 588
63139 소식 퀄컴, 스냅드래곤 X 플러스 8코어 SoC 추가 출시 뉴스봇 24.09.04 1 167
63138 소식 레코디드퓨처가 분석한 최근 북한 사이버공격그룹, 활동 두드러지는 ‘퍼플알파’ 뉴스봇 24.09.04 0 97
63137 소식 정철동 LGD 사장 "광저우 LCD 공장, 결정되면 언론에 알릴 것" 뉴스봇 24.09.04 0 188
63136 소식 [마케팅BN] ‘고양이와 스프’ 띄웠다…맥시마이저 접근은? 뉴스봇 24.09.04 0 109
63135 소식 크래프톤의 인생 게임 '인조이'... "하루는 96분" 뉴스봇 24.09.04 0 233
63134 소식 "엔비디아 게 섰거라"…AI칩 스타트업, 저렴·특화 앞세워 시장서 '고군분투' 뉴스봇 24.09.04 0 140
63133 소식 SKT, 생성형 AI로 검색 강자 네이버‧카카오에 도전장 뉴스봇 24.09.04 0 130

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

확장 변수

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.