로그인 해주세요.

IT 소식 *최신 IT소식을 보거나 등록하실 수 있습니다.

BarryWhite

소식 애플, SSD에 AI 모델 데이터 저장 연구...기존 대비 최소 4배 빨라

수정됨_CleanShot_2024_05_03_at_09.50.52.jpg

수정됨_CleanShot_2024_05_03_at_09.36.28.jpg

 

애플의 연구팀이 발표한 논문에 따르면, 애플은 단말기의 램에 저장되는 AI 모델 데이터를 SSD에 저장하는 대안 시스템을 고안한 것으로 나타났습니다.

 

"LLM in a flash: 제한된 메모리로 효율적인 대규모 언어 모델 추론"이라는 논문 내용을 보면, 애플 연구팀은 "(SSD서) 사용 가능한 DRAM 크기의 최대 2배까지 LLM을 실행할 수 있는 능력을 입증했다"고 밝혔습니다.

 

이 주장에 따르면, SSD를 통한 AI 모델은 기존 CPU를 이용한 방식의 4~5배. GPU의 경우 20~25배의 추론 속도를 달성했다고 합니다. 단말기에서 가장 저렴하게 이용할 수 있는 저장소(SSD)를 활용, 더 빠르고 효율적으로 AI 모델을 운용할 수 있다는 겁니다.

 

또 애플 연구팀은 LLM의 성능을 악화시키지 않고, 규모를 작은 크기로 압축할 수 있는 EELBERT란 시스템도 만든 것으로 나타났습니다. 이는 구글의 Bert 모델에 비해 15배 더 작은 1.2메가바이트에 불과합니다. 시간 지연이 조금 발생하긴 하나 압축에 따른 품질 저하는 4%에 불과했다고 합니다.

 

더 버지는 이런 애플의 연구가 결국 시리의 성능 향상으로 귀결된다고 설명했습니다.

 

애플 연구팀은 사용자가 "시리야"라는 말을 하지 않고도 시리를 쓸 수 있는 방법을 연구 중입니다. 사용자가 시리, 단말기를 향해 말을 하는지 판단할 수 있게 만든다는 것입니다. 물론 연구팀은 사용자의 음성을 감지해 동작하는 것보다, 이런 선행 음성없이 인식하는 것이 더 어려운 기능 임을 인정했습니다.

 

또 연구팀은 사용자가 새로운 질문을 할 때와 후속 질문을 할 때를 구분, 시리가 사용자와 주고받는 커뮤니케이션을 개선하기 위해 STEER(Semantic Turn Extension-Expansion Recognition)라는 시스템도 개발했다고 합니다.

 

사용자가 하는 불확실한 말의 뜻을 어떻게든 파악할 수 있도록, AI가 주도적으로 명확한 질문을 던지는 방향도 연구되고 있습니다.

 

애플은 AI를 통한 신체 데이터 활용 외에도, 스테이블AI와 같은 창작형 AI 도구도 만들고 있습니다. '키프레이머'라는 시스템인데, 프롬프트로 원하는 이미지를 생성하고, 또 그 이미지를 조정하거나 다듬을 수 있도록 설계됐다고 합니다.

 

그밖에도 사용자의 설명만으로도 이미지를 편집해주는 MGIE라는 도구도 준비 중입니다.

BarryWhite
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다😘
🥇소식게 수호자🥇미게 지박령🥉큰게 좋아🥇미코의 잡담왕🥈유게 공무원🥉할인 경보📝게시판 소유자✨️🥉에로게 심심이
댓글
13
요그
1등 요그
2024.05.06. 01:19

절대 램을 늘려주지 않겠다는 의지

[요그]님의 댓글을 신고합니다. 취소 신고
엑시용용이
2등 엑시용용이
2024.05.06. 01:32

모델을 굳이 로딩하는 과정이 필요가 없다는 이점이 있겠네요.

다만 추론 시 레이턴시가 관건일듯 한데... 궁금하네요 실사시엔 어떨지

[엑시용용이]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite 엑시용용이 님께
2024.05.06. 01:29

엄청 거슬릴 정도만 아니면 괜찮을 듯합니다.

[BarryWhite]님의 댓글을 신고합니다. 취소 신고
EricCartman
3등 EricCartman
2024.05.06. 01:44

얘네는 맨날 램을 SSD로 대체하려고 하네요 ㅋㅋㅋ

램도 SSD로 스왑해서 쓰고 이젠 LLM에도 활용하려고 하는데 아무리 요즘 SSD내구성이 좋아졌다고는 해도

너무 원가절감하려는거 아닌가 싶군요.

[EricCartman]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite EricCartman 님께
2024.05.06. 01:58
[BarryWhite]님의 댓글을 신고합니다. 취소 신고
치즈볼
치즈볼
2024.05.06. 02:29

ssd에서 AI 모델을 돌릴수 있게되면 초거대 AI모델을 맥북에어 1T 모델에서도 돌릴 수 있게 되는걸까요 ㄷㄷ 물론 애플이 만든 애플만의 AI 밖에 돌릴 수 없겠지만, 그래도 기대되네요. 저 논문으로 오픈소스 거대 LLM 모델들이 등장한다면 누구나 방구석에 개인비서를 두고 지낼 수 있게 될지도요. 특히나 스마트폰에서 기능하면 진짜 대박이겠네요... 

[치즈볼]님의 댓글을 신고합니다. 취소 신고
RuBisCO
RuBisCO
2024.05.06. 08:55

램을 무슨수로라도 안늘려줄거라는 저 강철같은 의지는 존경스럽군요

[RuBisCO]님의 댓글을 신고합니다. 취소 신고
best 쌍피ㄷㄷ
2024.05.06. 12:01

저건 단순히 램을 아끼겠다는 의지 그 이상인 것 같네요. 엔드포인트 딥러닝 관점에서 보면 상당히 이점이 많은 접근입니다. 당장 오늘날의 대부분의 로컬 LLM들이 램 하나때문에 혼신의 몸비틀기로 양자화하고 애써 몇포인트 올린 성능을 다 날려 먹거든요. 어차피 대부분의 소비자용 SSD들이 수명을 채 다 못 쓰고 버려지고 있다는 점을 생각하면 저건 메리트가 상당히 클 것 같습니다

[쌍피ㄷㄷ]님의 댓글을 신고합니다. 취소 신고
세츠나
세츠나 쌍피ㄷㄷ 님께
2024.05.06. 14:53

저도 여기에 공감하는 게 4년차에 접어든 1TB SSD 수명이 이제야 2% 닳아있더군요

그나마도 대용량 게임들 깔았다 지웠다하거나 OS 재설치해서 닳은 게 아닐까 싶을 정도로 금강불괴입니다...

[세츠나]님의 댓글을 신고합니다. 취소 신고
윤이
윤이
2024.05.06. 14:11

모델들 용량이 장난 아닌거 생각해보면 램을 두배 해줘도 사실 모자랄텐데 맞는 접근 같습니다.

근데 램은 좀 늘려주지..

[윤이]님의 댓글을 신고합니다. 취소 신고
Eomjunsik
2024.05.06. 16:51

방향은 맞는데 lpddr로도 부족한 대역폭을 ssd로.. 쉽지 않을 것 같아요.

[Eomjunsik]님의 댓글을 신고합니다. 취소 신고
하루옹
하루옹
2024.05.07. 07:35

스마트폰에서 요구하는 AI성능을 생각하면 가성비 탁월한 접근방법이네요...

[하루옹]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 소식 IT 소식 게시판 이용 수칙 230127 admin 19.11.15 9 51527
핫글 소식 샤오미, 믹스 플립 글로벌 출시 [2] newfile BarryWhite 02:44 1 374
핫글 소식 VIVO, 최초로 안드로이드15 정식 업데이트 시작 newfile Stellist 09:07 1 194
핫글 소식 아이폰16의 Wifi 7, 속도 느리고 대역폭 제한있어 [1] newfile Stellist 09:46 1 272
62629 소식 [까다로운 리뷰] 30만원대 극가성비 폰 낫싱 CMF 폰 1 뉴스봇 24.08.20 0 378
62628 소식 [커머스BN] 쿠팡과 CJ제일제당이 손잡을 수밖에 없는 이유 뉴스봇 24.08.20 0 265
62627 소식 애플, 9월 10일 특별 행사 통해 아이폰 16 시리즈 발표? file BarryWhite 24.08.20 0 322
62626 소식 애플, 자체 검색 엔진 만들까…실현 가능성은 글쎄 BarryWhite 24.08.20 0 159
62625 소식 북한 해커, MS 윈도우 디펜더 제로데이 취약점 악용했다 BarryWhite 24.08.20 2 295
62624 소식 SK실트론, 2나노용 공정 기술 개발…웨이퍼 업계 초미세 대응 BarryWhite 24.08.20 0 262
62623 소식 美 소비자: 차세대 아이폰에 더 큰 디스플레이 원해 [1] BarryWhite 24.08.20 0 169
62622 소식 삼성전자 HBM, 3분기 공급 모듈 공장 재고 수요 재개 가속화 기대 BarryWhite 24.08.20 0 270
62621 소식 기계연, 하루 2ℓ 식수 생산 휴대용 수분포집기 상용화 file BarryWhite 24.08.20 0 159
62620 소식 갤럭시 A 시리즈, 갤럭시 탭 S9 FE도 서클 투 서치 적용 BarryWhite 24.08.20 1 219
62619 소식 대만 기업, 머스크 X 상대 소송 제기…부품 값 못 받아 BarryWhite 24.08.20 1 139
62618 소식 애플 로봇 진짜 나오나…폭스콘, 관련 부품 생산 박차 BarryWhite 24.08.20 0 111
62617 소식 CSOT가 LGD 광저우 공장 인수하면..."삼성-BOE 협력할 수도" 뉴스봇 24.08.20 0 197
62616 소식 자바에서 문자열 비교하기 뉴스봇 24.08.20 0 184
62615 소식 “물건은 잘 만들지만” 애플 제품을 사지 말아야 할 5가지 이유 [8] 뉴스봇 24.08.20 5 1009
62614 소식 "느려진 PC에 이상 증상까지?" 랜섬웨어 해킹 여부 확인하는 5가지 방법 뉴스봇 24.08.20 0 176
62613 소식 '광고 친화적인 크롬'에서 여전히 사용할 만한 광고 차단기 4선 [1] 뉴스봇 24.08.20 0 277
62612 소식 게이밍 핸드헬드 PC 시장에 도전장 내민 조탁 존, AMOLED 디스플레이 강점 뉴스봇 24.08.20 0 179
62611 소식 "아이폰에서 듣던 팟캐스트를 윈도우 PC에서도" 애플, 팟캐스트 웹 버전 출시 뉴스봇 24.08.20 0 203
62610 소식 [커머스BN] 만나플러스 출금 제한 사태는 왜 배달판 티메프 사태라 불리나 뉴스봇 24.08.20 0 98
62609 소식 미국 500대 기업 56%가 AI를 위험 요소로 인식 뉴스봇 24.08.20 0 140
62608 소식 [핫겜BN] 실시간전략(RTS) 고인물들이 만든 ‘스톰게이트’ 뉴스봇 24.08.20 0 139
62607 소식 SK하이닉스: 애플·엔비디아 등 맞춤형 HBM 요청중 BarryWhite 24.08.20 0 245
62606 회원 美의회, 중국산 공유기 보안 우려 제기…티피링크 조사 요청 BarryWhite 24.08.20 0 58
62605 회원 트럼프, AI로 생성한 테일러 스위프트 지지 이미지 사용...허위 선거 정보 규제 어려워 [3] BarryWhite 24.08.20 1 201
62604 소식 라이젠 9950X AVX-512 성능, 전력 소비 증가 없이 Zen 4 대비 뛰어나 file BarryWhite 24.08.20 0 271
62603 소식 파이널 판타지 XVI, 9월 17일 PC로 출시 BarryWhite 24.08.20 0 171
62602 소식 유비소프트, 미국 지사 45명 감원…부진한 실적 탓 BarryWhite 24.08.20 0 125
62601 회원 스마트 오디오 시장 24Q2 10.6% 성장...오픈형 이어폰 덕분 file BarryWhite 24.08.20 0 27
62600 소식 아이폰 16 프로, 새 색상 카메라 링 적용? file BarryWhite 24.08.20 0 326

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

확장 변수

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.