로그인 해주세요.

IT 소식 *최신 IT소식을 보거나 등록하실 수 있습니다.

BarryWhite

소식 애플, SSD에 AI 모델 데이터 저장 연구...기존 대비 최소 4배 빨라

수정됨_CleanShot_2024_05_03_at_09.50.52.jpg

수정됨_CleanShot_2024_05_03_at_09.36.28.jpg

 

애플의 연구팀이 발표한 논문에 따르면, 애플은 단말기의 램에 저장되는 AI 모델 데이터를 SSD에 저장하는 대안 시스템을 고안한 것으로 나타났습니다.

 

"LLM in a flash: 제한된 메모리로 효율적인 대규모 언어 모델 추론"이라는 논문 내용을 보면, 애플 연구팀은 "(SSD서) 사용 가능한 DRAM 크기의 최대 2배까지 LLM을 실행할 수 있는 능력을 입증했다"고 밝혔습니다.

 

이 주장에 따르면, SSD를 통한 AI 모델은 기존 CPU를 이용한 방식의 4~5배. GPU의 경우 20~25배의 추론 속도를 달성했다고 합니다. 단말기에서 가장 저렴하게 이용할 수 있는 저장소(SSD)를 활용, 더 빠르고 효율적으로 AI 모델을 운용할 수 있다는 겁니다.

 

또 애플 연구팀은 LLM의 성능을 악화시키지 않고, 규모를 작은 크기로 압축할 수 있는 EELBERT란 시스템도 만든 것으로 나타났습니다. 이는 구글의 Bert 모델에 비해 15배 더 작은 1.2메가바이트에 불과합니다. 시간 지연이 조금 발생하긴 하나 압축에 따른 품질 저하는 4%에 불과했다고 합니다.

 

더 버지는 이런 애플의 연구가 결국 시리의 성능 향상으로 귀결된다고 설명했습니다.

 

애플 연구팀은 사용자가 "시리야"라는 말을 하지 않고도 시리를 쓸 수 있는 방법을 연구 중입니다. 사용자가 시리, 단말기를 향해 말을 하는지 판단할 수 있게 만든다는 것입니다. 물론 연구팀은 사용자의 음성을 감지해 동작하는 것보다, 이런 선행 음성없이 인식하는 것이 더 어려운 기능 임을 인정했습니다.

 

또 연구팀은 사용자가 새로운 질문을 할 때와 후속 질문을 할 때를 구분, 시리가 사용자와 주고받는 커뮤니케이션을 개선하기 위해 STEER(Semantic Turn Extension-Expansion Recognition)라는 시스템도 개발했다고 합니다.

 

사용자가 하는 불확실한 말의 뜻을 어떻게든 파악할 수 있도록, AI가 주도적으로 명확한 질문을 던지는 방향도 연구되고 있습니다.

 

애플은 AI를 통한 신체 데이터 활용 외에도, 스테이블AI와 같은 창작형 AI 도구도 만들고 있습니다. '키프레이머'라는 시스템인데, 프롬프트로 원하는 이미지를 생성하고, 또 그 이미지를 조정하거나 다듬을 수 있도록 설계됐다고 합니다.

 

그밖에도 사용자의 설명만으로도 이미지를 편집해주는 MGIE라는 도구도 준비 중입니다.

BarryWhite
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
📝게시판 소유자(1)✨️🥇미게 지박령🥉미코의 심심이🥇미코의 잡담왕🥇소식게 수호자🥈유게 공무원🥉큰게 좋아🥉할인 경보
댓글
13
요그
1등 요그
2024.05.06. 01:19

절대 램을 늘려주지 않겠다는 의지

[요그]님의 댓글을 신고합니다. 취소 신고
엑시용용이
2등 엑시용용이
2024.05.06. 01:32

모델을 굳이 로딩하는 과정이 필요가 없다는 이점이 있겠네요.

다만 추론 시 레이턴시가 관건일듯 한데... 궁금하네요 실사시엔 어떨지

[엑시용용이]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite 엑시용용이 님께
2024.05.06. 01:29

엄청 거슬릴 정도만 아니면 괜찮을 듯합니다.

[BarryWhite]님의 댓글을 신고합니다. 취소 신고
EricCartman
3등 EricCartman
2024.05.06. 01:44

얘네는 맨날 램을 SSD로 대체하려고 하네요 ㅋㅋㅋ

램도 SSD로 스왑해서 쓰고 이젠 LLM에도 활용하려고 하는데 아무리 요즘 SSD내구성이 좋아졌다고는 해도

너무 원가절감하려는거 아닌가 싶군요.

[EricCartman]님의 댓글을 신고합니다. 취소 신고
BarryWhite
글쓴이
BarryWhite EricCartman 님께
2024.05.06. 01:58
[BarryWhite]님의 댓글을 신고합니다. 취소 신고
치즈볼
치즈볼
2024.05.06. 02:29

ssd에서 AI 모델을 돌릴수 있게되면 초거대 AI모델을 맥북에어 1T 모델에서도 돌릴 수 있게 되는걸까요 ㄷㄷ 물론 애플이 만든 애플만의 AI 밖에 돌릴 수 없겠지만, 그래도 기대되네요. 저 논문으로 오픈소스 거대 LLM 모델들이 등장한다면 누구나 방구석에 개인비서를 두고 지낼 수 있게 될지도요. 특히나 스마트폰에서 기능하면 진짜 대박이겠네요... 

[치즈볼]님의 댓글을 신고합니다. 취소 신고
RuBisCO
RuBisCO
2024.05.06. 08:55

램을 무슨수로라도 안늘려줄거라는 저 강철같은 의지는 존경스럽군요

[RuBisCO]님의 댓글을 신고합니다. 취소 신고
best 쌍피ㄷㄷ
2024.05.06. 12:01

저건 단순히 램을 아끼겠다는 의지 그 이상인 것 같네요. 엔드포인트 딥러닝 관점에서 보면 상당히 이점이 많은 접근입니다. 당장 오늘날의 대부분의 로컬 LLM들이 램 하나때문에 혼신의 몸비틀기로 양자화하고 애써 몇포인트 올린 성능을 다 날려 먹거든요. 어차피 대부분의 소비자용 SSD들이 수명을 채 다 못 쓰고 버려지고 있다는 점을 생각하면 저건 메리트가 상당히 클 것 같습니다

[쌍피ㄷㄷ]님의 댓글을 신고합니다. 취소 신고
세츠나
세츠나 쌍피ㄷㄷ 님께
2024.05.06. 14:53

저도 여기에 공감하는 게 4년차에 접어든 1TB SSD 수명이 이제야 2% 닳아있더군요

그나마도 대용량 게임들 깔았다 지웠다하거나 OS 재설치해서 닳은 게 아닐까 싶을 정도로 금강불괴입니다...

[세츠나]님의 댓글을 신고합니다. 취소 신고
윤이
윤이
2024.05.06. 14:11

모델들 용량이 장난 아닌거 생각해보면 램을 두배 해줘도 사실 모자랄텐데 맞는 접근 같습니다.

근데 램은 좀 늘려주지..

[윤이]님의 댓글을 신고합니다. 취소 신고
Eomjunsik
2024.05.06. 16:51

방향은 맞는데 lpddr로도 부족한 대역폭을 ssd로.. 쉽지 않을 것 같아요.

[Eomjunsik]님의 댓글을 신고합니다. 취소 신고
하루옹
하루옹
2024.05.07. 07:35

스마트폰에서 요구하는 AI성능을 생각하면 가성비 탁월한 접근방법이네요...

[하루옹]님의 댓글을 신고합니다. 취소 신고
취소
번호 분류 제목 글쓴이 날짜 조회 수
공지 소식 IT 소식 게시판 이용 수칙 230127 admin 19.11.15 9 49537
핫글 소식 VAIO, 가벼운 14인치 외장형 모니터 Vision+ 14 발표 [5] updatefile Stellist 24.07.22 3 436
핫글 소식 日, 유명인 사칭 투자 광고의 99%가 메타發 [1] new BarryWhite 24.07.22 2 288
핫글 소식 삼성 '갤럭시 탭 S9 FE' 인도서 재고정리.. 33% 할인 판매 [1] new 뉴스봇 24.07.22 1 348
44372 U+모바일tv서 CJ ENM 채널 송출중단…콘텐츠사용료 협상 결렬 프로입털러 21.06.12 0 275
44371 소식 3세대 에어팟, 다음 주 공개되나 뉴스봇 21.05.14 0 275
44370 소식 LG이노텍, 中페이퍼컴퍼니에 韓 LED 특허 114건 매각 뉴스봇 21.07.09 0 275
44369 소식 AMD 그래픽 드라이버가 라이젠 CPU 설정을 임의 변경? 뉴스봇 22.04.04 0 275
44368 소식 샤오미, 레드미 노트 12 프로 스피드 에디션 공개 뉴스봇 22.12.28 0 275
44367 소식 삼성디스플레이, 독일 OLED 업체 Cynora를 약 3,900억 원에 인수 뉴스봇 22.06.30 0 275
44366 소식 징루이구펀, SK하이닉스서 중고 ASML 노광 장비 확보 뉴스봇 20.11.12 0 275
44365 소식 Oppo 4K 120Hz TV, 다음 달 출시 예정 뉴스봇 20.09.30 0 275
44364 소식 iFixit, 애플 부품 페어링 요구로 아이폰14 수리성 점수 낮춰 BarryWhite 23.09.20 0 275
44363 소식 인텔 LGA1151과 코멧 레이크 LGA1200 소켓 외형 차이 거의 없어 [1] 뉴스봇 19.12.27 0 275
44362 소식 2월 중국 스마트폰 SoC, 1위는 미디어텍 뉴스봇 22.04.29 0 275
44361 소식 "백도어로 스파이 활동" 美주장에 뿔난 화웨이 "통신망 염탐한 건 미국" [3] 신규유저 20.02.16 0 275
44360 소식 PCIe 5.0 SSD로 업그레이드할 이유 5가지, 그럴 필요 없는 이유 5가지 뉴스봇 23.04.13 0 275
44359 소식 애플 13" M3 맥북 에어, 아마존서 100달러 인하...999달러 BarryWhite 24.03.28 0 275
44358 소식 北 해킹 조직, 국내 보안 제품 실제 발주서·DRM 문서로 위장...사이버 공격 진행 중 뉴스봇 22.08.25 0 275
44357 소식 [차이나 브리프] 엔비디아, TSMC 대신 인텔 파운드리 사용할 의향 있어  [1] 뉴스봇 23.07.05 0 275
44356 소식 삼성, 최다 3대 동시 충전 '무선충전기·보조배터리' 출시 뉴스봇 20.09.24 0 275
44355 비싼 폴더블 말고...삼성 '갤럭시S21 FE' 9월 8일 나온다 [1] 뉴스봇 21.08.31 0 275
44354 소식 한국GM “콜로라도 디젤 출시는 없다, 2.5리터 가솔린 검토” 뉴스봇 19.08.26 0 275
44353 소식 "내년 LTPO 백플레인 장비 투자 비중 79%"...DSCC 뉴스봇 20.05.15 1 275
44352 소식 애플 AI 도구 키프레이머, 텍스트로 애니메이션 제작 BarryWhite 24.02.15 2 275
44351 소식 샤오미 Redmi Pad 사양 및 렌더링 유출 뉴스봇 22.09.28 0 275
44350 소식 작년 가장 많이 팔린 폰은 아이폰 14 BarryWhite 24.02.22 0 275
44349 소식 칩 공급부족, 중국산 MCU 업계의 기회 뉴스봇 22.01.24 0 275
44348 소식 삼성전자, ‘갤럭시 S20 FE’ 6일부터 사전 예약 실시 [1] 프로입털러 20.10.05 1 275
44347 소식 NSHC "다크웹 마약 사이트·이용자 수 급증" BarryWhite 20.01.07 0 275
44346 소식 애플, 합성 그룹 셀피 특허 취득 [1] 뉴스봇 20.06.08 0 275
44345 소식 원플러스, 2023년 전화기 일부에 대해 OS 버전 업데이트 4회 약속 [1] 뉴스봇 22.12.01 0 275
44344 남궁훈의 카카오 오픈채팅 광고 실험…두마리 토끼 잡는다 [3] 프로입털러 22.09.16 0 275
44343 소식 [까다로운 리뷰] ‘그녀’가 온다, 챗 GPT-4o 뉴스봇 24.05.17 0 275

스킨 기본정보

colorize02 board
2017-03-02
colorize02 게시판

사용자 정의

1. 게시판 기본 설정

게시판 타이틀 하단에 출력 됩니다.

일반 게시판, 리스트 게시판, 갤러리 게시판에만 해당

2. 글 목록

기본 게시판, 일반 게시판, 썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

썸네일 게시판만 해당

3. 갤러리 설정

4. 글 읽기 화면

기본 10명 (11명 일 경우, XXXXX 외 1명으로 표시)

5. 댓글 설정

일정 수 이상의 추천을 받은 댓글에 표시를 합니다.

6. 글 쓰기 화면 설정

글 쓰기 폼에 미리 입력해 놓을 문구를 설정합니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...