미니 LLM에 대한 환상이 있으신 분들이 있는데..

Eomjunsik
조회 수 1200
2023.09.04. 13:35

생각보다 필요 하드웨어, 기술적 장벽 모두 엄~청 낮아진지 오래입니다.

지금 폰에 잘만 달려있는 8gen2로도 스테이블 디퓨전으로 AI 그림 찍고 언어모델 잘 돌려요;;

그냥 데이터 잔뜩 만들고 llama 2 학습시켜서 4bit 양자화로 돌리면 자체 로컬 모델 완성입니다. 와!

보통 발목을 잡는 VRAM 문제도 통합 메모리라는 스마트폰 구조상 어느정도는 용인이 되고..

결국 문제는 배터리 -> 이건 전용 가속 칩셋 달면 어느정도 해결할만 하겠죠.

성능 -> 이건 답이 없죠. 삼성이 OpenAI를 이긴다.. 한국어 LLM은 GPT-4 성능 그대로 내줘도 시원찮은데 이걸 로컬로, 그것도 모바일로, 그것도 삼성이? 별 기대 안하시는게 좋습니다.

📱 Samsung Galaxy S24 & Apple iPhone 14 Pro

📝 Samsung Galaxy Tab S9

💻 Apple MacBook Air M1

🖥️ Samsung S27A700

🎮 AMD R5 5600 + RX 6600

🎧 Sony WH-1000XM5 / Samsung Galaxy Buds Live

📖 Onyx Poke 5

		6
								
best1등지나가던호갱
									2023.09.04. 14:02									
LLM 같은 거 할 때 하드웨어 장벽이 있다는 건 학습 단계에서의 이야기죠.
최종 소비자용 기기에서 추론할 때야 뭐 요즘 기기로 말씀하신대로 얼추 다 합니다.

					 8
									
					[지나가던호갱]님의 댓글을 신고합니다.
					취소
					신고
					
2등톰슨가젤
									2023.09.04. 15:11									
하이 빅스비?
너 나랑 LLM 하나 하자

					[톰슨가젤]님의 댓글을 신고합니다.
					취소
					신고
					
3등xclear
									2023.09.04. 17:27									
그 양자화 로컬로 폰에서 돌려봐야 7B가 한계아닌가요?

대중들이 원하는 llm성능이 gpt4수준인지라...

라마 70b가와도 힘듬...

					 1
									
					[xclear]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 xclear 님께
				
									2023.09.04. 17:29									
네 모바일에서 기술적인 문제는 하나도 없고 경제적인 문제만 있죠 ㅎㅎ
그래서 기대가 안된다는거기도 합니다.

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
영어공학과
									2023.09.05. 16:03									
스테이블 디퓨전과 라마가 오픈소스화 해준 덕분에 데이터 크롤링이랑 파인튜닝만 해주면 돼서 너무 좋죠ㅎ
데이터 잔뜩 만드는게 문제긴 하죠ㅋ 어디서 가져오냐랑 어느만큼 한계를 둘거냐인데
AI쪽에선 기술과 경험도 국내 최고에 한국어 데이터도 근본이 포털회사인만큼 넘사벽으로 많이가지고있는 네이버 클로바가 예상외의 낮은 수준을 보여주고 나서는 딱히 기대가 안커지네요ㅠ

					[영어공학과]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 영어공학과 님께
				
									2023.09.05. 16:14									
클로바는 정말 이해가 안될 정도이긴 합니다. 진짜 라마2에 네이버 블로그만 때려박아도 저거보다는 나았을 것 같은데;;
전부 다 자체 개발로 하려는 욕심이 문제였던건지.. 
조금 과격하게 말해서 데이터=돈인지라 삼성이 그런 부분에서 큰 걱정이 되지는 않습니다 ㅎ

					 1
									
					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114784	13
핫글	미니	오늘 애플 발표는 실망이 더 크네요. [23]	Stellist	24.06.11	1558	27
핫글	미니	애플 인텔리전스가 타사 AI와 차이없다는 말엔 동의하기 어렵네요 [17]	xero	24.06.11	1077	19
핫글	미니	WWDC 상당히 재미없었네요(소감) [5]	212212	24.06.11	727	18
194888	미니	아이폰 14 일반형 가격 동결은 너무 당연한게 [3]	다람쥐	22.08.02	1209	0
194887	미니	중국 SMIC 7나노 정리 [12]	우주안녕	22.07.28	1209	8
194886	미니	[pic] 스마트폰에서 고화소를 쓰는 것의 이점 [7]	Stellist	22.07.22	1209	18
194885	미니	tsmc발 스냅8플러스 gen1이 좋게나왔는데 [3]	출사표	22.07.16	1209	2
194884	미니	Nothing phone(1) 박스 유출 [4]	Stellist	22.07.09	1209	8
194883	미니	플립3 써보니 내구성 걱정은 1도 안해도 되네요. [12]	만두는호빵이다.	22.06.12	1209	5
194882	미니	와! 종이질감 강화유리! 어린이날인데 택배! [10]	오토카모	22.05.05	1209	4
194881	미니	허허 영원한건 정말 없나 봅니다... [11]	전자개복치	22.04.18	1209	7
194880	미니	S21U vs S22U 20x 줌 [21]	Thomasp5675	22.02.11	1209	19
194879	미니	빙냥이의 엑시노스 2200 GPU 클럭 게시글 [16]	PatGelsinger	22.01.12	1209	4
194878	미니	디멘시티 9000 탑재폰들이 슬슬 알려지고 있네요 [8]	스퀴니	21.12.12	1209	0
194877	미니	이번 맥북 프로 120Hz + 미니LED [6]	애쁠마시따	21.10.13	1209	2
194876	미니	듀오는 무슨 목적으로 만든걸까요? [11]	읭읭이	21.08.30	1209	5
194875	미니	버즈프로 아즈라 이어팁 2번째 샘플 테스트중.. [24]	감자해커	21.05.19	1209	6
194874	미니	디지털프라자에서 akg 이어폰 할인하네요. [21]	초밥챠	21.03.25	1209	4
194873	미니	제일 비슷하네요 [24]	레제르바	20.12.25	1209	18
194872	미니	갤투고 이런 이슈 있다네요 [12]	여가어딥미코	20.08.12	1209	4
194871	미니	여러분 hex installer 쓰세요. [9]	모카멜	20.02.04	1209	0
194870	미니	퀄퀌: 스냅드래곤 X 플러스, 애플 M3보다 빨라 [12]	BarryWhite	24.04.24	1208	6
194869	미니	휴대폰 다시는 삼성디프에서 안삽니다 ㅡㅡ;; [3]	환스카이	24.02.01	1208	10
194868	미니	i9-12900H 코어 조절 후기 [11]	BarryWhite	23.07.02	1208	4
194867	미니	루머) TSMC 3nm 공정 수율 55% (2분기 기준) [12]	Section31	23.04.26	1208	1
194866	미니	잡담: 이러니 삼성이 엑시노스를 포기 못 하는... [9]	Section31	23.04.18	1208	6
194865	미니	이번에 추가된 바이패스 기능 탭s8 시리즈에도 있나요? [10]	KSP공돌이	23.02.11	1208	0
194864	미니	S23U 센서시프트 OIS 미탑재? [8]	코크니코알라	23.01.23	1208	3

👩🏼‍💻미코🌿

미니 LLM에 대한 환상이 있으신 분들이 있는데..

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정