미니 LLM에 대한 환상이 있으신 분들이 있는데..

Eomjunsik
조회 수 1200
2023.09.04. 13:35

생각보다 필요 하드웨어, 기술적 장벽 모두 엄~청 낮아진지 오래입니다.

지금 폰에 잘만 달려있는 8gen2로도 스테이블 디퓨전으로 AI 그림 찍고 언어모델 잘 돌려요;;

그냥 데이터 잔뜩 만들고 llama 2 학습시켜서 4bit 양자화로 돌리면 자체 로컬 모델 완성입니다. 와!

보통 발목을 잡는 VRAM 문제도 통합 메모리라는 스마트폰 구조상 어느정도는 용인이 되고..

결국 문제는 배터리 -> 이건 전용 가속 칩셋 달면 어느정도 해결할만 하겠죠.

성능 -> 이건 답이 없죠. 삼성이 OpenAI를 이긴다.. 한국어 LLM은 GPT-4 성능 그대로 내줘도 시원찮은데 이걸 로컬로, 그것도 모바일로, 그것도 삼성이? 별 기대 안하시는게 좋습니다.

📱 Samsung Galaxy S24 & Apple iPhone 14 Pro

📝 Samsung Galaxy Tab S9

💻 Apple MacBook Air M1

🖥️ Samsung S27A700

🎮 AMD R5 5600 + RX 6600

🎧 Sony WH-1000XM5 / Samsung Galaxy Buds Live

📖 Onyx Poke 5

		6
								
best1등지나가던호갱
									2023.09.04. 14:02									
LLM 같은 거 할 때 하드웨어 장벽이 있다는 건 학습 단계에서의 이야기죠.
최종 소비자용 기기에서 추론할 때야 뭐 요즘 기기로 말씀하신대로 얼추 다 합니다.

					 8
									
					[지나가던호갱]님의 댓글을 신고합니다.
					취소
					신고
					
2등톰슨가젤
									2023.09.04. 15:11									
하이 빅스비?
너 나랑 LLM 하나 하자

					[톰슨가젤]님의 댓글을 신고합니다.
					취소
					신고
					
3등xclear
									2023.09.04. 17:27									
그 양자화 로컬로 폰에서 돌려봐야 7B가 한계아닌가요?

대중들이 원하는 llm성능이 gpt4수준인지라...

라마 70b가와도 힘듬...

					 1
									
					[xclear]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 xclear 님께
				
									2023.09.04. 17:29									
네 모바일에서 기술적인 문제는 하나도 없고 경제적인 문제만 있죠 ㅎㅎ
그래서 기대가 안된다는거기도 합니다.

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
영어공학과
									2023.09.05. 16:03									
스테이블 디퓨전과 라마가 오픈소스화 해준 덕분에 데이터 크롤링이랑 파인튜닝만 해주면 돼서 너무 좋죠ㅎ
데이터 잔뜩 만드는게 문제긴 하죠ㅋ 어디서 가져오냐랑 어느만큼 한계를 둘거냐인데
AI쪽에선 기술과 경험도 국내 최고에 한국어 데이터도 근본이 포털회사인만큼 넘사벽으로 많이가지고있는 네이버 클로바가 예상외의 낮은 수준을 보여주고 나서는 딱히 기대가 안커지네요ㅠ

					[영어공학과]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 영어공학과 님께
				
									2023.09.05. 16:14									
클로바는 정말 이해가 안될 정도이긴 합니다. 진짜 라마2에 네이버 블로그만 때려박아도 저거보다는 나았을 것 같은데;;
전부 다 자체 개발로 하려는 욕심이 문제였던건지.. 
조금 과격하게 말해서 데이터=돈인지라 삼성이 그런 부분에서 큰 걱정이 되지는 않습니다 ㅎ

					 1
									
					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114261	13
핫글	미니	이번 서피스는 엄청나게 싸게 나온 축에 속합니다 [7]	212212	24.05.21	919	12
핫글	미니	다들 과거의 기기를 올려주시는데 [4]	오레오가좋아	24.05.21	775	12
핫글	미니	애플이 배워야 할 마이크로소프트 정책 [6]	Stellist	24.05.21	826	11
197604	미니	잡담: Apple M 시리즈 맥북 관련 약간의 개인적 의견 [2]	Section31	23.09.04	767	1
197603	미니	갤럭시 워치4 베타 끝났네요 [4]	empineer	23.09.04	695	4
197602	미니	꿈이 이루어졌습니다 VAIO 16:10 화면 비율 탑재! [7]	PatGelsinger	23.09.04	1038	7
197601	미니	S22U Expert raw 업데이트 간단 후기 📷!! [17]	Sparrow	23.09.04	980	15
197600	미니	차기 M3 아이패드용 매직 키보드는 상판이 알루미늄이 된다네요. [6]	요트맨	23.09.04	750	1
197599	미니	폴드4 배터리 이게 맞나요...? [12]	목적격관계대명사	23.09.04	970	0
197598	미니	아이클라우드 사진 문제 어떻게 해결해야될까요? [1]	댕밤	23.09.04	254	1
197597	미니	잡담: 탭S9 FE를 749유로 받고 팔기엔...(루머가 맞다면) [8]	Section31	23.09.04	931	9
197596	미니	갤럭시탭FE 가격 대폭 인상 루머가 있군요. [15]	Stellist	23.09.04	1062	4
197595	미니	요즘 버즈3인지 버즈FE인지 4분기 출시루머돌던데 뭘까요... [13]	flair	23.09.04	1100	5
197594	미니	이 케이스 보니 플립 마렵습니다. [4]	순진미소년	23.09.04	1278	13
197593	미니	폴드4 5.1.1 업데이트 이후에 화면 자동꺼짐 잘 동작하시나요? [1]	잉여왕	23.09.04	486	0
197592	미니	아이폰 검색 제 폰만 이런걸까요 [9]	Qkooqq	23.09.04	580	1
197591	미니	아이폰 자동화 이옵션은 언제부터 풀렸나용	댕밤	23.09.04	366	1
197590	미니	갤캠스 가입은 됐는데	[성공]함께크는성장	23.09.04	256	1
	미니	LLM에 대한 환상이 있으신 분들이 있는데.. [6]	Eomjunsik	23.09.04	1200	1
197588	미니	알뜰폰 번호이동 애먹었네요 [7]	霧津	23.09.04	545	3
197587	미니	페이스 아이디는 udc로 처리해도 문제없지 않나요? [7]	참깨돌이	23.09.04	831	0
197586	미니	빅스비에 들어갈 생성형 AI는 뭘 쓸까요 [3]	[성공]함께크는성장	23.09.04	563	0
197585	미니	저는 다이나믹 아일랜드가 싫습니다 [7]	크나앙	23.09.04	1218	4
197584	미니	나오기전에 사진이나 상상으론 레이저가 플립5보다 훨이쁘다 생각했는데 [5]	flair	23.09.04	816	9
197583	미니	키보드를 좋아하는 사람의 취향이 독특하다고 생각했는데 [13]	딸기맛치킨	23.09.04	584	2
197582	미니	내년 빅스비에 생성형 AI기능이 생기나 보네요 [12]	sourire	23.09.04	883	2
197581	미니	신형 아이폰 완죠니 어이엄네요 [10]	오토카모	23.09.04	2267	19
197580	미니	5핀의 저주... [8]	품귀문란	23.09.04	752	5

👩🏼‍💻미코🌿

미니 LLM에 대한 환상이 있으신 분들이 있는데..

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정