미니 LLM에 대한 환상이 있으신 분들이 있는데..

Eomjunsik
조회 수 1200
2023.09.04. 13:35

생각보다 필요 하드웨어, 기술적 장벽 모두 엄~청 낮아진지 오래입니다.

지금 폰에 잘만 달려있는 8gen2로도 스테이블 디퓨전으로 AI 그림 찍고 언어모델 잘 돌려요;;

그냥 데이터 잔뜩 만들고 llama 2 학습시켜서 4bit 양자화로 돌리면 자체 로컬 모델 완성입니다. 와!

보통 발목을 잡는 VRAM 문제도 통합 메모리라는 스마트폰 구조상 어느정도는 용인이 되고..

결국 문제는 배터리 -> 이건 전용 가속 칩셋 달면 어느정도 해결할만 하겠죠.

성능 -> 이건 답이 없죠. 삼성이 OpenAI를 이긴다.. 한국어 LLM은 GPT-4 성능 그대로 내줘도 시원찮은데 이걸 로컬로, 그것도 모바일로, 그것도 삼성이? 별 기대 안하시는게 좋습니다.

📱 Samsung Galaxy S24 & Apple iPhone 14 Pro

📝 Samsung Galaxy Tab S9

💻 Apple MacBook Air M1

🖥️ Samsung S27A700

🎮 AMD R5 5600 + RX 6600

🎧 Sony WH-1000XM5 / Samsung Galaxy Buds Live

📖 Onyx Poke 5

		6
								
best1등지나가던호갱
									2023.09.04. 14:02									
LLM 같은 거 할 때 하드웨어 장벽이 있다는 건 학습 단계에서의 이야기죠.
최종 소비자용 기기에서 추론할 때야 뭐 요즘 기기로 말씀하신대로 얼추 다 합니다.

					 8
									
					[지나가던호갱]님의 댓글을 신고합니다.
					취소
					신고
					
2등톰슨가젤
									2023.09.04. 15:11									
하이 빅스비?
너 나랑 LLM 하나 하자

					[톰슨가젤]님의 댓글을 신고합니다.
					취소
					신고
					
3등xclear
									2023.09.04. 17:27									
그 양자화 로컬로 폰에서 돌려봐야 7B가 한계아닌가요?

대중들이 원하는 llm성능이 gpt4수준인지라...

라마 70b가와도 힘듬...

					 1
									
					[xclear]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 xclear 님께
				
									2023.09.04. 17:29									
네 모바일에서 기술적인 문제는 하나도 없고 경제적인 문제만 있죠 ㅎㅎ
그래서 기대가 안된다는거기도 합니다.

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
영어공학과
									2023.09.05. 16:03									
스테이블 디퓨전과 라마가 오픈소스화 해준 덕분에 데이터 크롤링이랑 파인튜닝만 해주면 돼서 너무 좋죠ㅎ
데이터 잔뜩 만드는게 문제긴 하죠ㅋ 어디서 가져오냐랑 어느만큼 한계를 둘거냐인데
AI쪽에선 기술과 경험도 국내 최고에 한국어 데이터도 근본이 포털회사인만큼 넘사벽으로 많이가지고있는 네이버 클로바가 예상외의 낮은 수준을 보여주고 나서는 딱히 기대가 안커지네요ㅠ

					[영어공학과]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 영어공학과 님께
				
									2023.09.05. 16:14									
클로바는 정말 이해가 안될 정도이긴 합니다. 진짜 라마2에 네이버 블로그만 때려박아도 저거보다는 나았을 것 같은데;;
전부 다 자체 개발로 하려는 욕심이 문제였던건지.. 
조금 과격하게 말해서 데이터=돈인지라 삼성이 그런 부분에서 큰 걱정이 되지는 않습니다 ㅎ

					 1
									
					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114202	13
핫글	미니	직구 규제 오피셜: 정해진거 없음 [16]	SM-G986N	24.05.17	855	12
핫글	미니	샀읍니다 [6]	강약중강약	24.05.17	510	10
핫글	미니	직구 제한 정리 [7]	룬룬	24.05.17	1090	10
198101	미니	페이가 되고 통녹이 되는건 중요 선택요소가 아닙니다. [23]	EricCartman	23.09.15	1256	22
198100	미니	엑시노스 혐오는 이해하지만 비난은 자제했으면 합니다 [32]	신한대알바	23.09.15	1572	35
198099	미니	후 예구 했습니다 [14]	회기동길냥이	23.09.15	708	17
198098	미니	아이폰15프로 개인적으로 기대되는 점 [3]	Geronimo	23.09.15	836	12
198097	미니	10배카메라를 대용으로 사용한다면 콘서트장 울트라 대여같은건 줄겠네요 [3]	aleji	23.09.15	451	2
198096	미니	과연 skt가 통녹을 타 통신사에도 풀까요? [8]	크나앙	23.09.15	753	1
198095	미니	애플 발표회 유튜버 초대 기준이 뭘까요? [15]	달콩이	23.09.15	757	1
198094	미니	언케 중국폴드 3종 리뷰 [6]	갤럭시派	23.09.15	751	5
198093	미니	이러면 국내에서 갤럭시 브랜드 위치가 대단히 위협받을텐데.. [18]	나르자	23.09.15	1419	11
198092	미니	아이폰12가 전자파 관련해서 문제가 있었나보네요? [2]	미하엘무야허	23.09.15	435	1
198091	미니	갤럭시S24U에 10배줌 카메라 없애고 괜찮을 수 있는 방법 [6]	Stellist	23.09.15	1006	3
198090	미니	애페 티머니만 기다립니다.. [2]	댕밤	23.09.15	417	7
198089	미니	i7 램 8기가 vs i5 램 16기가 [27]	헤메	23.09.15	711	0
198088	미니	아이폰에서 통녹된다고 하면 진짜 갈아타야겠네요 [8]	PaulBasset	23.09.15	891	9
198087	미니	뭔가 에이닷 소식 들으니 묘하네요 [3]	[성공]함께크는성장	23.09.15	749	2
198086	미니	갤럭시 전용칩 DSP는 RISC-V 기반인가 봅니다? [9]	Aimyon	23.09.15	861	6
198085	미니	The S24 Ultra 10x camera is really canceled, it's true. [11]	iceuniverse	23.09.15	776	2
198084	미니	skt가 에이닷 통해서 아이폰 통녹을 한다네요? [30]	갤럭시S23	23.09.15	1666	18
198083	미니	사실 다른 칩보다 더 궁금한게 [4]	Antares	23.09.15	519	1
198082	미니	동네 14프로 당근 시세입니다 [6]	크나앙	23.09.15	855	4
198081	미니	S24울트라 10배 망원 삭제 루머?? [12]	클라비스	23.09.15	816	2
198080	미니	울트라몰빵 멈춰! & 플러스좀 띄워줘! [13]	톰슨가젤	23.09.15	682	1
198079	미니	아이폰12미니 vs 아이폰SE3 [6]	와르르혁명	23.09.15	466	1
198078	미니	아이폰 램에서 삼성제는 못본거같은데	dlwlrma	23.09.15	337	0
198077	미니	엑시노스 행복회로는 라데온 행복회로죠 [15]	반박시맞아용	23.09.15	819	5

👩🏼‍💻미코🌿

미니 LLM에 대한 환상이 있으신 분들이 있는데..

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정