미니 LLM에 대한 환상이 있으신 분들이 있는데..

Eomjunsik
조회 수 1200
2023.09.04. 13:35

생각보다 필요 하드웨어, 기술적 장벽 모두 엄~청 낮아진지 오래입니다.

지금 폰에 잘만 달려있는 8gen2로도 스테이블 디퓨전으로 AI 그림 찍고 언어모델 잘 돌려요;;

그냥 데이터 잔뜩 만들고 llama 2 학습시켜서 4bit 양자화로 돌리면 자체 로컬 모델 완성입니다. 와!

보통 발목을 잡는 VRAM 문제도 통합 메모리라는 스마트폰 구조상 어느정도는 용인이 되고..

결국 문제는 배터리 -> 이건 전용 가속 칩셋 달면 어느정도 해결할만 하겠죠.

성능 -> 이건 답이 없죠. 삼성이 OpenAI를 이긴다.. 한국어 LLM은 GPT-4 성능 그대로 내줘도 시원찮은데 이걸 로컬로, 그것도 모바일로, 그것도 삼성이? 별 기대 안하시는게 좋습니다.

📱 Samsung Galaxy S24 & Apple iPhone 14 Pro

📝 Samsung Galaxy Tab S9

💻 Apple MacBook Air M1

🖥️ Samsung S27A700

🎮 AMD R5 5600 + RX 6600

🎧 Sony WH-1000XM5 / Samsung Galaxy Buds Live

📖 Onyx Poke 5

		6
								
best1등지나가던호갱
									2023.09.04. 14:02									
LLM 같은 거 할 때 하드웨어 장벽이 있다는 건 학습 단계에서의 이야기죠.
최종 소비자용 기기에서 추론할 때야 뭐 요즘 기기로 말씀하신대로 얼추 다 합니다.

					 8
									
					[지나가던호갱]님의 댓글을 신고합니다.
					취소
					신고
					
2등톰슨가젤
									2023.09.04. 15:11									
하이 빅스비?
너 나랑 LLM 하나 하자

					[톰슨가젤]님의 댓글을 신고합니다.
					취소
					신고
					
3등xclear
									2023.09.04. 17:27									
그 양자화 로컬로 폰에서 돌려봐야 7B가 한계아닌가요?

대중들이 원하는 llm성능이 gpt4수준인지라...

라마 70b가와도 힘듬...

					 1
									
					[xclear]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 xclear 님께
				
									2023.09.04. 17:29									
네 모바일에서 기술적인 문제는 하나도 없고 경제적인 문제만 있죠 ㅎㅎ
그래서 기대가 안된다는거기도 합니다.

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
영어공학과
									2023.09.05. 16:03									
스테이블 디퓨전과 라마가 오픈소스화 해준 덕분에 데이터 크롤링이랑 파인튜닝만 해주면 돼서 너무 좋죠ㅎ
데이터 잔뜩 만드는게 문제긴 하죠ㅋ 어디서 가져오냐랑 어느만큼 한계를 둘거냐인데
AI쪽에선 기술과 경험도 국내 최고에 한국어 데이터도 근본이 포털회사인만큼 넘사벽으로 많이가지고있는 네이버 클로바가 예상외의 낮은 수준을 보여주고 나서는 딱히 기대가 안커지네요ㅠ

					[영어공학과]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 영어공학과 님께
				
									2023.09.05. 16:14									
클로바는 정말 이해가 안될 정도이긴 합니다. 진짜 라마2에 네이버 블로그만 때려박아도 저거보다는 나았을 것 같은데;;
전부 다 자체 개발로 하려는 욕심이 문제였던건지.. 
조금 과격하게 말해서 데이터=돈인지라 삼성이 그런 부분에서 큰 걱정이 되지는 않습니다 ㅎ

					 1
									
					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114687	13
핫글	미니	삼성 인터넷 26.0.0.42 [3]	aleji	03:40	701	8
핫글	미니	꺼무위키를 보면 갤럭시 S23 시리즈를 지속적으로 방열설계 최약체라고 적어놓는 부분이 있더라구요 [15]	RacingMiku	10:57	886	7
핫글	미니	버즈3 프로 출시가 얼마 남지 않았지만 버즈2 프로도 매우 만족스럽네요 [13]	RacingMiku	01:22	777	6
198944	미니	아이폰 점유율이 엄청나긴 하네요 [24]	HQteam	22.03.27	2806	8
198943	미니	삿슈 [1]	감비아도나츠	22.03.27	347	8
198942	미니	아주 귀한 랩탑을 봤습니다 ㄷㄷ [29]	Alternative	22.03.27	2766	8
198941	미니	갤탭S7+ 터네요 우앙 [21]	오토카모	22.03.27	1388	8
198940	미니	Samsung Galaxy S22 Plus Display Review: Vision Booster is a Game Changer [10]	씨샾	22.03.26	1256	8
198939	미니	토요일 기습 홈인증 [13]	뒷동산	22.03.26	599	8
198938	미니	갤럭시 풀세트! [3]	북극곰플	22.03.26	804	8
198937	미니	빡쳐서 삼전 서비스 대표전화 해서 한마디 했네요 [6]	Angry	22.03.25	1013	8
198936	미니	루머)구글 픽셀 6a 5G.. 7월 28일 [7]	스퀴니	22.03.25	650	8
198935	미니	샀슈	쿼드쿼드	22.03.25	235	8
198934	미니	4.1 유저분들 개쩌는거 또 알려드릴까요? [21]	긴닉네임24643649	22.03.25	1405	8
198933	미니	A53&A23 [15]	노태문	22.03.24	1670	8
198932	미니	같은 내용을 몇 번이나 올리는 거긴 한데 [20]	경전철(이엿던것)	22.03.24	928	8
198931	미니	풀 파워 셋트 완성했네요 [7]	AriMoon	22.03.23	633	8
198930	미니	S10 리프레시 너어어어어어무 심각합니다 [17]	민초홀릭	22.03.22	1031	8
198929	미니	펀치홀 아이폰 입니다. [11]	김나실	22.03.22	1015	8
198928	미니	사실 iOS가 싫은게 홈화면 아이콘 못치우는거였는데 [2]	sourire	22.03.22	746	8
198927	미니	GOS 구라 해상도 관련 유튜버 답글.jpg [12]	릅갈통	22.03.21	1817	8
198926	미니	삼성카페발소식 gos 시즌2 가 돌아올예정이랍니다 [5]	조형기의운전교실	22.03.21	3297	8
198925	미니	[루머] 애플 유심 트레이 제거핀 패키징에서 미제공 예정 [24]	프로입털러	22.03.21	1445	8
198924	미니	아이폰 Xs 참 좋지 않았나 싶습니다ㅎㅎ [6]	김나실	22.03.21	1008	8
198923	미니	루머) S22 FE 혹은 A53 Pro, 디멘시티 9000 탑재 [24]	노태문	22.03.20	1661	8
198922	미니	ARM Cortex X3 소비전력 줄이기 위한 노력에 비해 개선이 없어 [9]	GNXY901TW	22.03.20	933	8
198921	미니	빅스비 루틴 미세먼지 팁(배터리 보호) [3]	펄럭펄럭	22.03.20	1549	8
198920	미니	지인들 gos 사태 인식... [12]	Idle6	22.03.19	1710	8

👩🏼‍💻미코🌿

미니 LLM에 대한 환상이 있으신 분들이 있는데..

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정