미니 LLM에 대한 환상이 있으신 분들이 있는데..

Eomjunsik
조회 수 1200
2023.09.04. 13:35

생각보다 필요 하드웨어, 기술적 장벽 모두 엄~청 낮아진지 오래입니다.

지금 폰에 잘만 달려있는 8gen2로도 스테이블 디퓨전으로 AI 그림 찍고 언어모델 잘 돌려요;;

그냥 데이터 잔뜩 만들고 llama 2 학습시켜서 4bit 양자화로 돌리면 자체 로컬 모델 완성입니다. 와!

보통 발목을 잡는 VRAM 문제도 통합 메모리라는 스마트폰 구조상 어느정도는 용인이 되고..

결국 문제는 배터리 -> 이건 전용 가속 칩셋 달면 어느정도 해결할만 하겠죠.

성능 -> 이건 답이 없죠. 삼성이 OpenAI를 이긴다.. 한국어 LLM은 GPT-4 성능 그대로 내줘도 시원찮은데 이걸 로컬로, 그것도 모바일로, 그것도 삼성이? 별 기대 안하시는게 좋습니다.

📱 Samsung Galaxy S24 & Apple iPhone 14 Pro

📝 Samsung Galaxy Tab S9

💻 Apple MacBook Air M1

🖥️ Samsung S27A700

🎮 AMD R5 5600 + RX 6600

🎧 Sony WH-1000XM5 / Samsung Galaxy Buds Live

📖 Onyx Poke 5

		6
								
best1등지나가던호갱
									2023.09.04. 14:02									
LLM 같은 거 할 때 하드웨어 장벽이 있다는 건 학습 단계에서의 이야기죠.
최종 소비자용 기기에서 추론할 때야 뭐 요즘 기기로 말씀하신대로 얼추 다 합니다.

					 8
									
					[지나가던호갱]님의 댓글을 신고합니다.
					취소
					신고
					
2등톰슨가젤
									2023.09.04. 15:11									
하이 빅스비?
너 나랑 LLM 하나 하자

					[톰슨가젤]님의 댓글을 신고합니다.
					취소
					신고
					
3등xclear
									2023.09.04. 17:27									
그 양자화 로컬로 폰에서 돌려봐야 7B가 한계아닌가요?

대중들이 원하는 llm성능이 gpt4수준인지라...

라마 70b가와도 힘듬...

					 1
									
					[xclear]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 xclear 님께
				
									2023.09.04. 17:29									
네 모바일에서 기술적인 문제는 하나도 없고 경제적인 문제만 있죠 ㅎㅎ
그래서 기대가 안된다는거기도 합니다.

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
영어공학과
									2023.09.05. 16:03									
스테이블 디퓨전과 라마가 오픈소스화 해준 덕분에 데이터 크롤링이랑 파인튜닝만 해주면 돼서 너무 좋죠ㅎ
데이터 잔뜩 만드는게 문제긴 하죠ㅋ 어디서 가져오냐랑 어느만큼 한계를 둘거냐인데
AI쪽에선 기술과 경험도 국내 최고에 한국어 데이터도 근본이 포털회사인만큼 넘사벽으로 많이가지고있는 네이버 클로바가 예상외의 낮은 수준을 보여주고 나서는 딱히 기대가 안커지네요ㅠ

					[영어공학과]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 영어공학과 님께
				
									2023.09.05. 16:14									
클로바는 정말 이해가 안될 정도이긴 합니다. 진짜 라마2에 네이버 블로그만 때려박아도 저거보다는 나았을 것 같은데;;
전부 다 자체 개발로 하려는 욕심이 문제였던건지.. 
조금 과격하게 말해서 데이터=돈인지라 삼성이 그런 부분에서 큰 걱정이 되지는 않습니다 ㅎ

					 1
									
					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	115001	13
핫글	미니	갤럭시북4 엣지 질렀습니다.. [16]	Gottago	24.06.14	967	15
핫글	미니	스테이지엑스 제4이통 취소절차 들어간다네요 [11]	Chrop	24.06.14	1081	13
핫글	미니	갤탭에 9300+가 오히려 좋은이유 [19]	GalaxyBudsSeries	24.06.14	1503	11
215022	미니	쿠팡 사용한 개봉품 반품 해보신 분 계신가요? [35]	찬바람불때핫도쿄	21.06.25	53972	0
215021	미니	LG UX 7.0과 9.1 비교(V50 ThinQ 안드로이드 10) [16]	운김	19.09.15	46319	0
215020	공지	게시판 내 모니터 관련 글 작성 가능 안내 210819	admin	21.08.19	41885	12
215019	미니	다이소 HDMI 케이블 샀는데 개 빡치네요 [16]	플래그쉽GU	19.02.22	40542	0
215018	미니	에어팟 프로 충전기없이 케이블만 주네요? [13]	라테린	19.10.29	39496	0
215017	미니	애드가드 쾌속 설정 팁 [25]	팥고물	21.03.22	32330	26
215016	미니	갤럭시폰에 아이패드 쓰시는 분들 있으세요? [30]	솔베르	20.08.27	29450	1
215015	미니	USB포트에 SS가 붙은게 뭐죠..? [8]	지대공지름미사일	20.11.04	28734	0
215014	미니	오늘 가로수길 직원분들 엄청 친절하십니다 [28]	크나앙	20.11.27	24263	20
215013	미니	폴드로 롤토체스(TFT) 원활하게 플레이하는 방법! [5]	슈갤럼	20.09.03	23485	3
215012	미니	보안정책 캡쳐 이거 해제못하나요? [9]	개소리전문가	19.10.03	18869	0
215011	미니	어우 apn 수정은 이제 사실상 불가능하네요 [23]	Rekoj	22.09.23	18440	0
215010	미니	악성프로그램 카카오인코더와 SafeVisit 개발자분이 같은 분이신걸로 추정됩니다. [24]	기뻐하는어피치	20.04.14	18264	11
215009	미니	약정 안끝난 폰 중고로 팔 수 있나요?? [11]	주주총회	20.10.07	17969	0
215008	미니	요즘 아이패드로 3D 작업 가능하겠더군요 [9]	AirDrop	22.01.10	17263	1
215007	미니	샤오미 신기술 공개 [3]	대출받아서기변함	21.01.30	17053	0
215006	미니	베이퍼챔버의 오해, 그리고 궁극의 발열제어 [9]	AquStar	22.03.25	16912	49
215005	미니	와 유튜브 어드밴스드 앱 뭐죠 ㄷㄷㄷㄷㄷ [23]	숲속의참치	19.03.13	16775	1
215004	미니	이번 S22도 건너뛰어야 할 것 같습니다. [21]	Eomjunsik	22.01.11	16742	27
215003	미니	요즘은 전화되는 태블릿 없을까요? [26]	sylenth	21.03.13	16064	0
215002	미니	갤럭시버즈 라이브 생활방수도 안되나보네요...? [14]	Stellist	20.07.28	15938	0
215001	미니	스냅 780G vs 스냅 695G...jpg [4]	스퀴니	22.03.26	15450	4
215000	미니	저주받은 윈도우 폰트에 광명을.. MacType 설정법 강좌 [21]	Eomjunsik	21.08.08	15404	37
214999	미니	갤럭시S20 eSIM 지원되나요? [9]	dlwlrma	20.07.16	15236	0
214998	미니	[가이드]갤럭시 ADB 최적화로 극한의 실성능을 뽑아보자 [29]	Eomjunsik	22.08.29	14412	27

👩🏼‍💻미코🌞

미니 LLM에 대한 환상이 있으신 분들이 있는데..

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정