미니 LLM에 대한 환상이 있으신 분들이 있는데..

Eomjunsik
조회 수 1200
2023.09.04. 13:35

생각보다 필요 하드웨어, 기술적 장벽 모두 엄~청 낮아진지 오래입니다.

지금 폰에 잘만 달려있는 8gen2로도 스테이블 디퓨전으로 AI 그림 찍고 언어모델 잘 돌려요;;

그냥 데이터 잔뜩 만들고 llama 2 학습시켜서 4bit 양자화로 돌리면 자체 로컬 모델 완성입니다. 와!

보통 발목을 잡는 VRAM 문제도 통합 메모리라는 스마트폰 구조상 어느정도는 용인이 되고..

결국 문제는 배터리 -> 이건 전용 가속 칩셋 달면 어느정도 해결할만 하겠죠.

성능 -> 이건 답이 없죠. 삼성이 OpenAI를 이긴다.. 한국어 LLM은 GPT-4 성능 그대로 내줘도 시원찮은데 이걸 로컬로, 그것도 모바일로, 그것도 삼성이? 별 기대 안하시는게 좋습니다.

📱 Samsung Galaxy S24 & Apple iPhone 14 Pro

📝 Samsung Galaxy Tab S9

💻 Apple MacBook Air M1

🖥️ Samsung S27A700

🎮 AMD R5 5600 + RX 6600

🎧 Sony WH-1000XM5 / Samsung Galaxy Buds Live

📖 Onyx Poke 5

		6
								
best1등지나가던호갱
									2023.09.04. 14:02									
LLM 같은 거 할 때 하드웨어 장벽이 있다는 건 학습 단계에서의 이야기죠.
최종 소비자용 기기에서 추론할 때야 뭐 요즘 기기로 말씀하신대로 얼추 다 합니다.

					 8
									
					[지나가던호갱]님의 댓글을 신고합니다.
					취소
					신고
					
2등톰슨가젤
									2023.09.04. 15:11									
하이 빅스비?
너 나랑 LLM 하나 하자

					[톰슨가젤]님의 댓글을 신고합니다.
					취소
					신고
					
3등xclear
									2023.09.04. 17:27									
그 양자화 로컬로 폰에서 돌려봐야 7B가 한계아닌가요?

대중들이 원하는 llm성능이 gpt4수준인지라...

라마 70b가와도 힘듬...

					 1
									
					[xclear]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 xclear 님께
				
									2023.09.04. 17:29									
네 모바일에서 기술적인 문제는 하나도 없고 경제적인 문제만 있죠 ㅎㅎ
그래서 기대가 안된다는거기도 합니다.

					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고
					
영어공학과
									2023.09.05. 16:03									
스테이블 디퓨전과 라마가 오픈소스화 해준 덕분에 데이터 크롤링이랑 파인튜닝만 해주면 돼서 너무 좋죠ㅎ
데이터 잔뜩 만드는게 문제긴 하죠ㅋ 어디서 가져오냐랑 어느만큼 한계를 둘거냐인데
AI쪽에선 기술과 경험도 국내 최고에 한국어 데이터도 근본이 포털회사인만큼 넘사벽으로 많이가지고있는 네이버 클로바가 예상외의 낮은 수준을 보여주고 나서는 딱히 기대가 안커지네요ㅠ

					[영어공학과]님의 댓글을 신고합니다.
					취소
					신고
					
글쓴이Eomjunsik
										 영어공학과 님께
				
									2023.09.05. 16:14									
클로바는 정말 이해가 안될 정도이긴 합니다. 진짜 라마2에 네이버 블로그만 때려박아도 저거보다는 나았을 것 같은데;;
전부 다 자체 개발로 하려는 욕심이 문제였던건지.. 
조금 과격하게 말해서 데이터=돈인지라 삼성이 그런 부분에서 큰 걱정이 되지는 않습니다 ㅎ

					 1
									
					[Eomjunsik]님의 댓글을 신고합니다.
					취소
					신고

에디터로 글쓰기

번호	분류	제목	글쓴이	날짜	조회 수
공지	공지	사이트 이용 수칙 230228 수정	admin	18.08.04	114448	13
핫글	미니	아이폰16, 음성통화 녹음·요약 서비스 제공…애플 이용자 숙원 해결되나 [21]	요트맨	24.05.27	1360	18
핫글	미니	아이폰 통녹 되었으면 합니다 [5]	AurA	24.05.27	755	18
핫글	미니	잇섭 갤럭시 선명한 화면으로 쓰네요 [34]	가나다라마법사	24.05.27	1459	14
195006	미니	다시 찾아보니 iOS13에서 티머니가 될 가능성이 있군요 [5]	스퀴니	19.06.04	1206	0
195005	미니	요즘 모바일 게임들 사양이 확 뛰네요. [5]	나랏미	24.05.24	1205	3
195004	미니	삼성 애플 고속충전 변화 추이 [7]	choijm0715	24.03.30	1205	2
195003	미니	아이폰15프로 vs 갤S24U OLED The Black 비교 [14]	김애용	24.02.06	1205	8
195002	미니	24 분위기 어느정도 괜찮은거 같네요 [7]	나무김	24.01.05	1205	3
195001	미니	개인적으로 갤럭시는 램 용량이 뭔가 기분나빠요. [42]	애옹애옹애옹	23.10.25	1205	8
195000	미니	8 gen 3 루머들은 아주 아주 좋네요 [9]	Antares	23.10.21	1205	1
194999	미니	갤럭시 S10+에서 S23+로 바꾸고 난 뒤... [4]	만년휴학중	23.09.08	1205	5
194998	미니	갤럭시워치6 vs 애플워치8 가격 비교 (루머 기준) [3]	Stellist	23.06.20	1205	7
194997	미니	갤럭시분들 맥세이프 쓰세요? [12]	요기조기	23.05.21	1205	1
194996	미니	S24는 엑시노스가 들어갈거라 생각합니다 [18]	오스트리아산캥거루	23.04.09	1205	8
194995	미니	엑시노스 1380 공식 사양 시트네요 [6]	NeoSeven	23.03.12	1205	1
194994	미니	잡담: 내년의 엑시노스 시리즈는 3종 세트일 것인가? [8]	Section31	23.02.22	1205	4
194993	미니	이번에 추가된 바이패스 기능 탭s8 시리즈에도 있나요? [10]	KSP공돌이	23.02.11	1205	0
194992	미니	갤북 5G 내장건에 대하여 Feat,키스킨 [28]	하늘목장	23.02.03	1205	1
194991	미니	[루머] 갤럭시S23 시리즈 사전 예약 및 마케팅 관련 [8]	프로입털러	23.01.05	1205	6
194990	미니	써본 스맛폰들중 가장 충격을 준 스맛폰은 무엇이세요? [30]	출사표	22.12.21	1205	3
194989	미니	침대용 폰 고민 중입니다 [25]	Alternative	22.11.15	1205	3
194988	미니	중국에서 짭.. 다이내믹 아일랜드가 나왔습니다.	Eomjunsik	22.09.18	1205	2
194987	미니	A16 성능이 너무 낮네요;; [8]	명신보감	22.09.08	1205	3
194986	미니	2022년 8월 기준 안드로이드 버전별 점유율 [6]	AquStar	22.08.14	1205	3
194985	미니	첫 노트북 구매인증 [13]	도저히못참겠다	22.06.25	1205	16
194984	미니	탭식라2022는 OS 13까지로 동일할까요 [6]	운김	22.05.13	1205	1
194983	미니	SKT, 갤럭시 S22+ J.LINDEBERG 골프 에디션 출시 [1]	Railgun	22.05.12	1205	1
194982	미니	애플 신제품에선 이제 적폐 4GB 램이 점점 퇴출될텐데요. [6]	다람쥐	22.04.21	1205	0

👩🏼‍💻미코🌿

미니 LLM에 대한 환상이 있으신 분들이 있는데..

추천 IT 소식 [1/]

스킨 기본정보

사용자 정의

1. 게시판 기본 설정

2. 글 목록

3. 갤러리 설정

4. 글 읽기 화면

5. 댓글 설정

6. 글 쓰기 화면 설정