자유 온디바이스 AI가 생각보다 메모리를 많이 먹나보네요
- 치즈볼
- 조회 수 310
- 2023.12.30. 11:17
그래서 램크루지로 유명한 애플은 온디바이스 AI 를 활용하기 위해
ssd를 적극적으로 활용하는 방안을 연구중이라는 내용을 유튜브에서 봤습니다 ㅎㅎ
이번에 삼성이 온디바이스 AI 탑재한 스마트폰을 내놓겟다 했는데
AI 자체가 램을 저렇게 많이 먹는다면, 실제 등장하는 갤럭시 최초의 온디바이스 AI는
조금더 말빨이 좋은 빅스비겟구나 싶기도 합니다.
언젠가 스마트폰에 36기가 메모리가 탑재되는 날이 온다면.... ㄷㄷ
힘이 들땐 스마트폰을 봐 나는 항상 혼자가 아니야?.
댓글
5
1등 갤럭시S23
2등 봄차
3등 Karion
Karion
Karion 님께
TODO
2023.12.30. 11:22
2023.12.30. 11:22
2023.12.30. 12:44
그림모델은 로딩만 해놔도 3긱~5긱씩 잡아먹습니다. 1024*1024 크기로 그림 뽑으면 7긱 이상 필요하고요
물론 경량화를 하면 필요 메모리도 줄어들지만, 아무리 경량화를 잘 한다고 해도 4긱 정도는 필요할 것 같아요. 지금 갤럭시는 램 싹 비워도 여유 램이 4긱밖에 안 되는데...🤔
메모리뿐만 아니라 연산량도 어마어마해서 전기먹는 하마인데 이건 어떻게 해결할지 모르겠어요
이것도 경량화를 할 순 있지만 최근에 나오는 최적화 방법들을 보면 대부분 성능을 약간 희생하면서 경량화를 하는 방식이더라고요. 안 그래도 성능 별로인데 여기서 성능 더 깎으니까 진짜 별로더라고요
그래도 이미지 생성 말고 텍스트 생성은 연산 요구량이 훨씬 적어서 그나마 핸드폰에서 돌려볼 수라도 있을 것 같네요
2023.12.30. 11:43
2023.12.30. 11:55
그런데도 램을 8기가 12기가 넣는 샘숭...