Llama2는 오픈소스고 심지어 상업적 이용도 가능하니까 이 점에서도 다른 LLM보다 제약이 훨씬 덜하죠

그건 그냥 챗GPT API 써서 서버에서 돌리는 걸거라서 이 소식이랑은 성격이 많이 다릅니다

삼브 챗GPT 연동은 결국 ChatGPT 서버에서 돌아가는거고,

이건 폰이나 VR 하드웨어 자체적으로 LLM을 돌리게 하겠다는 기사입니다.

걔는 온디바이스에서 로컬로 돌리는 게 아니라서 성격이 많이 다르죠 이건 가능한 작업도 로컬단에서 지원하는 게 웹브라우저 작업에만 국한되지 않고 시스템과 더 융합되니 더 광범위하고요 프라이버시 침해 소지도 훨씬 적습니다!

아 그러겠네요

범용 API로 적용이면 딱히 AP를 가릴거같진 않아서

미디어텍이든 S.LSI든 적용은 어렵진 않을거같네요

Win11 ARM도 퀄콤 칩에서만 구동되는게 아니듯이

말 그대로 API 콜만 보내면 끝이라서 인터넷에 접속이 되는 기기면 아무거나 됩니다. Windows 3.1에서 돌리는 데모도 있을 정도..

아아 뭐 엄청 대단한 기술적인 포팅이 필요한건 아니군요

기본적인 챗봇인데 음성비서에 융합된 ㄹㅇㅋㅋ 이것만해도 죽이죠

MS도 오늘 메타와도 협력한다고 발표했어요 Azure에서 Llama2 지원할거라네요

협력이지 쓸 것 같지는 않아보입니다.

Llama2가 오픈소스 기반이라 투자하는 것으로 보이는데

사실 MS는 OpenAI 대주주거든요.

보도자료에서 Azure에 Llama2를 쓸 수 있다 하는군요.

윈도우 플랫폼에서도 지원하나 서드파티로 올려 개발환경 및

앱에 이용가능하도록 접근허가를 풀어주는거라고 합니다.

저두 안믿겼는데 얼마전에 구글에서 갤럭시s23으로 스테이블 디퓨전 돌려서 금방 그림하나 뽑아내는거 인증 하더라구요

https://ai.googleblog.com/2023/06/on-device-diffusion-plugins-for.html?m=1

스테이블 디퓨전을 최적화 저만큼 한거 보니까 llm도 시간 문제일거 같습니다

https://arxiv.org/abs/2304.11267

이거 보면 메모리 최적화가 가장 큰 역할을 했다네요.

모델 자체도 최적화 들어가면...ㄷㄷ