요새 생성형 AI의 성능은 사실 모델 구조보다도, 매개변수의 크기가 결정한다고 해도 과언이 아닙니다. 

openai가 정확히 밝히지 않았지만 가장 성능이 좋다고 알려진 GPT-4의 매개변수가 192B로 알려져있습니다. 

인공지능 모델이 연산하는데 사용하는 데이터 형태가 보동 부동소수 즉 fp32입니다. 매개변수 하나당 32bit짜리니까 모델 인퍼런스 즉 모델을 작동시키기 위해 메모리에 로드해야 할 매개변수의 총 용량은 대략

192,000,000,000 X 4바이트(32비트니까 나누기8하면) = 768,000,000,000바이트

대략 715기가바이트입니다. 물론 이걸 다쓰지 않고 여러가지 모델 경량화를 진행하여 메모리에 올립니다만

아주아주아주 러프하게 말하면 사람한명이 생성형 AI를 사용하기 위해서는 715기가의 VRAM이 필요하다는 이야기가 됩니다. 

물론 이를 보완하기 위해 수많은 모델 경량화 기법을 도입합니다. 양자화, QLoRA, MoE등등

Open Source LLM인 falcon의 모델 인퍼에 필요한 메모리입니다. 모델 경량화 기법을 적용한 모델인데도 가장 큰 모델의 권장 메모리가 192GB입니다. (출처 Ollama)

이거 서버비용이 어마어마 할겁니다. 지금 마소(with OpenAI)와 구글이 박터지게 싸우고 있어서 그렇지 원래는 이걸 무료로 푸는건 상상도 못할일입니다. 삼성과 구글이 이번에 AI를 메인으로 내세우면서 여러가지 기술협력을 했을 것으로 생각합니다. 단순히 돈문제가 아니라 이정도 큰 규모의 모델을 일반인들이 무제한적으로 인퍼할수 있게 하려면 어마어마한 기술적 난제들이 튀어나올겁니다. 그거 해결하고 나온거겠죠. 마소의 코파일럿도 그렇테고요. 

옳은 시대인지는 모르겠지만 좋은 시대임은 분명한거 같습니다.