AI 엔비디아, LLM 학습 돕는 네모트론-4 340B 공개
- BarryWhite
- 조회 수 126
- 2024.06.17. 09:41
https://www.digitaltoday.co.kr/news/articleView.html?idxno=521411
엔비디아가 오픈소스 인공지능(AI) 모델 '네모트론-4 340B'를 발표했다고 지난 15일(현지시간) 온라인 매체 기가진이 전했다.
대규모언어모델(LLM) 학습에 사용되는 합성 데이터 생성을 위한 오픈소스 AI모델 네모트론-4 340B는 베이스(Base) 모델, 인스트럭트(Instruct) 모델, 리워드(Reward) 모델 등 3가지로 구성되며 엔비디아 네모(NeMo) 학습 프레임워크에서 동작한다. 또 엔비디아 '텐서RT-LLM'(TensorRT-LLM) 라이브러리에서 사용하도록 최적화되어 있다.
네모트론-4 340B는 9조개의 토큰과 4000개의 컨텍스트 윈도를 가지고 있으며, 50개 이상의 자연어와 40개 이상의 프로그래밍 언어를 지원한다.
🥇소식게 수호자🥇미게 지박령🥉큰게 좋아🥇미코의 잡담왕🥈유게 공무원🥉할인 경보📝게시판 소유자✨️🥉에로게 심심이
댓글
0