AI 애플, 자체 LLM DCLM-7B 공개…MS Phi-3 성능 못 넘겨
- BarryWhite
- 조회 수 110
- 2024.07.23. 01:47
애플이 자체 개발한 대규모 언어 모델(LLM) DCLM-7B를 공개했지만, 일부 성능 지표에서 마이크로소프트(MS)의 Phi-3 시리즈에 미치지 못하는 것으로 나타났습니다.
애플은 DCLM-7B 모델이 체계적인 데이터 관리 기술을 통해 언어 모델의 성능을 향상시키는 데 효과적임을 강조하며, 4.1T 토큰 데이터셋을 사용하여 수학 및 코딩을 포함한 다양한 작업에 활용될 수 있다고 설명했습니다.
그러나 공개된 벤치마크 비교표에 따르면, DCLM-7B는 MMLU를 포함한 모든 평가 항목에서 MS의 Phi-3에 뒤처지는 결과를 보였습니다.
특히 주목할 점은 애플이 비교 대상으로 Phi-3 모델 중 어떤 모델을 사용했는지 명시하지 않았다는 것입니다. 다만, MMLU 점수를 기반으로 추정했을 때, 애플이 7B 모델인 DCLM-7B와 비교한 것은 3.8B 모델인 Phi-3 mini일 가능성이 높습니다.
네오윈은 애플이 7B 모델인 Phi-3 Small(MMLU 점수 75.6) 대신 3.8B 모델과의 비교를 선택한 이유에 대해 의문을 제기했습니다.
살짝 내려놓고 지박령 활동하겠습니다😆
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
프로필 속 고양이는 저와 함께 살고 있습니다.
미코 광고 후원 감사합니다.
📝게시판 소유자(1)✨️🥇미게 지박령🥉미코의 심심이🥇미코의 잡담왕🥇소식게 수호자🥈유게 공무원🥉큰게 좋아🥉할인 경보
댓글
0