미니 메타 실시간 번역 대단하네요
- HSC
- 조회 수 1427
- 2023.12.03. 21:17
소리있어요
1분12초부터 스페인어를 영어로, 프랑스어를 영어로 번역하는 것을 실시간으로 보여줍니다.
번역은 인간 표현의 뉘앙스를 포착해야 합니다.
기존 번역 도구는 대화 내 콘텐츠를 캡처하는 데 능숙하지만
일반적으로 출력을 위해 단조로운 로봇식 텍스트 음성 변환 시스템에 의존합니다.
SeamlessExpressive는 말의 복잡성을 보존하는 것을 목표로 합니다.
보컬 스타일과 감정적인 톤 외에도 일시정지, 말하는 속도 등이 포함됩니다.
SeamlessM4T
메타는 2023년 8월에, 음성과 텍스트 전반에 걸쳐 번역 및 전사에 대한 최첨단 결과를 제공하는
기본 다국어 및 멀티태스킹 모델인 SeamlessM4T의 첫 번째 버전을 출시했었습니다.
이 작업을 바탕으로 개선된 모델인 SeamlessM4T v2는
새로운 SeamlessExpressive 및 SeamlessStreaming 모델의 기반이 됩니다.
업그레이드된 기본 다중 언어 및 다중 작업 모델인 SeamlessM4T v2는 자동 회귀가 아닌
텍스트 단위 디코더를 갖추고 있습니다.
w2v-BERT 2.0 인코더는 100만 시간 동안 훈련된 이전 버전과 비교하여 450만 시간의 음성 데이터로 훈련되었습니다.
또한 SeamlessM4T v2는 자원이 적은 언어에 대해 SeamlessAlign의 더 많은 데이터로 보완됩니다.
SeamlessM4T v2는 자동 측정항목(BLEU, ASR-BLEU, BLASER 2 등)을 사용하여 모든 작업 및 언어에 걸쳐
철저하게 평가되었으며, 이전 최첨단 모델보다 훨씬 뛰어난 성능을 보였습니다.
또한 견고성, 편견 및 환각 독성에 대한 테스트도 거쳤습니다.
저게 퀘스트3에서 로컬로 돌아간답니다 ㄷㄷ
퀘3이 8G2 기반 칩셋으로 알고 있는데, 현세대 칩셋 성능으로도 온디바이스 구동이 된다고요? ㅎㄷㄷ