소리있어요

1분12초부터 스페인어를 영어로, 프랑스어를 영어로 번역하는 것을 실시간으로 보여줍니다.

번역은 인간 표현의 뉘앙스를 포착해야 합니다. 

기존 번역 도구는 대화 내 콘텐츠를 캡처하는 데 능숙하지만 

일반적으로 출력을 위해 단조로운 로봇식 텍스트 음성 변환 시스템에 의존합니다. 

SeamlessExpressive는 말의 복잡성을 보존하는 것을 목표로 합니다. 

보컬 스타일과 감정적인 톤 외에도 일시정지, 말하는 속도 등이 포함됩니다.

SeamlessM4T

메타는 2023년 8월에, 음성과 텍스트 전반에 걸쳐 번역 및 전사에 대한 최첨단 결과를 제공하는 

기본 다국어 및 멀티태스킹 모델인 SeamlessM4T의 첫 번째 버전을 출시했었습니다.

이 작업을 바탕으로 개선된 모델인 SeamlessM4T v2는 

새로운 SeamlessExpressive 및 SeamlessStreaming 모델의 기반이 됩니다. 

업그레이드된 기본 다중 언어 및 다중 작업 모델인 SeamlessM4T v2는 자동 회귀가 아닌 

텍스트 단위 디코더를 갖추고 있습니다. 

w2v-BERT 2.0 인코더는 100만 시간 동안 훈련된 이전 버전과 비교하여 450만 시간의 음성 데이터로 훈련되었습니다. 

또한 SeamlessM4T v2는 자원이 적은 언어에 대해 SeamlessAlign의 더 많은 데이터로 보완됩니다.
SeamlessM4T v2는 자동 측정항목(BLEU, ASR-BLEU, BLASER 2 등)을 사용하여 모든 작업 및 언어에 걸쳐 

철저하게 평가되었으며, 이전 최첨단 모델보다 훨씬 뛰어난 성능을 보였습니다. 

또한 견고성, 편견 및 환각 독성에 대한 테스트도 거쳤습니다.

저게 퀘스트3에서 로컬로 돌아간답니다 ㄷㄷ