프랑스 기업 Mistral AI 가 음성 AI 시리즈 'Voxtral 3'를 출시했습니다. 이 시리즈에는 고정밀 텍스트 인식 AI 와 특정 인물의 목소리를 재현할 수 있는 음성 합성 AI 가 포함되어 있습니다. Voxtral 3: 50 개 이상의 언어에서 작동하는 Voice Agent SDK 및 Speech Modelshttps://mistral.ai/news/voxtral-3/
Voxtral 3 소개: Mistral 의 새로운 음성 에이전트 API 를 구동하는 최첨단 전사 및 음성 모델. 🧵pic.twitter.com/YA9HNVfq0u
Voxtral 3 는 여러 AI 모델을 통합한 이름으로, 기사 작성 시점에 다음과 같은 4 가지 모델이 라인업되어 있습니다. 다소 복잡해 보이지만, Mini 보다 Small 이 더 높은 성능을 가집니다. Voxtral Small Transcribe 3: 50 개 이상의 언어에 대응한 고성능 텍스트 인식 모델. Voxtral Mini Transcribe 3: 비용 효율성이 뛰어난 텍스트 인식 모델. Voxtral Mini Transcribe Realtime 3: 실시간 텍스트 인식에 특화된 모델. Voxtral Speech 3: 35 개 이상의 언어와 50 개 이상의 방언에 대응한 음성 합성 모델. 텍스트 인식 오류율을 비교한 그래프는 다음과 같습니다. Voxtral Small Transcribe 3 과 Voxtral Mini Transcribe 3 은 전 세대 모델인 Voxtral Mini Transcribe 2 와 비교하여 오류율이 낮아졌습니다.
Voxtral Mini Transcribe Realtime 3 은 지연 시간이 240 밀리초인 경우에도 GPT Live Transcribe 보다 더 높은 정확도의 텍스트 인식이 가능하며, 지연 시간을 길어질수록 정확도가 향상됩니다.
실시간 텍스트 인식의 예시는 다음과 같은 동영상에서 확인하실 수 있습니다. Voxtral STT 3 - Transcription demo - YouTube
Voxtral Speech 3 은 35 개 이상의 언어와 50 개 이상의 방언을 지원하는 음성 합성 모델입니다. 아래 그래프는 가로축이 100 만 단어당 비용, 세로축이 고유명사 및 숫자의 발음 정확도를 나타내며, Voxtral Speech 3(Voxtral TTS) 이 Gemini 3.8 Flash TTS 와 동일한 비용으로 높은 성능을 발휘함을 알 수 있습니다.
30 분의 참조 음성을 준비하면 특정 인물의 목소리를 클론할 수도 있습니다. 음성 클론의 실제 예시는 다음 영상에서 확인하실 수 있습니다. Voxtral TTS 3 - Voice Cloning Overview - YouTube
Voxtral 3 은 API 를 통해 사용할 수 있습니다. 가격은 Voxtral Mini Transcribe 3 이 1 분당 0.0035 달러 (약 0.55 원), Voxtral Mini Transcribe Realtime 3 이 1 분당 0.008 달러 (약 1.26 원), Voxtral Small Transcribe 3 이 1 분당 0.0040 달러 (약 0.63 원), Voxtral Speech 3 이 100 만 단어당 13 달러 (약 2,055 원) 입니다. 자세한 내용은 다음 링크에서 확인하실 수 있습니다. Audio | Mistral Docs https://docs.mistral.ai/studio/audio/overview
원문 보기 | 출처: Gigazine