음성을 텍스트로 변환하는 음성 인식 전용 AI 모델이 일반적으로 사용됩니다. 그러나 문장의 의미를 수치로 표현하는 임베딩 모델인 EmbeddingGemma 2를 이용하여 음성을 텍스트로 변환한다는 이색적인 접근 방식을 채택한 “Embedding Gemma Transcribe”가 등장했습니다. Embedding Gemma Transcribe는 Apple Silicon 탑재 Mac에서 작동하며, 인터넷 연결 없이 음성을 처리할 수 있다고 합니다. 실제로 사용해 보았습니다. Embedding Gemma Transcribe https://eg2.haku.sh/EmbeddingGemma 2는 텍스트, 이미지, 음성, 비디오를 공통의 수치 공간으로 표현하는 “멀티모달 임베딩 모델”이며, 음성의 텍스트 변환을 위해 개발된 모델은 아닙니다. Embedding Gemma Transcribe는 EmbeddingGemma 2의 음성을 분석하는 기능을 그대로 활용하여, 새로 학습시킨 소규모 AI 모델을 결합함으로써 약 22만 9천 개의 영어 단어 중에서 음성에 해당하는 단어를 선택하여 텍스트 변환을 실현합니다. Embedding Gemma Transcribe는 macOS 14 이후의 Apple Silicon 탑재 Mac를 위한 것으로, 기사 작성 시점으로는 무상 공개되고 있습니다. “Download for Mac(free)”를 클릭하여 디스크 이미지를 다운로드하고 설치합니다. 파일 크기는 약 2.5MB였습니다.
설치 후 최초 실행 시에는 모델 다운로드 및 설정을 진행합니다. 모델 파일 크기는 약 715MB입니다.
다음으로 마이크 접근 권한을 허용하기 위해 “Allow”를 클릭합니다.
“허용”을 클릭합니다. 오른쪽 Option 키를 누르면 마이크로 녹음한 음성이 텍스트로 변환됩니다. 변환되는 음성은 Mac에서 처리되며 별도로 저장되거나 서버로 전송되지 않습니다.
Embedding Gemma Transcribe가 다른 앱에서도 음성 입력을 가능하게 하기 위해 macOS의 “Accessibility” 권한을 허용하는 설정을 요구합니다. “Open Settings”를 클릭합니다.
Embedding Gemma Transcribe 스위치를 켜면 됩니다. 그러면 다른 앱에서 오른쪽 Option 키를 누르면서 말하고 키를 놓으면 인식한 영어를 텍스트로 입력할 수 있습니다.
“Done”을 클릭합니다.
“Choose a file”을 클릭하여 선택하거나 텍스트 변환을 원하는 파일을 드래그 앤 드롭합니다.
이번에는 스티브 잡스가 2005년에 스탠포드 대학교 학위 수여식에서 한 연설의 음성을 읽어보게 했습니다. “Transcribe”를 클릭합니다.
그러므로, 다음 영화에서 볼 수 있듯이, 약 15분 분량의 연설 음성이 단 며칠 동안 텍스트로 변환되었습니다. Google의 EmbeddingGemma 2를 음성 인식 모델로 변환한 “Embedding Gemma Transcribe”로 약 15분의 연설 음성을 단 며칠 동안 폭발적으로 텍스트로 변환했습니다.
15분 4초의 연설 음성을 텍스트로 변환하는 데 걸린 시간은 단 3초였습니다. 변환된 텍스트는 왼쪽에 표시됩니다.
임베딩 젬마 트랜스크립트는 영어 단어 사전을 사용하여 음성을 텍스트로 변환하는 시스템이므로, 일본어 음성 텍스트 변환에는 대응하지 않습니다. 아브찬 & 모리야마 미라이 & 湯浅政明 감독의 영화 “犬王”의 무대 인사이드 장면 음성을 텍스트로 변환해 본 결과, 다음과 같은 내용이 생성되었습니다. 전반적으로 “공어”와 같은 느낌으로, 전혀 텍스트 변환에는 성공하지 않았지만, 3번째 줄의 “메모”, “포엠”처럼 아브찬의 말에서 나온 영어 단어가 포착되는 부분이 있었습니다.
한편, 개발자에 따르면 Embedding Gemma Transcribe의 인식 정확도는 최고 수준의 모델에 미치지 못하며, 단어 오류율은 약 5%로, 주요 고성능 음성 인식 모델의 2~3%보다 높지만, 추가적인 훈련을 통해 개선될 것으로 예상됩니다.
원문 보기 | 출처: Gigazine