# 구글 딥마인드, 수화를 텍스트로 변환하는 다국어 AI “SL2T” 발표, Pixel 11에서 ASL→영어 입력, 50개 이상의 수화 언어 학습

> https://bookfactory.kr/c/news/9952
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-08-18T04:23:37.386Z

---

Google DeepMind는 2026년 8월 12일, 손짓 영상의 텍스트 번역을 수행하는 다국어 AI 모델 “sign-language-to-text (SL2T)”를 발표했다. 10만 시간을 초과하는 50개 이상의 손부호 언어 데이터로 학습되었으며, 우선 미국 손부호 (ASL)에서 영어로의 변환 기능으로 “Google Pixel 11”의 Gboard와 Live Transcribe에 탑재한다. 손짓으로 메시지를 작성하거나, 웹 검색이나 Gemini에 입력을 하거나 할 수 있게 된다.

## 음성 입력처럼 “손짓으로 입력” – Gemini 프롬프트에도

SL2T를 사용하는 “Sign-to-text”는 스마트폰 전면 카메라를 향해 손짓을 하면, 그 내용을 실시간으로 텍스트로 변환하는 기능이다. Gboard에서는 일반적으로 키보드를 사용하는 경우 손짓으로의 입력을 가능하게 하며, 메시지나 메모 작성, 웹 검색 외에도 Gemini에 프롬프트를 입력하는 데에도 활용할 수 있다.

Live Transcribe는 대면 대화 중에 텍스트를 입력하는 대신 손짓으로 답변하는 용도를 염두에 두고 있다. Google DeepMind에 따르면, 우선 Pixel 11에서 ASL에서 영어로의 번역을 제공하고, 앞으로는 대응 기기 및 언어를 확대할 계획이다.

손부호는 음성 언어를 손의 움직임으로 대체한 것이 아니라, 자체적인 문법과 어휘를 가진 자연어이다. 더불어, 손뿐 아니라 팔, 몸통, 머리, 얼굴 등 여러 움직임이 동시에 의미를 担う. 이 때문에 DeepMind는 손부호 인식에는 단순한 “움직임에서 단어”로의 변환이 아닌, 컴퓨터 비전과 기계 번역의 양쪽 모두가 필요하다고 보고 있다.

## 10만 시간 초과 – 50개 이상의 손부호 언어에서 학습 – 다국어 데이터를 공동 활용

SL2T는 50개 이상의 손부호 언어에 걸쳐 10만 시간 초과의 데이터로 학습했다. 이 중 약 4분의 1이 ASL이라는 점이다. 다른 언어 및 방언, 숙련도 데이터 등을 함께 학습함으로써, 언어별로 개별 모델을 구축하는 경우보다 성능이 향상되었다고 한다.

모델은 Transformer 기반이며, 기존의 손부호 번역 연구에서 사용되던 “gloss (글로스)”라는 중간적인 손부호 표기를 거치지 않고, 신체의 움직임을 나타내는 좌표열에서 직접 텍스트를 생성한다. DeepMind는 글로스를 거치지 않음으로써, 표정 등 비손가락 동작이나 공간을 사용한 표현을 포함하는 손부호 특유의 정보를 다루기 쉽게 했다고 설명하고 있다.

## 카메라 영상 자체는 전송하지 않고, 얼굴·신체·손의 “130점”을 AI가 읽는다

프라이버시에 대한 고려도 되었다. SL2T에서는 카메라 영상을 Google 서버로 전송하는 대신, 端末上の “MediaPipe Holistic”에서 얼굴, 신체, 손의 총 130개의 위치를 2차원 좌표로 추출한다.

영상은 端末에서 처리 후 파기하며, 번역을 위해 서버로 전송하는 것은 추상화된 좌표 데이터만 한다. Google의 Pixel Help에 따르면, 사용자의 영상이나 자세 좌표, 번역 결과는 저장하지 않으며, 모델의 학습에도 사용하지 않는다고 한다.

한편, 좌표화에는 정보가 손실된다는 제약도 있다. DeepMind와 손부호 커뮤니티 전문가들이 모은 “AISLAC Joint Impact Report for SL2T 1.0”에서는 혀 움직임, 주변 환경, 깊이 등 일부 정보를 포착하지 못하는 것을 기술적인 한계로 挙げている.

## 의료·법률 등에서는 “인간 손부호 통역가의 대체가 아님”

SL2T 1.0은 메시지 입력, 검색, AI 어시스턴트 지시, 매장 등에서의 저위험 1:1 대화 등을 주요 용도로 한다.

공동 보고서에서는 의료, 법률, 교육 등 고위험 상황이나 다중인원 대화는 대상에서 제외한다고 명시했다. 인정된 인간 수화 통역자가 가진 상황 판단 및 문화적 이해, 법적 책임은 SL2T가 갖추고 있지 않으며, 접근성 관련 법적 의무를 회피하기 위해 인간 통역자를 AI로 대체하는 용도로 사용해서는 안 된다고 한다.

SL2T의 초기 제공은 미국 시장을 대상으로 하는 ASL에서 영어로의 변환이며, Pixel Help에서도 키보드 언어로서 “en-US” 또는 “en-CA”가 조건으로 제시된다. 일본에서는 Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL 등이 8월 20일에 출시되지만, 일본어화에서 일본어 번역 기능의 제공은 기사 공개 시점에서는 발표되지 않았다.

[원문 보기](https://ledge.ai/articles/google_deepmind_sign_language_to_text_pixel_11) | 출처: Ledge.ai