# 영어 외 언어 사용 시 AI 모델 비용 증가

> https://bookfactory.kr/board/news/23949
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-27T05:35:30.858Z

---

대규모 기업의 AI 는 대부분 영어 데이터셋을 중심으로 학습하고 있습니다. 새로운 연구에 따르면, 영어를 적절히 처리할 수 있는 AI 가 데이터가 적은 소수 언어를 처리할 때 비용이 높아질 수 있다는 것이 밝혀졌습니다. The Tokenizer Tax | CLEARhttps://clear-languages.org/blog/the-tokenizer-tax 최근 생성 AI 의 기반이 되는 대규모 언어 모델 (LLM) 은 토크나이저라는 처리를 통해 문장을 단어, 문자, 경우에 따라 바이트 단위로 나누어 '토큰'이라는 단위로 처리합니다. 대부분의 유료 AI 는 토큰 수에 따라 요금을 부과합니다. AI 연구 기관인 CLEAR 에 따르면, 우수한 토크나이저는 문장을 효율적으로 토큰화할 수 있지만, 데이터가 적은 언어는 불필요하게 작게 나누어 토큰 수가 증가하여 비용이 높아질 수 있다는 것입니다.

CLEAR 는 "People should benefit from AI, regardless of the language they speak."이라는 문장을 예시로 설명하고 있습니다. 이 문장은 인도에서 사용되는 마라야람어와 에티오피아에서 사용되는 암하라어로 표현하면 다음과 같습니다. 마라야람어: ആളുകൾ ഏത് ഭാഷ സംസാരിക്കുന്നവരായാലും, AI-യിൽ നിന്ന് പ്രയോജനം നേടണം. 암하라어: ሰዎች የሚናገሩት ቋንቋ ምንም ይሁን ምን ከ AI ተጠቃሚ መሆን አለባቸው። 그리고 영어, 마라야람어, 암하라어 문장을 토큰으로 분할하면 다음과 같습니다. 영어 문장은 단어별로 토큰화되지만, 멀티바이트 문자인 마라야람어는 하나의 단어가 여러 조각으로 분할된다는 것입니다. 또한 암하라어 문자는 단순히 2 바이트마다 분할되었습니다. 이미지에서는 "?"로 표시되어 렌더링되지 않습니다.

토큰 수로 보면 같은 문장이라도 영어는 13, 마라라ーム어는 26, 아메르가어는 78 으로, 아메르가어가 영어의 6 배에 달하는 비용을 발생하게 됩니다. 물론 불필요한 표현이 많은 언어도 있지만, CLEAR 가 참조한 데이터셋에서 가장 불필요한 표현이 많은 미얀마의 샨어조차 문자 수로는 영어보다 42% 길 뿐이었습니다. CLEAR 는 "불필요한 표현만으로 토큰 수가 6 배까지 늘어나는 것은 설명할 수 없다"고 밝혔습니다.

CLEAR 에 따르면 인터넷에서 사용 비율이 높은 상위 20 가지 언어의 최소/최대 토큰 비율은 대부분 1.5 배에서 3.1 배 사이로 제한되어 있지만, 그 외에서는 차이가 커져 최대 17 배까지 폭이 넓어질 수 있습니다. CLEAR 는 이러한 격차를 "토크나이저 세금"이라고 명명하며, "토크나이저 세금의 영향으로 특정 언어는 긴 문서를 처리하는ユース케이스가 실현 불가능해집니다. 이러한 불공정성은 컴퓨팅 능력이나 연결성이 이미 제한된 환경에서 특히 심화되어 AI 경제에 참여하는 것을 방해하는 제약으로 작용하고 있습니다"라고 요약했습니다.

[원문 보기](https://gigazine.net/news/20261027-tokenizer-tax/) | 출처: Gigazine