대규모 언어 모델 (LLM) 에 국가나 지역을 지정하지 않고 문화에 대해 질문하면 일본이나 미국을 언급한 답변에 편향되는 경향이 있다는 사실을 바스크 대학과 카디프 대학의 연구팀이 보고했습니다. 연구에서는 24 가지 언어로 8 가지 모델을 비교하고, 답변에 등장한 국가와 질문에서 사용된 언어 및 학습 단계 간의 관계를 조사했습니다. [2604.21751] Why are all LLMs Obsessed with Japanese Culture? On the Hidden Cultural and Regional Biases of LLMs https://arxiv.org/abs/2604.21751 연구팀이 주목한 것은 "AI 가 문화에 대해 올바르게 답할 수 있는가"가 아니라 "여러 국가를 언급하는 질문에서 어떤 국가를 선택하여 설명하는가"라는 점입니다. 따라서 식사, 예술, 역사, 사회적 생활 등 11 개 분야에 걸친 1,320 개의 질문을 제작하고, 24 가지 언어로 총 31,680 개의 질문을 준비했습니다. 질문에서는 국가나 지역을 지정하지 않았고, 답변하는 AI 에게 구체적인 장소를 선택하도록 했습니다.
대상은 GPT-4o mini, Gemini 2.5 Flash, Claude 3.5 Haiku, Llama 4 Maverick, Command R, Magistral Small, DeepSeek V3.2 Exp, Qwen3 Next 의 8 개 모델입니다. 생성된 답변에서 국가와 지역을 추출하여 각 국가가 얼마나 등장하는지 비교했습니다. 가장 두드러진 점은 질문에서 사용된 언어를 공용어로 하는 국가를 선택하는 경향입니다. 이러한 국가에 대한 언급 비율은 모델에 따라 43~78%였습니다. 또한 이러한 국가에 대한 언급을 제외하고 비교하면 일본과 미국에 대한 집중이 나타났습니다. 8 개 모델 중 5 개 모델에서 일본이 최다로, 2 개 모델에서는 미국이 최다이며, 나머지 1 개 모델에서는 두 국가가 동점했습니다.
일본이 많이 언급되는 경향은 음식 (Food) 과 예술 (Arts) 뿐만 아니라 교육 (Education) 과 사회생활 (Social) 등에도 나타났습니다. 반면, 지리 (Geography) 와 경제 (Economy), 정치 (Politics), 역사 (History) 분야에서는 미국이 1 위로, 모든 분야에서 일본이 가장 많지는 않았습니다.
그리고 질문을 사용하는 언어 (가장 왼쪽) 에 따라 답변의 다양성에도 차이가 있었습니다. 학습 데이터가 풍부한 영어와 같은 언어에서는 상대적으로 다양한 국가가 등장한 반면, 학습 데이터가 적은 언어에서는 해당 언어와 밀접한 국가에 답변이 집중되거나 답변이 얻어지지 않는 경향이 있었습니다.
연구 팀은 이러한 편향성이 학습의 어느 단계에서 강화되는지도 조사했습니다. 영어로 비교한 결과, 사전 학습을 완료한 기본 모델 (왼쪽) 보다 사용자의 지시를 따르도록 추가 학습을 받은 모델 (오른쪽) 이 일본이나 미국에 대한 집중도가 더 강해졌습니다. 또한 질문과 답변 예시를 사용하여 학습하는 '지도 기반 파인튜닝' 단계에서 편향이 커진다는 것을 OLMo 의 학습 단계별 모델 비교를 통해 확인할 수 있었습니다.
그러나 왜 일본이 선택되기 쉬운지에 대해서는 연구에서도 밝혀지지 않았습니다. OLMo 의 추가 학습 데이터에서 등장 빈도가 높은 국가가 반드시 답변에서 많이 선택되는 것은 아닙니다. 예를 들어, 중국은 데이터에서 가장 많이 등장한 모델임에도 불구하고 답변에는 거의 나타나지 않는 반면, 일본은 등장 빈도가 높지 않음에도 불구하고 답변에서 두드러지게 나타났습니다. 이번 결과는 일본에 대한 호의나 문화 지식의 정확성을 보여주는 것이 아니라, 학습 단계 비교도 영어에만 국한된다는 점을 의미합니다. 국가 단위로 문화를 포착한다는 점에도 한계가 있으며, 연구 팀은 원인 규명을 향후 과제로 제시했습니다.
원문 보기 | 출처: Gigazine