# 덴통 등 3개 사, 광고 카피를 AI가 자동 평가… 카피라이터 64명·11만 건 이상의 평가 데이터 구축 > https://bookfactory.kr/c/news/10978 > 게시판: 뉴스 > 작성자: tachikoma43 > 작성일: 2026-09-09T01:26:38.540Z --- 덴츠, 덴츠 디지털, SB Intuitions 3개 사는 2026년 9월 1일, 일본어 광고 카피를 생성 AI가 자동 평가하게 하는 'LLM-as-a-Judge' 연구 성과를 발표했다. 532건의 평가 데이터를 구축. 그 중 일부를 사용한 검증에서는 학습·최적화한 업종이나 상품에서 AI에 의한 평가와 카피라이터에 의한 평가 사이에 일정 수준의 양의 상관관계가 확인되었다. ## 카피라이터의 '평가 기준'을 데이터화 3개 사는 2025년 9월부터 일본어 특유의 어감이나 표현을 담아낸 '일본어 카피라이팅 특화형 생성 AI' 개발을 위한 공동 연구를 진행하고 있다. 연구에서는 생성 AI가 작성한 일본어 광고 카피를 덴츠에 소속된 카피라이터 64명이 공통 기준으로 평가. 총 11만 6532건의 평가 데이터를 구축했다. 나아가 카피라이터 대상 전문가 인터뷰를 실시하여 광고 카피를 평가할 때의 판단 프로세스를 정리했다. 평가 관점에는 '퍼스트 임팩트', '인사이트의 깊이', '어휘 선택의 타당성' 등이 포함된다. 이러한 전문 카피라이터의 평가 지식을 생성 AI가 활용할 수 있는 평가 지표로 체계화했다. ## '좋은 카피인가'를 LLM 스스로 평가하게 하다 이번에 검증한 것이 'LLM-as-a-Judge'라 불리는 기법이다. LLM-as-a-Judge는 LLM을 '평가자'로 사용하여 생성된 답변이나 콘텐츠의 품질을 평가하는 기법이다. 이번 연구에서는 카피라이터의 평가 기준을 반영한 프롬프트를 사용하여 생성 AI가 광고 카피를 평가하게 했다. 학습·최적화를 진행한 업종이나 상품에서는 생성 AI에 의한 평가와 카피라이터에 의한 평가 사이에 '일정 수준의 양의 상관관계'가 확인되었다고 한다. 반면 검증 대상과 다른 미학습 업종이나 상품에서는 상관관계가 저하되었다. 3개 사는 프롬프트 조절만으로는 광범위한 분야에 적용하기 어려우며, 광고 카피 평가를 범용화하려면 데이터 확충과 평가 모델의 고도화가 필요하다고 밝혔다. ## '무엇을 쓸 것인가'뿐만 아니라 '어느 것이 좋은가'의 자동화로 제25회 정보과학기술 포럼 'FIT2026'의 공식 프로그램에는 이 연구가 '일본어 캐치프레이즈 평가를 위한 LLM as a Judge 검증'으로 게재되어 있다. 연구 개요에서는 광고 카피라이팅에 대해 소구 내용을 정리하는 'what-to-say'에서 이를 효과적으로 전달하는 표현인 'how-to-say(캐치프레이즈)'로 전개된다고 설명했다. how-to-say의 생성에는 고도의 언어적 창의성이 필요한 반면, 생성된 후보를 평가하는 데도 전문적인 판단이 필요하다고 지적했다. 생성 AI를 활용한 광고 제작에서는 대량의 카피 후보를 생성할 수 있더라도 그중 어떤 카피를 선택할 것인가 하는 평가 공정이 남는다. 이번 연구는 카피를 '만드는' 공정뿐만 아니라 전문가의 판단 기준을 도입해 '평가하는' 공정까지 생성 AI로 지원하는 것을 목표로 한다. 3개 사는 향후 이번에 얻은 지식을 바탕으로 일본어 광고 카피 자동 평가 기술을 고도화하고, '일본어 카피라이팅 특화형 생성 AI'의 실용화를 위한 연구 개발을 추진할 계획이라고 밝혔다. :::box 관련 기사: 덴츠, 카피라이터의 사고 프로세스를 학습한 AI 툴 「AICO2」와 AI 전략 「AI For Growth」 발표 – 인간과 AI의 협업 :::box :::box 관련 기사: 덴츠 그룹이 「AI 네이티브화」 전략을 쇄신　1억 명의 고정밀 가상 페르소나 「People Model」을 개발, AI 에이전트가 마케팅의 전 과정을 지원 :::box :::box 관련 기사: KDDI 등 3사　일관된 브랜드 이미지를 표현―― 브랜드 가이드라인 준수 광고 크리에이티브 생성 AI를 개발 :::box :::box 관련 기사: 소프트뱅크, 국산 LLM 「Sarashina」 활용 생성 AI 서비스를 6월 제공 개시　Oracle Alloy 기반으로 소버린성을 갖추고 기업·지자체의 업무 효율화로 :::box [원문 보기](https://ledge.ai/articles/dentsu_ai_ad_copy_evaluation) | 출처: Ledge.ai