# AI 활용의 다음 과제는 “비용과 성과”의 시각화 – LayerX가 말하는 토큰 관리

> https://bookfactory.kr/board/news/20921
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-10T23:39:58.476Z

---

생성 AI의 활용이 기업에 확산되면서, AI에 드는 비용을 어떻게 관리할 것인가가 새로운 과제로 떠오르고 있습니다. 지금까지 생성 AI의 활용에서는, 우선 이용을 확대시키는 것이 중시되어 왔습니다. 그러나 직원 한 명 한 명이 일상적으로 AI를 사용하고, AI 에이전트가 업무의 뒤쪽에서 항상 움직이게 된다면, AI에 드는 비용은 무시할 수 없는 규모가 됩니다. 누가, 어떤 일에, 어떤 모델을 사용하고, 얼마가 들고 있는가. 그리고 그 비용에 맞는 성과가 창출되고 있는가. 기업에는, AI의 이용을 “관리하는” 것과 같은 새로운 시각이 요구됩니다.

레이어엑스에서는 2025년부터 2026년까지 인공지능 활용에 관한 생각을 크게 변화시켜 왔습니다. 2025년은 “단순히 인공지능을 대량으로 사용하는 것”에 초점을 맞춘 “토큰 매칭(토큰·마키싱)”이었습니다. 그리고 현재는 작업과 모델을 최적화하면서 인공지능에 소요되는 비용과 성과를 파악하는 “토큰 경제학(토큰·이코노믹스)”으로 전환하고 있습니다.

9월 3일에 개최된 “Bet AI Day 2026”에서, LayerX 대표取締役 CEO 후쿠시마 료토 씨는 지난 1년간의 변화를 자율주행에 비추어 설명하며 “지난해는 레벨 3, 올해는 레벨 4”라고 표현했다. 일반적인 범위의 업무는 AI가 담당하고, 예외적이거나 확인이 필요한 경우에는 인간이 개입한다. AI에 맡기는 업무가 증가할수록 기업에는 그 이용량과 비용을 적절하게 통제하는 시스템이 필요하다.

그러면, 기업은 AI의 비용을, 어디까지, 어떻게 관리해야 하는가. 그리고 “어떤 토큰을 사용했나”의 뒤에는 무엇을 지표로 보아야 하는가. 본고에서는, 주식회사 LayerX의 冨成 俊亮(토머스 폰 츠엉) 씨에게 기업에 요구되는 “토큰 관리”에 대해 질문했다. ※취재는 2026년 9월 16일에 진행되었다.

주식회사 LayerX 제품 관리자 冨成 俊亮(토머스 폰 츠엉) 님은 10세부터 영국으로 단기 유학을 하셨습니다. 대학교 졸업 후 귀국하여 일본계 및 해외 기업에서 대규모 및 스타트업 기업의 광고 영업, 소프트웨어 엔지니어로서 경험을 쌓고, 제품 관리자로서 경력을 쌓으셨습니다. 이전에는 스타트업을 창업하여 경영자로서 활약하셨고, 2026년 4월에 LayerX에 입사하여 현재는 “AI 토큰 자문가”의 제품 관리자로서 활동하고 있습니다. 다람 대학교(영) 비즈니스 스쿨 MBA 졸업.

## “대량으로 사용”에서 “관리하여 사용”으로

레이어엑스는 2025년부터 인공지능 활용을 크게 추진해 왔으며, 그 상징이 “토큰 맥싱”이다. 먼저 인공지능을 대량으로 활용하여 직원 스스로가 인공지능이 할 수 있는 것, 할 수 없는 것을 이해하도록 한다. 함마루 氏(함마루 지)는 “벳 AI 데이 2026”에서 작년은 “대량으로 사용하는 사람이 위이다”라는 분위기를 조성하는 데 의미가 있었다고 되돌아보았다. 인공지능을 거의 사용하지 않는 조직에서 활용을 넓히려면, 그것만큼 강하게 액셀을 밟는 필요가 있었다.

한편, 이용량이 증가하면 당연히 비용도 증가한다. 이에 다음 단계로 부상한 것이 이용 상황을 파악하고, 작업에 따라 모델과 사용법을 최적화하는 “토큰 관리”이다. 비용 증가에 대한 이해를 얻기 어려운 기업은 Token Maxxing을 거쳐 처음부터 토큰 관리(토큰 관리)에 참여할 수 없는가. 冨成氏は、먼저 AI를 사용하여 그 가능성과 한계를 체감하는 데 의미가 있다고 말했다.

“가능하다면, 먼저 실제로 사용해 보는 것이 좋겠습니다. AI를 사용함으로써, 무엇을 할 수 있는지, 어디까지 위임할 수 있는지라는 피부 감을 얻을 수 있기 때문입니다. 다만, 당연히 비용이 발생하므로, 그곳은 회사로서 어디까지 허용할 수 있는지를 고려해야 합니다.”

중요한 것은 “Token Maxxing을 할 것인지, 하지 않을 것인지”라는 이분법이 아니다. 기간과 예산을 정한 후 AI를 충분히 사용하고, 그 결과를 바탕으로 다음 관리 페이즈로 전환하는 것이다. 예산에 대해서도 단순하게 “월간 얼마까지”로 결정하는 것 외의 방식이 있다.

“예를 들어, 몇 명분의 인건비를 AI에 사용하는지, 혹은 프로젝트나 성과를 결정하고 그 성과가 나올 때까지 AI를 계속 사용하는 방식도 있다. 어느 쪽이든 단순하게 ‘토큰을 몇 개 사용했나’만 고려하는 것이 아니라, 무엇을 위해 사용했는지를 보는 것이 필요하다.”

AI가 실제 업무를 담당하게 되면, 그 비용은 기존의 “IT 툴 이용료”와는 다른 성질을 갖기 시작한다. 토큰 관리(Token Management)는 단순한 경비 절감(Cost Reduction)이 아닌, “어떤 업무에 AI라는 자원을 얼마나 투입할 것인가”라는 관리로 접근하게 된다.

## “누가 무엇 토큰을 사용했나”만으로는 관리되지 않는다

AI의 이용 상황을 파악하는 데에는 관리 화면이나 API에서 이용 모델, 토큰 수, 금액 등을 가져올 수 있습니다. 그러나 토머스 씨는 “단순히 AI의 이용 상황을 파악하는 것만으로는 ‘좋은 AI 활용’인지 판단할 수 없다”고 지적합니다.

예를 들어, 엄청나게 토큰을 사용하는 사람이 있었다고 해도, 그 사람이 무엇을 하고 있는지 알 수 없는 경우가 있습니다. “프론티어 모델”에게 “내일 날씨는?”이라고 물어보고 있을 뿐일 수도 있습니다. 따라서 토큰 수나 금액뿐만이 아니라, 무엇을 물었고, 무엇을 시켰는지까지 살펴봐야만 진정으로 좋은 방식으로 사용하고 있는 것인지 알 수 있습니다.

월 10만 원을 사용한 직원과 월 1만 원만 사용하는 직원이 있었다고 해도, 10만 원을 사용한 직원이 AI를 더 효과적으로 활용하고 있다고 단정할 수 없습니다. 반대로, 단순히 이용액을 줄이는 것이 정답이라고 할 수도 없습니다. 즉, 토큰 관리에서 살펴봐야 할 것은 “이용량”만은 아닙니다. 누가, 어떤 작업에, 어떤 모델을 사용했고, 얼마의 비용을 썼는지까지 연결해서 살펴봐야 합니다. 여기서 중요해지는 것이 프롬프트와 작업의 분석입니다. 단순히 “클로이드(Claude)를 몇 번 사용했고, 몇 만 토큰을 소비했는지” 집계하는 것뿐만 아니라, 그 이용이 정말로 고성능 모델을 필요로 하는 일이었는지, 더 저렴한 모델로도 같은 결과를 얻을 수 없었는지 검증해야 합니다.

토큰 관리는 사용량을 줄이는 것만이 아닙니다. 필요한 일에는 충분한 AI 리소스를 투입하고, 필요 없는 곳에서는 과도하게 사용하지 않는 상태를 만드는 것입니다.

## “일단 최신 모델”이 AI 비용을 누적시킴

AI의 비용을 최적화하는 데 있어, 중요한 포인트가 되는 것이 모델 선택이다. 생성 AI에 대해 숙련된 직원이라면, 업무의 난이도에 따라 모델을 다르게 활용할 수 있다. 반면에, AI에 익숙하지 않은 사용자들은 “성능이 높으면 안심이 들어서” 최신 고성능 모델을 선택하기 쉽다. 冨成氏は以下のように 말한다.

인공지능(AI)에 익숙하지 않은 분들은 문제가 발생했을 때를 대비하기 위해 가장 최신 모델을 사용하는 경향이 있습니다. 하지만 일상적인 업무라면 그렇게 성능이 뛰어나지 않아도 충분한 경우가 많습니다. 따라서 앞으로는 사용자가 매번 모델을 선택하는 대신, 작업 내용을 파악하여 자동으로 모델이 선택되는 도구의 활용이 일반화될 것이라고 생각합니다.

모델 성능이 향상되는 한편으로, 비슷한 수준의 작업을 처리하기 위한 비용은 감소하고 있습니다. 모든 업무에 최고위 모델을 사용해야 할 필요는 없습니다. 문장의 분류나 단순한 정보 추출, 그리고 복잡한 추론을 필요로 하는 업무에서는 필요한 모델 성능이 다릅니다. LayerX 또한, 이러한 기대를 실제 AI 활용 기반에 반영하고 있습니다. “Bet AI Day 2026”에서는 1개의 API 키 뒤에서 요청을 판단하고 적절한 모델을 선택하는 AI 게이트웨이를 구축하는 것이 소개되었습니다. 사용자 스스로에게 “어떤 모델을 사용해야 하는가”를 매번 판단하도록 하는 대신, 작업에 따라 자동으로 라우팅합니다. 더 나아가, 프롬프트 캐시가 효과가 없을 경우에는 개선을 유도하고, 실제로 LLM을 호출할 필요가 없는 처리 대해서는 SQL 등으로 직접 데이터를 가져오는 것을 권장합니다.

Bet AI Day2026 현장

즉, AI 비용 최적화는 “저렴한 모델을 사용해라”라고 직원에게 외치는 것만으로는 실현되지 않는다. 모델 선택, 캐시, 데이터 획득 등을 포함하여 AI를 사용하는 시스템 자체를 설계해야 한다.

## 개인에게 의존적인 AI 활용으로는, 비용과 노하우 모두 분산된다.

또 다른 어려움은 AI 활용의 “개인화”이다. ChatGPT, Claude, 코딩 에이전트 등을 개인적으로 사용할 경우 “어떤 프롬프트를 입력하고, 어떤 답변을 얻었으며, 어떤 결과로 이어졌는가”라는 지식은 그 사람의 PC나 업무 진행 방식 속에 갇히기 쉽다. 冨成氏は, AI 활용을 개인에게 맡기면 조직 내에서 큰 “짙은 차이”가 발생한다고 말한다.

“개인적으로 AI를 사용하면 그 사람 입장에서는 굉장히 빠르게 진행되지만, 조직 전체에 지식이 확산되지 않는 문제가 있다. 어떤 사람은 굉장히 AI를 잘 활용하게 되는데, 다른 사람은 전혀 사용하지 않는, 이런 짙은 차이가 나타난다.”

이는 AI 리터러시 문제만은 아니다. 기업에게는 어디에서 AI 비용이 발생하고, 그 비용이 어떤 업무에 사용되는지 파악하기 어려워진다. 그래서 LayerX가 다음 1년의 주제로 제시하는 것이 “개인 AI에서 조직 AI로”의 전환이다. 회사 공통의 지식을 AI를 통해 활용할 수 있도록 하고, 보안 기준과 워크플로우를 통일한다. 그리고 AI의 이용 상황과 비용을 조직으로서 파악한다.

“IT나 AI 추진 담당자가 어떻게 활용해야 하는지 널리 알리는 것도 필요하다. 하지만 그 뿐만 아니라,そもそも 회사로서 사용할 수 있는 지식과 시스템을 정비하고, 모두가 재사용할 수 있도록 하는 것이 중요하다.”

토큰 관리(토큰 관리)는 회계 부서나 정보 시스템 부문만이 이용 요금을 감시하는 활동이 아니다. 인공지능을 조직 전체의 자원으로 활용하고 그 사용 방식을 설계해 나가는 활동이기도 하다.

## AI 에이전트 시대, 토큰 관리는 더욱 어려워질 것이다

토큰 관리의 중요성은 AI 에이전트의 보급으로 인해 더욱 높아질 것이다. 지금까지의 생성 AI는 인간이 채팅 화면을 열고 프롬프트를 입력하는 것을 시작점으로 움직이는 경우가 많았다. 이 경우, 인간이 AI를 사용하지 않으면 비용이 발생하지 않았다. 하지만 앞으로 보급이 예상되는 “Ambient Agent(안비언트 에이전트)”에서는 상황이 다르다. 사람이 그 때마다 지시를 내리지 않아도, 이메일 수신, 일정 변경, 데이터 업데이트 등 이벤트를 계기로 AI가 자동으로 필요한 처리를 시작하기 때문이다. AI가 인간의 지시를 기다리지 않고 움직이게 되면, 토큰 소비는 인간의 이용 횟수와 분리될 것이다.

“에이전트가 알아서 움직이게 되면, 예를 들어 악의적인 이메일이나 대량의 처리로 인해, 예상 이상으로 AI를 사용하게 될 수도 있다. 그래서, 감시 장치나 중단 메커니즘은 상당히 중요하다.”

지금까지의 AI 비용 관리는 “직원이 얼마나 사용했는지”를 확인하는 데 그쳤습니다. 하지만 AI 에이전트가 항상 업무를 처리하게 되면, 평균 이용량, 피크, 계절 변동 등에서 미래 비용을 예측하고 예산 및 중단 조건까지 사전에 설계해야 합니다. AI가 자율적으로 되면서 비용 관리는 자동화 및 시스템화되어야 합니다.

## 토큰을 관리한 곳에서 요구되는 “AI 투자에 대한 ROI”

물론 토큰을 적절히 관리했더라도, 그것만으로는 AI 투자가 성공했다는 의미가 아닙니다. 궁극적으로 기업이 알고 싶어하는 것은 “AI에 얼마를 썼는지”가 아니라 “그 투자로 인해 얼마나 가치가 창출되었는가”입니다. LayerX 자체도 AI 투자에 대한 ROI에 대해 아직 명확한 답을 가지고 있지 않다고 합니다. AI 덕분에 비엔지니어조차도 간단한 관리 화면이나 웹 앱을 만들 수 있게 되었지만, “만들 수 있는 것”과 “가치가 발생하는 것”은 별개의 문제입니다.

“처음에는 AI로 간단한 웹 앱을 만드는 것 자체도 재미있었습니다만, 1개월 후에는 아무도 사용하지 않는 경우도 있습니다. 지금은 재미만 있기보다는 중장기적으로 가치가 발생하는 것을 만드는 단계로 바뀌어 오고 있습니다. AI로 만들 수 있는 것과, 만들어야 할 것은 분명히 다릅니다.”

영업이나 기획 등 성과를 직접 금액으로 환산하기 어려운 업무에서는 다른 관점도 필요하다. 예를 들어 AI가 영업 미팅의 회의록을 만들고, 다음 액션을 정리하며, 후속 이메일까지 작성한다면 영업 담당자는 그 시간을 협상이나 고객과의 관계 구축에 활용할 수 있다. AI가 직접 매출을 발생시키지 않더라도 인간이 더 가치 있는 일에 사용할 수 있는 시간을 만들어낸다면, 그것도 AI 투자에 대한 리턴으로 고려할 수 있다.

## 최종적으로 관리하는 것은 “토큰”이 아닌 “일”이 된다

그러면 토큰 관리의 목표는 어디로 향하는가? 冨成 氏は, 궁극적으로 토큰이나 모델만 보아 AI 활용을 평가하는 데는 한계가 있다고 생각한다.

“궁극적으로 토큰이나 모델은 측정하기 위한 숫자일 뿐이라고 생각합니다. 중요한 것은 요청한 일이 제대로 끝났는지. 그것을 보지 못하면 진정으로 AI를 활용하고 있는지는 알 수 없다.”

이는 토큰 관리의 대상이 “AI의 이용량”에서 “AI가 담당한 일”로 확장됨을 의미한다.

“예를 들어 인간이 한 달에 하는 일을 전부 분해해 보고, 그 안에 ‘이것은 분명히 인간이 아니어도 괜찮지 않을까’라는 작업을 한다고 가정해 봅시다. 그 일을 인간이 한 때의 비용과 AI에게 맡겼을 때의 토큰 비용을 비교하게 될 것이다.”

AI가 “툴”이 아닌, 일을 담당하는 존재가 되면, AI 비용의 인식 방식도 바뀔 것이다. 기존의 SaaS 이용료와 같은 IT 비용이 아닌, 인간의 인건비에 가까운, 새로운 비용 구분으로 취급될 가능성도 있다. 다만, 모든 일을 동일하게 AI로 대체될 수 있는 것은 아니다. PC 안에서만 완결되는 디지털한 일과, 사람과의 소통이나 물리적인 행동을 수반하는 일에서는, AI가 완료할 수 있는 범위가 다르다. 먼저 디지털 세계에서 완결되는 일부터, “AI가 몇 건의 일을 완료하고, 이에 얼마가 들었는가”를 측정하는 움직임이 진행될 것이다. 그렇게 되면, 기업이 보는 대시보드도 변할 수 있을 것이다.

얼마나 많은 토큰을 사용했는가. 어떤 모델을 사용했는가. 얼마가 들었는가. 이러한 것들은 계속해서 필요하다. 그러나, 그 다음에는 “얼마나 많은 일을 완료했는가”, “1 작업을 완료하는 데 얼마가 들었는가”, “인간이 담당하는 경우와 비교했을 때 어떠했는가”라는 지표가 더해져갈 것이다. 토큰 관리(Token Management)는 단순한 생성 AI의 이용 요금 관리 그 이상이다.

기업의 AI 활용이 본격화될수록, “많이 사용한다는 것” 자체에 가치는 사라진다. 요구되는 것은, 그 토큰을 어떤 위해 사용하고, 어떤 일을 완료하고, 얼마나 가치를 냈는가이다. AI를 사용하는 것이 당연해진 세상에서는, “어떻게 사용하느냐”뿐만 아니라, “어떻게 관리하고 성과로 연결하느냐”가 기업에 요구되어갈 것이다.

[원문 보기](https://ledge.ai/articles/LayerX_token_management_interview) | 출처: Ledge.ai