웹사이트에서 인간 대신 작동하는 AI 에이전트(Agent)를 “마우스 움직임”으로 구별하는 기술을 CDN 및 사이버 보안 서비스 제공업체인 Akamai가 연구하고 있습니다. 인간과 AI 에이전트 간에는 마우스 조작 횟수 및 간격에 큰 차이가 있으며, Akamai는 적은 조작 데이터로도 AI 에이전트 특유의 행동을 판별하는 메커니즘을 시제품화했습니다. Identifying Agentic Automation with Behavioral Telemetry [https://www.akamai.com/blog/security-research/identifying-agentic-automation-behavioral-telemetry]
웹사이트 보안 분야에서 오랫동안 사용되어 온 기술은 접속하는 대상이 “인간인지 봇인지”를 구별하는 것입니다. 그러나 자연어 지시를 받아 브라우저를 자율적으로 작동하는 AI 에이전트가 등장하면서 기존의 “인간인지 봇인지” 분류만으로는 포착하기 어려운 접근 방식이 증가했습니다. Akamai는 Perplexity Comet(Comet), OpenAI Atlas(Atlas), Claude Chrome Extension 등의 브라우저 작동 기능을 예시로 들고 있습니다. 이러한 AI 에이전트에게 사용자가 “상품을 찾아 장바구니에 추가하는” 등의 지시를 내리면, 에이전트는 브라우저를 조작하여 목적지 위치를 클릭하거나 필요한 정보를 입력합니다. AI 에이전트는 인간으로 위장하려는 것이 아니며, 목적 달성에 불필요한 조작을 거의 하지 않는다는 점이 특징입니다. 인간이라면 페이지를 읽으면서 커서를 움직이거나, 클릭 전에 링크로 마우스를 겹치거나, 정보를 찾기 위해 스크롤합니다. 반면 AI 에이전트는 목적지 위치로 직접 이동하여 정확하게 클릭하고, 필요한 입력을 마치면 다음 조작으로 진행합니다. 결과적으로 마우스 조작 기록이 매우 적고 기계적으로 나타납니다. Akamai의 봇 탐지 제품인 “Bot Manager Premier”는 마우스 이동, 클릭, 스크롤과 같은 조작을 행동 데이터로 수집하여 인간과 봇을 구별하기 위해 사용합니다. 그러나 기존 모델은 인간과 유사한 마우스 조작을 재현하여 탐지를 회피하려는 봇을 주요 대상으로 삼았으며, 조작 패턴을 판별하기 위해서는 일정량의 마우스 조작 데이터가 필요했습니다. AI 에이전트는 거의 마우스 조작을 하지 않으므로 마우스 조작 데이터가 수집되지 않아 기존 모델에서 분석할 수 없었습니다. 실제로 Comet와 Atlas를 조사한 결과, 63.2%의 요청에서는 마우스 이벤트가 전혀 발생하지 않았고, 기존 모델이 분석할 수 있는 충분한 마우스 이동은 1.0%에 불과했습니다.
그러면서 Akamai는 텍스트의 “단어”와 같이 마우스 조작을 처리하는 방법을 제안했습니다. 마우스 이동 및 클릭의 종류뿐만 아니라 조작 간의 시간 간격까지 트랜스포머라는 머신러닝 기술로 분석하여, 적은 이벤트로부터 인간과 AI 에이전트의 차이를 파악합니다. 약 350만 건의 마우스 조작 데이터를 활용하여 인간의 기본적인 조작 패턴을 학습시킨 후, Comet, Atlas 등에서 수집한 2,190건의 AI 에이전트 조작 데이터를 사용하여 분류 모델을 훈련했습니다. 아래 그림은 인간과 AI 에이전트의 조작 데이터를 PCA(주성분 분석) 및 t-SNE라는 방법으로 2차원으로 시각화한 것입니다. 파란색은 인간, 빨간색은 보트 또는 에이전트입니다. 최종적으로 채택한 소규모의 뉴럴 네트워크는 분류 성능을 나타내는 ROC-AUC로 0.981을 기록했습니다. ROC-AUC는 1에 가까울수록 분류 성능이 높은 지표이며, 0.981은 인간과 AI 에이전트를 높은 정확도로 구분할 수 있음을 나타냅니다. 다만, 한 번의 조작만 수행하고 이탈하는 인간은 AI 에이전트와 유사한 특징을 보이기 때문에, 단순히 “조작이 적은 접근”으로 AI를 판단하는 것만으로는 충분하지 않다고 설명되어 있습니다.
한편 이번에 발표된 메커니즘은 제품으로 제공되는 신규 기능이 아닌, 향후 실용화를 염두에 둔 개념 증명 단계의 연구입니다. Akamai는 향후 연구에서 요청 단위 및 세션 단위의 탐지 성능과, 다른 웹사이트에서도 AI 에이전트 특유의 특징을 구별할 수 있는지 검증하고, 실제 서비스에서 활용 가능한 메커니즘을 만들기 위해 필요한 조건에 대해서도 설명할 예정입니다.
원문 보기 | 출처: Gigazine