IBM Research의 실험 결과, AI 에이전트에 과거 경험을 “기억” 형태로 대량으로 제공한다고 해서 반드시 성능이 향상되는 것은 아니라는 것이 밝혀졌다. AI 모델의 경우, 모든 기억을 전달하는 것보다 필요한 정보만 선택하는 것이 더 높은 성능을 발휘할 수 있다는 것이다. How Much Memory Does Your Agent Actually Need? https://huggingface.co/blog/ibm-research/altk-evolve-hmm
AI 에이전트는 대규모 언어 모델에 외부 도구 조작 능력을 더하여 여러 단계가 필요한 작업을 수행할 수 있도록 한 시스템이다. 그러나 과거의 성공이나 실패를 효과적으로 재활용하지 못하고 동일한 실패를 반복할 수 있다. IBM Research가 개발 중인 “ALTK-Evolve”는 과거 작업 기록에서 성공한 전략이나 실패로부터 얻은 교훈을 가이드라인으로 추출하여 다음 작업에서 활용하는 메커니즘이다. ALTK-Evolve를 사용하면 AI 모델의 재훈련 없이 과거 경험을 활용할 수 있다는 의미는 아니다.
연구팀은 ALTK-Evolve가 캘린더, 메시지 등 9종류의 가상 앱을 조작하는 “AppWorld” 훈련 태스크에서 생성한 가이드라인을 “기억”으로 활용하여 585건의 태스크를 8종류의 AI 모델에 실행시켰다. 실험에서는 “기억 없음”, “모든 가이드라인 전달”, “태스크에 따라 필요한 가이드라인만 선택”이라는 3가지 방식을 비교했다. 다음은 일반 태스크 168건에 대해 8모델 중 대표적인 5모델로 “기억 없음”과 가장 좋은 성적을 거둔 기억 방식을 비교한 그래프이다. 특히 gpt-oss-120b에서는 필요한 가이드라인만 선택함으로써 태스크 완료율이 39.9%에서 56.0%로 상승했다. 토큰 소비량 증가는 약 5%에 그쳤지만, 모든 가이드라인을 전달하는 방식에서는 토큰 소비량이 약 51% 증가한 데에도 불구하고 성능 향상은 필요한 가이드라인을 선택하는 방식보다 낮았다. 이는 대량의 정보를 전달하는 것이 좋은 것이 아니며, 모델에 맞춰 기억의 제공 방식을 조정해야 한다는 의미이다.
반면 DeepSeek-V3.2, Claude Opus 4.6, GPT-5.5에서는 모든 가이드라인을 전달할 경우 가장 높은 성능을 보였다. 적절한 기억의 제공 방식은 모델마다 다르며, 모델의 규모만으로는 결정되지 않는다고 연구팀은 설명한다. 연구팀은 앞으로 문장의 의미의 근접성뿐만 아니라 실제 태스크의 성공 여부를 기반으로 유용한 기억을 선택하는 메커니즘을 연구할 계획이다. 또한 이번 결과는 AppWorld를 사용한 실험에 기반하므로, 보다 광범위한 환경에서도 검증을 진행할 것이라고 한다.
원문 보기 | 출처: Gigazine