AI 에이전트가 답변을 생성하는 과정에서는 "LLM에 문의하기", "검색하기", "도구 실행하기", "결과를 다시 LLM에 전달하기"와 같은 처리가 연속적으로 이루어집니다. 그 실행 경로를 통째로 기록하고 어디서 몇 개의 토큰을 사용했는지까지 브라우저에서 추적할 수 있는 오픈소스 툴이자 셀프 호스팅이 가능한 "Langfuse"가 공개되었습니다. Langfuse https://langfuse.com/
langfuse/langfuse: Open source AI engineering platform: LLM evals, observability, metrics, prompt management, playground, datasets. Integrates with OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, and more. YC W23 https://github.com/langfuse/langfuse
◆Langfuse 개요
Langfuse는 LLM 및 AI 에이전트의 실행 내용을 "Trace"로 기록하여 "어떤 LLM을 호출했는지・어떤 도구를 실행했는지・어떤 정보를 검색했는지・입출력 처리 소요 시간・토큰 사용량・예상 비용" 등을 나중에 확인할 수 있는 AI 엔지니어링 플랫폼입니다.
◆Langfuse 사용 방법·Organizations 등록 및 API 키 발급
Langfuse를 구축한 후 브라우저에서 "http://localhost:3000"에 접속하면 "Organizations" 목록 페이지가 표시되므로 "New Organization"을 클릭합니다.
Setup 화면이 나타나면 "Organization name"에 원하는 조직 이름을 입력하고 "Create"를 클릭합니다.
"Project name"에 원하는 프로젝트 이름을 입력하고 "Create"를 클릭합니다.
프로젝트 생성이 완료되어도 화면 전환이 제대로 이루어지지 않는 오류가 있는 것으로 보이므로 그대로 사이드 메뉴의 "Projects"를 클릭합니다.
생성한 조직과 프로젝트가 표시되면 등록이 완료된 것입니다. "Go to project"를 클릭합니다.
사이드 메뉴의 "Settings"를 클릭하고 "API Keys"를 클릭한 뒤 "Create new API Keys"를 클릭합니다.
"Note(optional)"은 용도 등의 메모가 필요한 경우 입력하고 "Create API keys"를 클릭합니다.
API 키가 생성됩니다. "Secret key"는 이 화면에서만 표시되므로 복사하여 저장해 둡니다.
·AI 에이전트에 통합
이번에는 AI 에이전트로 Google Gemini를 사용하여 Langfuse와 연동하기 위해 Google Gen AI SDK와 Observability for Google Gemini Models with Langfuse Integration을 활용하여 Python 스크립트에서 AI 에이전트를 호출했을 때의 트레이스를 수행합니다. Langfuse에서 AI 내부 처리를 확인하기 쉽도록 동일한 내용을 다른 검색 키워드로도 확인하도록 일부러 중복된 명령을 프롬프트에 추가하여 실행해 봅니다.
답변은 다음과 같이 생성되었습니다.
여기서 Langfuse로 돌아가 사이드 메뉴에서 「Trace」를 클릭하면 방금 실행한 AI 에이전트에 대한 질문이 등록되어 있으므로 항목을 클릭합니다.
AI 에이전트가 어떤 데이터를 몇 번 주고받았는지, 토큰 수는 얼마인지 모든 것이 기록되어 있는 것을 확인할 수 있습니다. 이번 교환에서의 토큰 수는 1883이었습니다.
이번에는 프롬프트 내용을 아래와 같이 하여 검색을 1번만 수행하도록 지정했습니다.
실행 결과는 다음과 같습니다.
Langfuse에서 확인하면 전체 토큰 수는 936이 되어 장황한 프롬프트보다 적은 토큰 수로 결과를 얻을 수 있었습니다.
AI 에이전트가 외부 도구를 사용한 경우에는 「어떤 도구를 호출했는지・어떤 인수를 전달했는지・어떤 결과가 반환되었는지」도 Trace에 기록할 수 있습니다. 이를 통해 답변이 이상해진 원인이 LLM 자체에 있는지, 검색 결과나 도구 선택에 있는지를 구분할 수 있습니다.・기타 기능 기타 기능으로 AI에 제공하는 프롬프트를 저장하여 버전 관리할 수 있는 「Prompt Management」, AI의 답변을 사람이나 다른 LLM으로 채점하는 「Evaluation」, 여러 입력에 대해 프롬프트나 모델을 변경한 결과를まとめて 비교할 수 있는 「Datasets・Experiments」 등의 기능이 있습니다. 또한 토큰 사용량이나 비용, 처리 시간 등을 대시보드에서 집계할 수 있을 뿐만 아니라, OpenTelemetry를 이용해 LangChain・OpenAI Agents SDK・Google ADK・n8n・Dify・Ollama・Codex・Claude Code 등 다수의 AI 도구와 연동할 수 있습니다.◆Langfuse 구축 방법 이번에는 Windows에 Docker Desktop과 Git for Windows의 Git Bash를 준비한 환경에서 구축합니다. 작업 폴더에서 리포지토리를 클론하고 Langfuse 폴더로 이동합니다.
브라우저에서 「http://localhost:3000」에 접속하면 로그인 폼이 표시되므로 「Sign up」을 클릭합니다.
등록・로그인이 자동으로 진행되고 홈 화면이 표시되면 구축 완료입니다.
원문 보기 | 출처: Gigazine