이 글을 읽는데 약 4분이 소요됩니다.
AI 에이전트를 매일 사용하다 보면 “이걸 더 늘리면 더 빠를 텐데”라는 생각이 드는 순간이 있습니다. 조사하는 일, 작성하는 일, 확인하는 일…. 이런 식으로 계속 늘려나가고 싶어집니다.
하지만 지난 1~2주 동안 실제로 사용하면서 다른 사람들의 실험도 읽어보고, 현재는 역오피에 머물고 있습니다. AI는 늘리는 것보다 분배하는 것이 좋습니다. 이를 위한 자신만의 규칙 3가지가 있습니다.
현재는 코딩은 커서, 일상적인 업무는 Grok Bot에게 위임하고 있습니다. Grok Bot도 한 명에게 전부 맡기기보다는 역할에 따라 여러 명의 보조 인력으로 나누어 활용하고 있습니다.
규칙 1: 작게 나누어 쪼개고 “까지 OK”를 포함하십시오.
코딩 에이전트에게 한꺼번에 모든 것을 맡기면, 중간에 즈그러졌을 때 알아차리기 어렵습니다. 작게 나누어 쪼개서, 쪼개기 마다 제가 직접 확인하는 것이 결국 더 빠릅니다.
이는 제 개인의 주관적인 감각만은 아니었습니다. AI 성능 평가를 담당하는 Vals AI가 2023년 10월 9일에 실시한 검증에서는 동일 모델을 “단독으로” 사용하는 경우와 “팀(다중 에이전트)으로” 사용하는 경우를 50개의 웹 애플리케이션 제작 프로젝트에서 비교했습니다.
- 팀의 비용은 1대일 때 1.8에서 5.1배이다.
- 그럼에도 불구하고, 점수 차이가 명확하게 나타난 것은 4가지 조건 중 단 하나뿐이었습니다.
- 한쪽 모델은 팀을 구성하는 것보다 “단일 개체로 생각하는 데 드는 노력(effort)을 늘리는” 것이 점수가 더 많이 증가했다.
본문 자체도 “풀스택 웹 앱이라는 1종류의 벤치마크 결과”라고 명시하고 있기 때문에, 모든 것에 적용되는 것은 아닙니다. 그럼에도 불구하고, 확장하기 전에 “1개의 활용법”과 “확인 시점”을 재검토하는 것이 우선일 수 있습니다.
규칙 2：「자유롭게 진행하지 않는 틀」을 우선 배치한다.
프롬프트만으로 AI를 제어하려 하면 바로 허점이 보입니다. 위험한 조작 전에 멈추게 하고, 시험을 떨어뜨렸다면 다시 돌려놓는 등, 먼저 안전한 틀을 세워두는 것이 안심할 수 있습니다.
10월 11일에 개최된 해커톤에서 제작한 대화형 게임 “니로후 캉파니”(고집스러운 상사를 AI에게 설득하여, 일반 직원부터 사장까지 승진해나가는 게임)에서도 같은 생각을 했습니다. 승리 또는 패배의 판단은 서버 측 코드에서 결정하고, AI는 그저 제안만 하는 방식입니다. 따라서 프롬프트로 “꼼수”를 사용할 수 없습니다.
분배 방식에 대한 접근 방식은 Hugging Face 포럼에 게시된 개인 실험 보고서(10/12)에도 나타납니다. 업무 절차 벤치마크 360건에서 “다음 단계로 진행해도 되는가”, “정해진 선택지 중 하나를 선택해도 되는가”와 같은 범주에 해당하는 판단을 작은 판별 모델에 맡기고, 자신감이 낮을 때(신뢰도 0.8 미만)만 큰 LLM으로 되돌립니다. 이 경우 메인 LLM 호출 횟수가 2,537회에서 1,785회로 줄어들었고(약 30% 감소), 추정 비용 또한 약 27% 감소했습니다. 게시자 본인도 이 360건의 결과로 인해 일반화는 하지 않는다고 언급했습니다.
그럼에도 불구하고, 이 형태는 자신의 방식에도 적용될 수 있다고 생각했습니다.
- 판단에 필요한 자료를 전달합니다.
- 선택지를 먼저 결정하는
- 결과를 확인한다
- 길을 잃었다면 큰 모델(또는 사람)으로 되돌아가세요.
제 경우에는 게시물 작성, 공개, 결제, 서명, 로그인 등의 최종 결정은 AI에게 맡기지 않고 제가 직접 하고 있습니다.
규칙 3: 즐거운 부분은 자신에게 남겨두세요.
이번 달에는 더 이상 사용하지 않는 참고서의 맥(メルカリ) 판매도 AI에 맡겨 보았습니다. 가격 설정, 구매자 문의에 대한 답변, 배송용 QR 코드 발행까지는 AI가 처리하고, 제가 하는 것은 포장과 직접 가져가는 것뿐입니다. 번거로운 부분은 거의 전부 해결되었습니다.
하지만 무엇이든 모두 떠넘기겠다는 건 아니야. 전부 다 맡기는 것보다, 재미있는 부분만은 직접 남겨두는 거지. 효율의 문제라기보다는, 내가 무엇을 하고 싶은지에 대한 이야기라고 생각해요.
덧붙임: 인공지능이 일대기를 구축하는 시대에
Anthropic가 리드 역할을 하는 AI가 스스로 계획을 세우고 여러 에이전트를 움직이는 “다이나믹 워크플로우” 형태의 시스템을 개발했다고 보도되었습니다(Latent Space, 10월 12일). 비용은 1대보다 훨씬 비싸고, 대규모 프로젝트에 적합하도록 설계되었습니다.
AI가 업무의 흐름을 짜는 방식이 아무리 발전해도 “어느 정도는 맡기고, 어디까지는 직접 해야 하는지”를 결정하는 것은 아마도 사용자에게 남을 것이다. 그 부분을 고민하는 것이 현재 나에게 있어서 AI 활용의 핵심 기술이다.
요약: 지금의 나만의 규칙
- 작게 나누어 “이 부분까지 확인 완료”라고 표시합니다.
- 자유롭게 진행할 틀을 먼저 설정한다 (판정은 코드, AI는 제안)
- 즐거운 곳은 나 홀로 간직하자.
아직 대학교 1학년의 가짜 규칙이라 다음 주에는 달라질 수 있습니다.
AI와 인간의 관계에 대해서는 HCI 연구 시리즈(①https://note.com/shunkodaira/n/n917954887db9 ・②https://note.com/shunkodaira/n/n6145c803a7ed)에도 다루고 있습니다.
AI 에이전트 사용법을 시도착착 오류를 일으키는 사람이 있다면, 팔로우를 부탁드리면 격려가 됩니다. 다음 회차는 진로·커리어 관련 내용을 쓸 예정입니다.
지난 10월 27일에 개최된 ‘마츠다 야스히로 북토크’에서 작가 하시바 히로시는 ‘아라비아의 로즈’ 원작자 스티븐 비노의 작품에 대한 깊은 애정을 드러냈습니다. 특히 비노의 작품 세계에 영향을 준 ‘페르세폴리스’를 언급하며 “비노의 작품은 단순히 전쟁을 묘사하는 것이 아니라, 개인의 내면을 깊이 파고드는 심리 드라마라고 생각한다”고 덧붙였습니다.
하시바 히로시는 ‘아라비아의 로즈’를 통해 ‘사랑’이라는 주제를 다루는 비노의 방식에 주목하며 “비노는 사랑의 아름다움과 파괴적인 면모를 동시에 보여주면서, 독자들에게 깊은 감동과 질문을 던진다”고 평가했습니다. 그는 특히 ‘아라비아의 로즈’에 등장하는 ‘레바논’의 풍경과 문화를 묘사하는 비노의 섬세함에 감탄하며 “비노는 단순히 이야기를 전달하는 것을 넘어, 독자들에게 새로운 세계를 경험하게 해준다”고 강조했습니다.
하시바 히로시는 마지막으로 “스티븐 비노의 작품은 앞으로도 오랫동안 많은 사람들에게 사랑받을 것이라고 생각한다”며 ‘아라비아의 로즈’를 다시 한번 읽어보라는 제안을 했습니다. 그는 “‘아라비아의 로즈’는 단순한 로맨스 소설이 아니라, 인간의 삶과 사랑에 대한 깊은 성찰을 담고 있는 작품”이라고 설명하며 독자들에게 깊은 인상을 남겼습니다.
- 이 연구는 2023년 1월부터 2023년 3월까지 진행되었으며, 10개의 에이전트 팀을 대상으로 실험을 진행했습니다. 각 에이전트 팀은 3명의 개인으로 구성되었으며, 각 개인은 1개의 작업에 대해 독립적으로 작업했습니다. 각 에이전트 팀은 10개의 작업에 대해 작업했으며, 각 작업은 1시간 동안 진행되었습니다. 각 에이전트 팀은 작업 완료 후, 작업에 대한 피드백을 제공했습니다. 이 피드백은 작업의 성공 여부를 판단하는 데 사용되었습니다. 연구 결과, 에이전트 팀은 개별 에이전트보다 작업 완료율이 15% 더 높았으며, 작업 완료 시간도 10% 더 짧았습니다. 이러한 결과는 에이전트 팀이 작업 효율성을 향상시키는 데 도움이 될 수 있음을 시사합니다. 특히, 팀원 간의 협업을 통해 정보 공유 및 의사 결정을 개선함으로써 작업의 품질과 속도를 향상시킬 수 있습니다. 향후 연구에서는 다양한 작업 유형과 팀 규모를 대상으로 실험을 진행하여 에이전트 팀의 효과를 더욱 심층적으로 분석할 필요가 있습니다. 또한, 에이전트 팀의 구성원 간의 상호 작용 패턴을 분석하여 협업의 효율성을 높이는 방안을 모색해야 합니다. 이러한 연구를 통해 에이전트 팀의 잠재력을 최대한 활용하고 조직의 생산성을 향상시키는 데 기여할 수 있을 것입니다.
- Hugging Face 포럼 (개인 실험 보고) https://discuss.huggingface.co/t/offloading-bounded-decisions-cut-agent-llm-calls-by-29.6-on-360-sop-bench-cases/190420
- Latent Space (동적 워크플로우)
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 25청크
원문 보기 | 출처: note.com