얼마 전, X(구 트위터)에 다음과 같은 글을 올렸습니다.
에이전트 스킬 관리하고 계신가요?
그러다 예상보다 훨씬 많은 반향을 얻게 되었습니다. 그중에서 특히 기억에 남았던 목소리가 있었는데, 바로 이 메시지였습니다.
스킬 수가 41개까지 늘어났으니, 모든 스킬을 하나의 파일로 정리했습니다. 하지만 실제로 어떤 스킬이 사용되었는지 알 수 없습니다. 호출 기록도 캡처하고 있나요?
이는 바로 AI 직원 운영의 핵심적인 질문입니다.
결론적으로, 저의 환경에서는 호출 기록을 상세하게 기록하고 있습니다. 다만, 기록하는 내용은 단순히 “얼마 번 사용되었는지”뿐이 아닙니다.
이번 글에서는 제 맥(Mac)에 있는 Agent Skill의 모든 것을 최대한 자세하게 조사하여 알아낸 내용을, 가능한 한 쉽고, 그리고 여러분의 AI 직원 운영에 도움이 될 만한 형태로 정리했습니다. 매일 AI 업무 개선에 어려움을 겪는 분들, 그리고 앞으로 AI 직원과의 협업을 본격화하고 싶어하는 분들에게 분명 새로운 시각을 제시할 것입니다.
そもそもAgent Skillとは？：AIの「業務マニュアル」が増えすぎると…
에이전트 스킬은 AI에게 특정 업무를 위임하기 위한, 즉 “업무 매뉴얼”과 같은 개념입니다.
예를 들어, 제 인공지능 직원이라면,
- 새벽의 문서를 정확하게 읽어들인다
- 회의 내용을 신속하게 요약합니다.
- GitHub의 이슈 현황을 자동으로 확인합니다.
- 기사 초안을 효율적으로 작성하십시오.
- 실행 전에 외부 서비스의 인증 상태를 확실히 확인하십시오.
이처럼 구체적인 업무마다 스킬을 준비하고 있습니다.
처음에는 몇 건에서 시작하여, 숙련도가 높아질수록 AI에 맡길 수 있는 업무 범위가 넓어지고 생산성은 비약적으로 향상됩니다. 하지만 이 ‘늘어나는’ 과정의 기쁨 뒤에는, 결국 새로운, 그리고 더욱 근본적인 문제가 드러나는 것을 깨닫게 됩니다.
それは、数十個を超えたあたりから顕在化する「管理」の課題です。
- 같은 이름의 스킬이 여러 개 있어서 어떤 것이 최신인지 알 수 없는 경우
- 어떤 기술을 수정하고 싶지만, 무엇을 건드려야 할지 판단할 수 없는 경우
- 이 스킬, 지금도 제대로 작동하고 있는 걸까?
- 한번 사용되지 않은 기술이 어느 순간 엄청나게 잠들어 있다.
이처럼 Skill을 구축하는 단계의 문제에서 관리하고 지속하는 운영 단계의 문제로, 문제의 질이 크게 변화하는 것입니다.
실제로 모든 것을 조사한 결과: 710개의 Skill을 감사하면서 드러난 AI의 “현장”
이 문제 의식을 바탕으로, 저는 이번에 제 맥에 설치된 모든 Agent Skill을 모두 찾아내어 철저하게 감사했습니다. 이것은 바로 AI 직원들의 “건강 진단”과 같은 작업입니다.
그 결과, 드러난 것은 놀라운 숫자였습니다.
- 기술 배치 총 수: 710개
- 기술 명의 종류: 439가지
- 코덱스가 실제로 사용하는 스킬 97개
- 실행 기록 총 15,898건
이 숫자를 보면 “439가지 Skill이 있다면 모두가 활발하게 움직이는 것일까?”라고 생각할 수 있습니다. 하지만 현실은 그렇지 않습니다. 오히려 이 “배치 수”와 “실동 수”를 혼동해서 생각하면 관리 자체가 무너집니다.
실제 운영 현장에서는 더욱 복잡한 상황이 펼쳐지고 있습니다.
에이전트 스킬의 “3가지 축” 기반 관리 전략 심층 분석
방대한 양의 역량을 효과적으로 관리하기 위해서는 명확한 기준과 축이 필요합니다. 제가 도출한 것은 에이전트 역량을 다음 3가지 관점으로 나누어 관리한다는 방식입니다. 이 3가지 축을 이해하는 것이 AI 직원 안정 운용의 첫걸음입니다.
어떤 것이 ‘정본’인지 헷갈리는 복사 문제로 인해 혼란이 발생하는 상황을 지칭하는 것일 수 있습니다.
AI 도구를 사용하면, 어느새 같은 이름의 파일이 계속 늘어나는 경우가 많습니다. 에이전트 스킬도 예외가 아닙니다.
たとえ同じ名前のSkillが複数存在していても、それぞれが持つ役割は全く異なります。
- 수정할 “원 파일”(정본): 우리가 직접 수정해야 할 유일한 마스터 파일.
- AI가 실제로 사용하는 “실행 복사본”: 정본을 바탕으로 현장에서 작동하는 버전.
- 플러그인이 관리하는 “독립 복사본”: 특정 외부 도구 및 플러그인이 독자적으로 보유하는 Skill 데이터.
- 과거 환경의 “보관 복사본”(레거시): 이전 버전이나 테스트용으로 남겨진, 현재 사용되지 않는 데이터.
이들을 구별하지 않고 “같은 이름”이라는 이유로 일괄 삭제하거나 덮어쓰면 어떻게 될까요? 당연히 정상적으로 작동해야 했던 Skill까지 망가져 AI 직원 업무가 중단되는 최악의 시나리오로 이어질 수 있습니다.
이 부분이 중요합니다. 항상 “이 Skill의 정본이 무엇인지?”를 염두에 두고, 이를 기준으로 관리함으로써 불필요한 문제를 예방하고 효율적인 수정 사이클을 확립할 수 있습니다.
🔥추천 도서🔥: 조직의 업무를 시스템화하고, 의존적인 인간(속인화)을 방지하기 위해서는 “정확한 업무 매뉴얼”의 운영이 필수적입니다. AI 직원(社員)의 스킬 관리에도 통할 수 있는, 시스템 구축의 팁이 가득한 한 권! “시스템”으로 승리! 중소기업을 위한 업무 효율화 매뉴얼
2. “지금 움직이는지”를 어떻게 판단해야 하는가?: 정지 ≠ 고장
다음으로 중요한 것은 각 기술이 현재 어떤 상태에 있는지 정확하게 파악하는 것입니다.
다음과 같이 크게 4가지 유형의 상태가 있습니다.
- 현재 작동 중: 문제 없이 정상적인 상태.
- 기술 자체가 고장난 상태: 기술의 코드나 논리에 결함이 있어 수정이 필요한 상태.
- 인증 및 권한이 끊어져 멈춤: 자체 기능에는 문제가 없지만, 외부 서비스와의 연동에 필요한 인증 정보가 만료되었거나 접근 권한이 없기 때문에 멈춘 상태입니다.
- 아직 충분히 시험해 보지 못한 상태로, 최근에 제작되어 실전 투입 및 검증이 부족합니다.
특히 강조하고 싶은 점은 “움직이지 않았다”는 것이 “실력이 망가진 것”이라는 점을 쉽게 단정짓지 않는 것입니다.
예를 들어, 특정 Skill이 외부 서비스의 API와 연동되는 과정에서 오류로 인해 멈춘 경우, 해당 Skill의 코드에 문제가 있는 줄로 오해하기 쉽습니다. 하지만 실제로는 “외부 서비스의 인증 정보가 만료되었거나”, “필요한 권한이 부여되지 않았거나”といった 외부 요인이 원인인 경우가 많습니다.
스킬은 인증 갱신이나 권한 재지정만으로도 마치 아무 일도 없었다는 듯 다시 작동할 수 있습니다. 우선 원인을 파악하기 위한 문제 해결이 매우 중요합니다.
3. “실제로 사용되었는가”의 기록을 어떻게 취하려야 하는가?: 데이터가 말하는 진실
마지막으로, 그리고 가장 중요한 것은 에이전트 스킬의 “콜렉션 기록”입니다. 이는 AI 직원들의 “일일 보고서”이며, “활동 기록”과 다를 수 없습니다.
제 환경에서는 Skill을 실행할 때마다 다음 항목을 자동으로 기록합니다.
- 어떤 기술을 사용했는지: 실행된 기술의 정확한 명칭
- 사용 시점: 실행 일시
- 성공했는가: 실행 결과가 정상이었는가
- 실패했나요?: 코드 오류 등 Skill 자체의 문제로 인해 실패했나요?
- 외부 요인으로 멈췄나요? 인증 문제, 네트워크 장애 등 Skill 외부 문제로 인해 멈춘 경우
이번 감사를 통해 확인한 15,898건의 실행 기록 중 놀랍게도 15,830건이 정상적인 기록이었습니다. 반면, 68건은 부적절한 기록(예를 들어, 로그가 중간에 끊기거나, 불일치가 발생하는 경우)으로 감지되었습니다.
중요한 것은 이 부당한 기록을 결코 삭제하지 않는 것입니다. 제 시스템에서는 이들을 별도의 장소로 격리하고, 일반적인 분석에서는 제외합니다. “왜 기록이 망가졌는가”라는 질문은 시스템 전체의 신뢰성과 견고성을 높이는 데 귀중한 단서가 됩니다.
이 부분이 중요합니다. 기록은 단순한 숫자가 아닙니다. 그것은 AI 직원들의 실태를 반영하는 거울이자, 개선을 위한 나침반입니다.
📊데이터 분석을 배우는 데 도움이 되는 책📊 : 수집된 방대한 데이터에서 의미 있는 통찰력을 얻는 능력은 AI 직원 운영에서도 필수적입니다. 초보자도 쉽게 이해할 수 있으며, 데이터 활용의 기본을 배울 수 있는 좋은 책입니다. 데이터 분석의 힘 (파스트 앤 슬로우, 의사 결정의 편견, 인과 추론, 가설 검정)
사용되지 않는 기술은 ‘즉시 삭제’해야 할까요? 조급해하지 않는 판단의 중요성
사용하지 않는 기술은 시스템의 효율성을 떨어뜨리고, 불필요한 자원 낭비를 초래할 수 있습니다. 하지만, 모든 기술을 즉시 삭제하는 것은 위험할 수 있습니다. 현재 개발 중인 프로젝트에서 특정 기술이 필요하게 될 수도 있고, 미래에 새로운 기술 트렌드가 등장하여 해당 기술이 다시 유용하게 될 수도 있습니다. 따라서, 사용하지 않는 기술을 삭제하기 전에 기술의 활용 가능성, 기술의 학습 비용, 기술의 대체 가능성을 신중하게 고려해야 합니다. 이러한 사항들을 종합적으로 고려하여, 조급하게 결정을 내리기보다는 충분한 시간을 가지고 기술의 가치를 평가하고, 장기적인 관점에서 기술을 관리하는 것이 중요합니다. 만약 기술의 활용 가능성이 낮거나, 학습 비용이 너무 높거나, 대체 가능한 기술이 있다면, 즉시 삭제하는 것이 합리적일 수 있습니다. 하지만, 그렇지 않다면, 기술을 잠시 보류하거나, 다른 프로젝트에서 활용할 수 있도록 준비하는 것이 더 나은 선택일 수 있습니다. 결론적으로, 사용하지 않는 기술을 삭제해야 하는지 판단할 때는, 조급해하지 않고 신중하게 판단하는 것이 중요합니다.
감사 결과, 아직 사용이 확인되지 않은 Skill이 다수 존재한다는 사실이 밝혀졌습니다. 이는 일견 ‘불필요한 것’으로 즉시 삭제하고 싶다는 충동을 불러일으킬 수도 있습니다. 하지만 저는 그 판단을 절대 서두르지 않도록 하고 있습니다.
왜냐하면 “사용되지 않은”이라는 사실의 뒤에는 다양한 가능성이 존재하기 때문입니다.
- 아직 사용 기회가 오지 않은 특정 계절 업무나 예외적인 상황에서만 사용되는 기술일 수도 있습니다.
- 기록을 시작하기 전에 사용되었던 로깅 시스템은 도입하기 전 임시로 사용되었고, 현재는 역할을 끝냈지만, 미래에 재사용될 가능성이 있습니다.
- 특정 업무에서만 사용되는 틈새 기술: 사용 빈도는 낮지만, 그 업무에서는 대체 불가능한 중요한 기술일 수 있습니다.
- 외부 서비스의 인증이 필요하며 일시적으로 중단된 것일 뿐입니다. 인증 실패 등으로 인해 일시적으로 이용이 중단되었으나, 문제가 해결되면 다시 이용 가능한 상태가 될 수 있습니다.
그러므로 저는 현재 시점에서의 증거가 부족한 Skill을 쉽게 “실패작”으로 간주하지 않고, “요 검증”이라는 상태에서 다루고 있습니다. 실제로 그 Skill을 사용해 보고, 그 결과를 기록에 남겨 데이터에 기반하여 최종적인 판단을 내립니다. 이 과정이 AI社員의 자산을 낭비하지 않고 최대한 활용하기 위한 열쇠가 됩니다.
매일 하는 일은 “5가지 핵심” : AI 직원 양성 루틴
에이전트 스킬의 관리는 일견 복잡하고 번거롭게 느껴질 수 있습니다. 하지만 제가 매일 실천하는 것은 놀라울 정도로 단순하며, 이를 습관화함으로써 AI 직원 운영은 현저히 안정됩니다.
하루키 씨의 작품을 읽는 동안 다음 다섯 가지를 일상 루틴에 꼭 포함해 보시길 추천합니다.
- 수정할 ‘원본 파일’ (정본)을 반드시 확인하고, 어떤 Skill를 다루기 전에 “이것이 정본인가?”라고 자문하는 습관을 들이도록 합시다.
- 실행 전에 인증 상태를 확인하세요. 특히 외부 서비스와 연동되는 스킬의 경우, 인증 만료는 흔한 문제이므로 미리 확인하여 불필요한 시간을 줄일 수 있습니다.
- Skill을 실행하고 실제로 작동하는지 확인하며 의도대로 동작하는지 검토합니다.
- 결과를 1회씩 기록합니다: 성공, 실패, 외부 요인 중단 등 실행 시마다 상세한 로그를 남깁니다. 이것이 AI 직원 성장 기록이 됩니다.
- 원본 파일을 업데이트한 후 실행 복사본에 반영하기: 정본을 수정했다면, 반드시 AI가 실제로 사용하는 실행 환경에 동기화해야 합니다. 이 과정이 버전 관리의 혼란을 방지합니다.
이것으로 충분합니다.
가장 중요한 것은 불필요하게 기술의 수를 늘리는 것이 아닙니다.
지금 어떤 Skill을 개선해야 할까요? 그 Skill은 현재도 문제없이 작동하고 있나요? 실제로 AI 직원에게서 사용되고 있나요?
이 세 가지 질문에 대해 자신감을 가지고 설명할 수 있는 상태를 항상 유지하는 것이 중요합니다. 이것이야말로 AI 직원들을 “단순히 만든 것”으로 끝나지 않고 “지속적으로 일하는” 존재로 육성하는 비결입니다.
🚀 운영 및 유지보수의 최적 방법 🚀 : 시스템을 안정적으로 운영하기 위한 지식은 AI 직원 운영에도 적용될 수 있습니다. 전 세계적으로 활용되는 SRE(서비스 안정성 엔지니어링)의 사상을 배우어 당신의 AI 직원을 ‘넘어지지 않는’ 존재로 만드세요! SRE 서비스 안정성 엔지니어링 – Google의 생산성을 지탱하는 인프라의 실천론
AI 직원도 단순히 만들어 놓은 것만으로는 계속해서 일하지 않습니다. 지속적인 ‘교육’의 관점에서 접근해야 합니다.
인간 직원에게도 명확한 업무 매뉴얼, 정기적인 훈련, 일일 업무 보고(일보), 그리고 그에 따른 개선 활동이 필수적입니다.
AI 직원들도 완전히 똑같은 존재라는 것을 이번 감사 과정을 통해 절실히 깨달았습니다.
단순히 프롬프트나 Skill를 만들 뿐이라면, 그들은 안정적으로 작동을 지속할 수 없습니다. 마치 태어난 지 얼마 안 된 아기와 같이, 사용법을 가르치고 사용 결과에 대해 주의 깊게 관찰하며, 때로는 멈춰버린 이유를 철저하게 조사하고, 필요한 부분만 꼼꼼하게 수정해 나가는 것입니다.
에이전트 스킬의 관리는 단순히 “툴 관리”에 그치는 것이 아닙니다. 그것은 AI 직원이라는 새로운 파트너를 장기적으로 지속적으로 육성하고, 조직에 기여를 멈추지 않는 존재로 키워나가는 운영 그 자체라고 생각합니다.
이번 글에서 소개하는 내용은 제가 AI 직원과의 협업의 “실질” 일부입니다. 만약 여러분의 “AI 직원” 육성에 대한 관심이 높다면, 다음에는 제가 실제로 사용하고 있는 “Skill 관리표”의 구체적인 형식과 “호출 로그에 기록하는 항목”에 대한 자세한 내용을 더욱 심층적으로 공개할 예정입니다. 댓글이나 X를 통해 여러분의 의견을 듣고 싶습니다.
ハヤシシュンスケ／合同会社みやびX：@The_AGI_WAY
#AI 직원 #에이전트 역량 #클로드코드 #AI 활용 #업무 개선 #노트 대학교
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 64청크
원문 보기 | 출처: note.com