AI에 작업을 자동으로 맡기고 싶다. 하지만 내가 잠든 사이에 실패하여 엉뚱한 물건이 무작정 밖으로 흘러나갔더라면 어디까지 맡겨야 할지 결정하기가 매우 어렵다.
저희 회사는 인공지능 직원들이 매일 노트에 게시글을 작성하고 게시하는 시스템으로 운영되고 있습니다. 매일의 자동 실행을 등록한 날짜는 9월 24일입니다. 게시글 제작은 매일 아침 6시 30분에, 숫자 분석은 매일 밤 21시에 작동하도록 설정되어 있습니다.
움직이기 시작한 지 3일째(9월 24일 밤 ~ 26일 아침)에 이 시스템은 3가지 종류의 정지 상태를 구현했습니다. 그럼에도 불구하고 심사를 통과하지 못한 게시물이 계속 나타났고, 하루에 2개 정도가 제출되지는 않았습니다.
오늘은 멈춘 상황에서 어떤 일이 발생했고, 어떤 일이 발생하지 않았는지, 기록에 따라 정확하게 정리합니다. 멈추지 못하는 방법에 대한 이야기가 아닌, 멈춘 이후의 상황에 대한 이야기입니다.
중지 방법 1: 시작 직후, 아무것도 하지 않고 종료
첫 번째는 가장 조용한 멈춤 방식이었습니다.
정시 자동 실행 중 3회가 즉시 오류로 종료되었습니다. 9월 24일 저녁, 9월 25일 아침, 9월 25일 저녁의 3회입니다. 오류 내용은 AI에 전달될 예정이었던 지시(프롬프트)가 전달되지 않았다는 것이었습니다.
따라서 24일과 25일의 분석 보고서는 작성되지 않았습니다. 26일 밤, 분석 부의 AI가 실행 기록을 검토하여 보고서를 작성하고 있습니다.
현재 원인에 대해서는 아직 확인되지 않았습니다. 26일부터 움직이는 것처럼 보이지만, 이는 또한 확인된 사항이 아닙니다.
이 세 회차는 아무것도 제작하지 않고, 아무것도 공개하지 않고 끝났습니다.
멈추는 법 2: 심사에 합격한 후, 출판의 한 걸음 더 다가선 곳에서 멈춰버렸다.
두 번째는 9월 25일 밤입니다.
이 날의 기사는 밤 21시부터 22시 사이에 실행 제작되었습니다. 그 시간에 진행된 이유 또한 아직 확인되지 않았습니다. 리서치, 집필 및 진행, 품질 관리 부의 심사를 거쳐 한 번 돌려보낸 후 두 번째 심사에서 통과되었습니다.
그러나 공개부에 작업을 부탁하기 직전, 클로드 코드 이용 제한에 도달하여 멈추게 되었습니다. 실행 기록에는 단순히 제한에 도달했다는 알림 1행만 남아 있었습니다.
헬프센터에 따르면, 클로드의 프로 플랜이나 맥스 플랜에서는 이용 상한이 클로드와 클로드 코드에서 공유됩니다. 남은 이용량에 대해서는 경고가 표시되고, 상한에 도달하면 리셋을 기다리는 등 여러 가지 방법 중에서 선택할 수 있다고 설명되어 있습니다.
합격한 기사는 공개되지 않은 채 그대로 남아 있었습니다. 중간에 멈추면 무리하게 진행하지 않고 공개하지 않겠다는 회사의 규정과 같은 방식으로 멈춰 있었던 것입니다.
제 지시대로 공개만 승계받게 했습니다.
6월 26일 오전 3시경, 제 지시에 따라 진행 담당 AI(PM)가 공개 부문의 작업만 이어받았습니다. 리서치나 집필은 다시 하지 않고, 이미 합격 처리된 기사를 그대로 사용했습니다.
인계하기 전에, 진행 담당자는 다음 사항들을 확인하고 있습니다.
- 긴급 정지용 STOP 파일이 위치하지 않는다는 것
- 25일자 “공개 성공” 기록이 공개 로그에 누락된 것을 확인했습니다.
- 게시되는 기사가 심사를 통과한 기사와 동일한 내용임을 의미합니다.
그 후, 해당 기사는 3시 9분에 게시되었습니다.
멈추는 방법 3：「공개 성공」으로 기록되었으나, URL이 해당 기사의 원본 주소가 아니었다.
세 번째로, 그 공개 시점에 발생했습니다. 정확히 말하면, 시스템이 멈춰 있지 않았고, 성공과 기록되었지만 내용이 다르고 예시가 있었습니다.
공개 도구는 공개 로그에 “공개 성공”으로 기록했습니다. 그러나 함께 기록된 URL은 게시물의 페이지가 아니었습니다. 게시물을 올린 직후 note가 표시하는 반응 설정 안내 페이지의 URL이었습니다.
진행 역할을 하는 AI는 note의 프로필 페이지에서 실제 기사의 URL을 확인하고, 공개 로그를 직접 수정했습니다. 그 날 밤에는 분석 부의 AI도 로그인 불필요한 공개 정보에서 기사의 존재 여부와 공개 시간을 3시 09분 29초로 확인했습니다.
공개 툴 자체는 26일 아침 시점까지도 완전히 정비되지 않았습니다.
사전에 정해진 두 가지 규칙과 그 대가
이번 3일 동안 지켜야 할 규칙은 2가지입니다. 이 두 가지 규칙 모두 자동 실행을 시작하기 전부터 회사 정책서에 명시되어 있었습니다.
첫 번째 규칙은 품질 관리부가 통과를 인정한 기사들만 공개한다는 것입니다. 중간에 실패하면 진행이 불가능하고 공개하지 않습니다. 9월 24일부터 26일까지 품질 관리부의 통과를 받은 기사 2편만이 공개되었는데, 각각 24일 기사와 26일 기사입니다. 두 기사 모두 품질 관리부의 승인을 받았습니다.
두 번째로, 공개는 하루 1개까지 가능하다는 규정입니다. 이는 제가 9월 23일에 결정했습니다. 매일 아침 실행 시, 작업 시작 전에 공개 로그를 확인하고, ‘공개 성공’이 있으면 아무 작업도 하지 않고 종료합니다.
9월 26일에는 새로운 게시물이 0건으로 집계되었습니다.
두 번째 규칙에는 대가가 따랐습니다.
26일 아침 6시 30분, 평소처럼 자동 실행이 작동했습니다. 공개 로그에는 그 날 3시 09분에 공개한 게시물이 “공개 성공”으로 기록되어 있습니다. 내용은 25일 분의 게시물이지만, 공개 날짜는 26일입니다.
진행역은 지시대로 진행했으며, 이날 기사를 작성하지 않고 종료하여 결과적으로 26일자 신규 기사는 0건입니다.
또 다른 하나가 있습니다. 2번째 공개가 새벽 3시대로 변경되어, 오전 8시대로 공개한 1번째 것과 조건이 맞지 않게 되었습니다. 분석부에서는 기사들끼리 비교하기 어렵다는 지적이 나오고 있습니다.
멈춰 섰을 때 나오지 않도록 선택하는 방식은 그만큼 본수와 타이밍을 희생시킵니다. 이 3일간의 기록에는 그 두 가지 모두 남아 있습니다.
오늘 할 수 있는 일：「차량이 멈추면 아무 조작도 하지 않는다」를 3문장으로 작성
이제부터 이 회사에 국한된 이야기가 아니라, 일반적인 이야기입니다.
자동화하고 싶은 작업을 하나 선택하여 실행하기 전에 멈췄을 때의 규칙을 메모지에 3줄로 적어두는 방법이 있습니다. 예를 들어 전날의 숫자를 집계하여 매일 아침 이메일로 보내는 작업이라면 다음과 같은 형태입니다.
- 중단 신호: 특정 파일이 존재하면 아무런 조치도 취하지 않고 종료합니다(예: 폴더 내에 “STOP”이라는 이름의 파일이 있는 경우, 해당 날은 집계 및 이메일 발송을 하지 않습니다).
- 이전 공정 확인: 이전 공정이 완료되지 않았다면 다음 단계로 진행하지 않고 (예: 전날의 숫자가 완료되지 않았다면 이메일을 보내지 않음)
- 상한 확인: 하루 상한을 초과할 것 같으면 아무것도 하지 않는다 (예: 그 날의 이메일을 이미 보내었다면, 두 번째는 보내지 않는다).
두 번째로, Claude Code를 자동으로 실행할 때에도 통합할 수 있습니다. 공식 문서에서는 -p 옵션을 사용하여 대화 없이 실행할 수 있다고 설명되어 있으며, 성공 시 종료 코드는 0, 실패 시 0이 아닌 값을 반환하므로 스크립트 측에서 결과에 따라 분기할 수 있습니다.
이전 단계가 0을 초과하여 끝나면 다음 단계를 호출하지 않는다. 이렇게 작성해 놓으면 중간에 실패했을 때 계속 진행하지 못하도록 만들 수 있다.
단지 세 줄을 썼다고 해서 멈추는 것이 아니다. 제 회사에서도 3일 만에 3가지 멈추는 방식을 시도했다. ‘멈추는 방식 3’처럼 성공적으로 기록되었지만 내용이 달랐던 경우도 있었다. 규칙 외에도, 떠나간 것을 실제로 확인하는 번거로는 여전히 남아 있다.
마음대로, 이것은 단순한 것입니다.
- 자동 실행을 시작한 지 3일째에 3가지 종류의 정지 방법을 사용했습니다.
- 중단 방법 1은 정해진 실행 3회가 아무런 결과 없이 종료된 것이다. 원인은 아직 확인되지 않았다.
- 멈춤 방식 2는 심사에 합격한 후, 이용 제한으로 공개 직전에서 멈췄다. 다만 공개만 이행되었다.
- 멈추는 법 3은 기록된 URL이 게시물의 소유격이 아니었다. 실물을 보고 직접 수정한 것이다. 도구는 수정되지 않았다.
- 공개된 것은 합격한 2편뿐이었다. 그 대신 26일에는 새로운 기사가 0편이 되었다.
자동화하고 싶은 작업이 하나 있으면, 움직이기에 앞서 멈췄을 때의 세 단계를 메모에 기록해 보세요. 무엇을 맡기고, 무엇을 하지 않도록 미리 결정하는 방식으로 진행하는 것이 좋습니다.
저는 AI 직원과 함께 이 글을 쓰고 있습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 37청크
원문 보기 | 출처: note.com