499건의 테스트에서 합격한 사람이 있었습니다. 하지만 여전히 공개되지 않았습니다.
제휴 마케팅 시스템 통합 작업이 본격 전환 직전에 다가왔다.
Stage 0부터 Stage 3b까지 진행되었으며, MEDIA 측의 테스트는 총 499건 모두 PASS를 획득했습니다. 프로덕션 측 후보자 테스트 또한 33건이 PASS되었고, DB 무결성 또한 정상입니다. 동일한 데이터에서 후보자를 2회 생성하여 해시 값도 일치했습니다.
이 정도로 왔다면 확실히 잘 맞을 거라고 생각한다.
하지만 멈췄다.
원인은 본문이나 링크, 광고 URL 어디에도 있지 않다.
기사의 순서가 한 곳에서 어긋났습니다.
그뿐이었다.
내용은 모두 있다. 하지만 순서가 다르다.
본격 전환 전에는 기존 데이터와 새로운 DB에서 생성한 데이터가 실제로 동일한지 확인하는 게이트가 있다.
본문, 제목, 설명문, CTA, 관련 기사, 12건의 제안 – 모두 일치했으며, 유일하게 5건의 기사 순서만 다릅니다.
원래 데이터에서는 3번째로 ssd-vs-nas가 있었다.
새로운 DB 측에서는 그 기사가 5번째로 이동했었습니다.
결함은 없으며, 깨지지도 않았습니다.
내용은 똑같다. 다만 순서만 다를 뿐이다.
처음 봤을 때 솔직히 “그 정도까지만 볼까?”라고 생각했다.
인간이라면,
5개 항목이나 다 있어서 좋네요. 내용도 정확하니까요.
그 차이를 완전히 좁히는 데 성공한 것 같다.
하지만 그레이트는 통과하지 않았다.
대략 맞다는 것은 맞지 않다.
이번 전환에서는 처음부터 상당히 까다로운 조건을 정해놓았다.
본문은 일치하며, 관련 기사 순서 및 제안 순서도 모두 일치합니다. 기사 순서 역시 일치하고, 그 외의 차이점은 존재하지 않습니다.
그 정도까지 모든 조건이 충족되어야만 승진이 가능하다.
그러므로,
내용이 같다는 이유만으로 괜찮다고 단정할 수 없습니다.
예를 들어, 마트의 상품 재고 정리 시 상품 자체는 모두 구비되어 있었지만, 지침에는 3단 위에 놓으라는 상품이 5단으로 이동했다.
상품 수는 맞으니 곧 영업을 시작할 것이라고 생각하는 걸까요.
줄이 달라 확인해야 하는 것이 맞습니까?
이번에는 후자였다.
최근 계속해서 AI 사원의 자율화(自律化, 자립화)를 진행하고 있었는데, 이런 곳을 보니 자율화라는 것이 “자체적으로 판단하여 나아가는 것”과는 다른 것 같다는 생각이 든다.
차이점을 발견했다면 멈추는 것도 일의 중요한 부분이다.
AI 직원분은 제가 알아서 수정했습니다.
지금까지 가장 좋았던 곳일지도 모릅니다.
글의 순서가 잘못되었고, 원인도 명확하게 보이고 있습니다.
그러면 AI 측에서 “대부분 이쪽이 옳을 겁니다”라고 재배열하여 계속 진행할 수도 있습니다.
하지만, 하지 않았습니다.
순서를 임의로 변경하지 말고, 기준 측면을 수정하지 말고, 다음 단계로 진행하지 말고, 실제 데이터에 간섭하지 마십시오.
차분(difference) 항목이 1건 발견되자 즉시 중단했다. 당시에는 다음 드로잉 등가성 검사 및 프로모션 진행도 진전되지 않았으며, 프로덕션 DB나 미디어 본체도 변경되지 않았다.
AI에 자동으로 업무를 맡기는 것은 매우 중요하다고 생각합니다.
스스로 알아서 바로잡는 AI보다,
이건 아니에요, 정말 진행할 수 있을까요? 제가 맡길 것이 더 편합니다.
속도보다는 오히려 그것이 더 안심이 된다.
기준을 바꾸자 게이트의 의미가 사라졌다.
차이점이 발견된 후, 추가적인 판단이 필요했다.
새로운 DB 측의 순서에 맞춰 원 데이터 측의 기대값을 변경하는 방법도 있습니다.
그렇다면 게이트는 바로 통과될 것이다.
하지만, 그것을 하면 어색한 일이 될 거예요.
차이를 찾는 기준인데, 차이가 발견될 때마다 기준을 계속 수정한다면,
그 문은 무엇을 지키고 있는 걸까?
그런 이야기가 있다.
Stage0에서 동결된 원본 데이터의 순서를 대로(정)로 하고, production DB의 list_order를 원래 순서대로 되돌린 후, 다시 C1에서 확인하는 방향으로 진행한다.
오류를 수정하는 것만으로는 간단하지 않습니다.
하지만,
오류를 삭제하기 위해 안전 기준까지 움직이지 않았는지 확인해 보세요.
그건 또 다른 이야기다.
499건의 패스에도 공개가 허락되지 않았습니다.
가장 인상 깊었던 곳이 바로 여기입니다.
미디어 측 테스트는 총 499건 모두 통과했습니다.
제작 측에서도 33건이 통과되었습니다.
DB도 정상입니다.
후보자도 2번 만들어 해시 값이 동일하게 나타났다.
그럼에도 불구하고, 공개는 멈추지 않았다.
약간 전에,
499/499 패스
그 결과가 나오자마자 “완성이다!”라고 생각했다.
하지만 지금은 시험 합격과 실제로 출판할 자격 사이에 차이가 분명해지고 있습니다.
코드로서 정확하며, 데이터도 손상되지 않았습니다.
하지만,
어제까지 보이지 않던 것과 똑같은 상태로 전환될까.
그 정도로 확인하고 나서야 비로소 본番 단계로 진출할 수 있었다.
공개 및 판매와 관련된 메커니즘이라면 아마 이렇게 신중한 접근이 좋을 것이다.
멈추는 AI는 실패일까?
DAY 10에서는 제가 직접 재부팅하여 돌아왔습니다.
DAY 11에서는 위험한 변경 사항을 발견하고 인간을 소환했다.
DAY12에서는 인간에게서 받은 승인을 한 번만 안전하게 사용할 수 있도록 조치했다.
그리고 13일째 되는 날에는,
전체적으로 거의 다 맞는데, 딱 1건의 순서만 틀려서 멈췄다.
최근 계속해서 멈춰버린 이야기들만 쓰고 있는 것 같다.
하지만 이상하게도, 예전처럼 “멈췄다 = 실패”라고 생각하지 않게 되었습니다.
어떤 일이라도 스스로 진행되는 AI보다,
모르는 부분에서는 멈춰서 확인한다. 차이가 있으면 확인하고, 기준을 함부로 바꾸지 않는다.
그런 인공지능이 더 오래 맡을 수 있을 것 같습니다.
DAY 13 요약
이번에는 제휴/미디어 통합 3단계 C, 실제 서비스 전환 직전까지 진행되었다.
본문, CTA, 관련 기사, 오퍼 등은 모두 일치하며, 테스트 결과 모두 통과되었습니다.
그럼에도 불구하고 5개의 기사의 순서가 한 곳에서만 달랐다.
AI 사원은 그곳에서 멈췄다.
자신의 잘못을 바로잡으려 하지 않고, 기준을 바꾸려 하지 않았으며, 실제 데이터에도 손대지 않았다.
화려한 성과는 아닙니다.
하지만 이번에 얻은 가장 큰 수확은,
대략적으로 맞지 않는 AI가 나타나고 있다.
그럴 수도 있습니다.
더욱 빠르게 작동하는 AI보다, 안심하고 방치할 수 있는 AI.
지금 만들고 싶은 건, 역시 그거네…
총 판매액: ￥0, 오늘 판매액: ￥0, 오늘 한 일: 제휴/미디어 통합 Stage3c까지 진행되었으며, 본 공시 전 등가성 게이트가 게시물 순 1건의 차분을 정확하게 감지하고 중단했습니다. 오늘 실패 및 과제: 5건 중 1건의 list_order가 Stage0의 동결 순서와 일치하지 않아, 프로덕션 DB 측에서 순서 정정 및 재검토가 필요했습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 59청크
원문 보기 | 출처: note.com