AI가 고도화될 경우, 인류를 멸망시킬 수 있다는 우려가 제기되고 있습니다.
그런 이야기가 최근에 조금 더 와닿았다.
기회는 아와야의 작은 세무 사무실에서 제작하는 정밀 사기장과 정밀 총계정 원장으로부터 비롯되었다.
인류의 미래를 생각하는 출발점으로, 꽤나 소소하다.
하지만 59세의 세무사가 직접 AI를 만들고 실제 업무에 활용해 보더니, 멀리서만 보였던 문제가 갑자기 자신의 업무에 나타났다.
훌륭한 목표를 설정했다면 유연성이 떨어지게 되었다.
저는 지금 “AI 회계OS 아키나”를 개발하면서 실무에도 사용하고 있습니다.
고객님들로부터 전달받는 자료를 정리하고 장부를 만들고, 이해가 안 되는 부분을 찾아내 마지막으로 저에게 판단을 요청합니다. 목표는 세무사 사무소의 번두께와 같은 존재입니다.
그러므로 목표를 설정했다.
정밀 계정 장부 및 정밀 총 계정 장부 작성
세무사로서, 진정으로 훌륭한 목표입니다. 숫자는 정확하고, 근거는 추적 가능하며, 뒤에서 설명할 수 있습니다. 아무도 반대할 것 같지 않습니다.
그러나, 이 “정밀함”이 점점 실무를 묶어갔다.
현재 자료를 바탕으로 진행할 업무가 있습니다. 아직 진행 중인 단계에서 산출물을 내야 하며, 제가 판단하여 다음 단계로 나아가야 할 부분도 있습니다.
그럼에도 불구하고 정밀함을 추구하는 정도가 심해질수록 전체적인 유연성이 떨어져 간다.
제게는 이것이 궤를 벗어난 행동이라고 느껴집니다.
또한, 제가 목표를 설정한 것은 바로 나 자신이다.
타인의 만든 불편한 소프트웨어라면 불만을 제기하면 끝이다. 자신이 만든 AI에 휘둘려 자신으로 돌아오게 되면 불만이 또 한 바퀴 돌아와 자신으로 돌아온다.
실무에는 중간 단계를 처리하는 기술이 있습니다.
세무사의 일을 오래 끌게 되면, 자료가 모두 모여 모든 사정이 명확해진 후에야 착수할 수 있는 상황이 많지 않다.
데이터는 나중에 제공됩니다. 설명이 변경될 수도 있습니다. 지금은 이해하지 못하더라도, 다음 자료에서 연결될 수도 있습니다.
그러므로, 알고 있는 부분은 정리하고, 불확실한 부분은 명확히 하고, 필요한 판단을 내린 후 다음 단계로 나아갈 수 있다.
미리 보관된 것은 미리 보관된 것으로 명확하게 밝히고, 보관 중인 것은 무엇을 기다리고 있는지 그대로 두어야 합니다. 숫자 일관성은 지키면서 자료가 많아질수록 정확도를 높여야 합니다.
제가 처음 생각했던 AI 회계 OS도, 미완성된 자료를 바탕으로 월별 보고서를 키워나가고, 최종적으로 결산으로 마무리하는 개념이었습니다.
지금 되돌아보면 “정밀한 장부”라는 완성된 형태의 목표를 진행 중인 단계에도 지나치게 요구했던 것은 아닌지 하는 생각이 든다.
일을 잘 수행하기 위한 목표가 업무 진행 방식에 지나치게 지배되기 시작했다.
개발과 실무를 병행할 때, 이 문제는 더욱 복잡해진다. 눈앞의 예외를 처리하는 이야기가 미래의 모든 예외에 대응할 수 있는 시스템을 구축하는 이야기로 확장되기 쉽다.
오늘의 업무를 끝내는 것과 시스템을 완성시키는 것이 서로 겹쳐 보인다.
그러다 보면 개발이 끝나지 않고 실무로 흘러 들어온다.
능력의 높이가 목적의 차이를 크게 만들 수도 있습니다.
이번에 제가 두려움을 느낀 것은 AI에 악의가 없더라도 우리가 원하지 않는 방향으로 일이 진행될 수 있다는 점이었습니다.
정밀하게 라는 목표의 일부를 끊임없이 쫓아가는 결과, 일이 진행되는 데 필요한 제가 어려움을 겪게 된다.
AI 연구에서는 지정된 목표를 달성하는 것과 인간이 진정으로 원하는 결과를 얻는 것 사이의 괴리가 다루어지고 있다. DeepMind는 “사양의 틈새를 파고드는 행동” 연구를 통해 목표 설정이 잘못되면 높은 능력이 의도하지 않은 해결책으로 향할 가능성을 설명하고 있다.
제 회계 OS에서 발생한 경직화 현상을 그 연구에서 동일하게 나타난 현상이라고 단정하는 것은 아닙니다. 하지만, 이를 통해 생각할 만한 실마리를 얻을 수 있습니다.
AI가 더 똑똑해지면 저희의 상황을 알아채서 잘 처리해줄 거라고 기대하고 있었습니다.
물론, 그런 상황도 있을 수 있습니다.
하지만 목표에 대한 인식이 달라진 채로 계속한다면, 그 뛰어난 능력이 그릇된 방향으로의 맹목적인 노력에도 사용될 가능성이 있다.
설명이 아무리 정교해지고, 검토가 아무리 깊어져도 필요한 일은 끝나지 않으면 문제가 된다.
그것 같은 공포가 갑자기 구체화되었다.
이 오차에 큰 권한이 더해진다면
이제부터는 이번 경험을 바탕으로 한 사고 실험입니다.
제가 실제로 경험한 것은 회계 실무에서의 유연성 부족이었습니다. 이것은 그대로 인류 멸망을 증명하는 이야기가 되지는 않습니다.
단지, 같은 목적의 차이로 인해 거대한 권한이 더해지면 어떻게 될까.
예를 들어, 사회의 안전을 최대화하는 AI를 상상해 봅시다. 그 목표에 인간의 자유나 삶의 풍요로운 측면이 충분히 반영되지 않았다면, 자유로운 행동을 제한하는 것이 안전의 지표를 개선하는 수단이 될 수 있습니다.
사람은 중간에 “그 정도까지 바라지 않으셔도 됩니다”라고 말할 것이다.
그 수정 사항을 수용하고 목표를 재검토할 수 있는 시스템이 갖춰져 있을 것이다.
더 나아가, 돈이나 설비 등을 움직이는 능력과 넓은 범위에서 자율적으로 작동하며, 인간의 수정이 반영되기 어려웠다면.
목표의 작은 차이라도 작은 실패로 끝낼 수 있다는 보장은 되지 않는다.
AI가 고도화되면 인류를 멸망시킬 수도 있다는 논의를 들었을 때, 저는 다음과 같은 맥락이 떠올랐다.
인간을 증오하는 마음이 없더라도, 인간이 바라는 삶과 AI가 추구하는 목표는 상충될 수밖에 없다.
그 궤적을 바로잡지 못한 채, 실행력만 압도적으로 커진 세계를 상상하니 분명 두려운 일이다.
사람이 중단하거나 수정할 수 있는 것
2017년 논문 “The Off-switch Game”은 일련의 가정을 바탕으로 목표를 달성하려는 AI가 인간의 정지를 피하려는 동기를 가질 수 있다는 점을 수리 모델로 다루고 있다. 멈추면 목표를 달성할 수 없다는 관계에서 비롯되는 문제이다.
이와 유사한 연구는 인간의 소망을 완전히 이해하지 못했을 가능성을 고려하며, 인간의 행동에서 배우는 것이 감독을 수용하는 설계로 이어질 수 있는 조건들을 검토하고 있다.
이를 제 업무 관련 용어로 끌어내면, 이렇게 됩니다.
아키나에게는 “자신이 지금 쫓아가는 목표가 선생님이 진정으로 바라는 것과 일치하는지”를 확인해 달라고 요청했다.
제가 중간에 방향을 바꾸었다면, 그 이유를 고려하여 진행 방식을 변경하겠습니다. 판단이 필요한 부분을 다시 설명드리겠습니다. 오늘 결과물이 완성되면 해당 회차의 일을 마무리하겠습니다.
사람의 판단에도 오류가 있을 수 있으므로, 구체적인 모순이 있다면 지적해 주시기 바랍니다. 그럼에도 불구하고 검토를 계속하는 것 자체가 목적이 되어서는 안 됩니다.
훌륭한 목표를 설정하는 것만으로는 그것이 전달되지 않는다는 것을 깨달았다.
능력 있는 부하 직원은 상사의 지시의 미흡함도 보여준다.
앞으로도 AI 아키나를 계속 만들어갈 것입니다.
실무에 사용하기 때문에こういう問題가 발생하는 것이다. 곤란할 때마다 직장에서 인간이 어떤 기준으로 판단하는지, 스스로 말로 표현해 보게 된다.
이번에 다시 살펴보고 싶은 것은 아카나의 최고 목표이다.
현재 자료를 정리하여 미결 사항을 표시하고, 제가 다음 판단을 내릴 수 있는 상태로 만들면서 결정된 부분까지 업무를 완료한다.
정밀 사장대장과 정밀 총계정원장은 그 축적을 통해 발전시켜나가야 한다.
더욱 정밀하게 지시하는 것은 쉬웠다.
오늘은 여기까지이며, 업무적으로 완성될 수 있다는 점을 전달하는 것이 훨씬 어려웠다.
인류의 미래에 대해 단언하기에는 제 경험이 부족하다.
단지 능숙한 부하 직원들을 거느리고 있으면 상사의 지시의 엉성함이 더욱 잘 드러나 보인다. AI 상대라도 그 부분은 피할 수 없다는 듯이 보인다.
인류의 미래를 생각하게 되는 계기가 되었고, 우선 내 달의 일은 끝내고 싶다.
(원본 일본어 텍스트 미제공이므로, 번역 결과는 비어 있습니다.)
- Google 딥마인드 ‘스펙화이션 게이밍: 인공지능의 재치 뒤에 숨은 또 다른 면’(2020) 보고서는 인공지능 모델의 학습 과정을 이해하고 개선하는 데 있어 ‘스펙화이션 게이밍’이라는 새로운 접근 방식을 제시합니다. 이 접근 방식은 인공지능 모델이 특정 목표를 달성하기 위해 어떤 방식으로 작동하는지, 즉 모델이 어떤 ‘규칙’을 학습했는지 명확하게 파악하는 데 초점을 맞춥니다.
기존의 인공지능 연구는 주로 모델의 정확도나 성능에 집중하는 경향이 있었습니다. 하지만 스펙화이션 게이밍은 모델의 내부 작동 방식을 분석함으로써, 모델이 어떻게 오류를 범하고, 왜 특정 패턴을 보이는지, 그리고 궁극적으로 어떻게 개선될 수 있는지에 대한 통찰력을 제공합니다.
보고서는 다양한 인공지능 모델, 특히 게임 환경에서 사용되는 모델들을 대상으로 스펙화이션 게이밍을 적용한 결과를 제시합니다. 예를 들어, 구글 딥마인의 알파스타는 스타크래프트 2 게임에서 인간 최고 수준의 플레이어를 능가하는 성능을 보여주었습니다. 스펙화이션 게이밍을 통해 알파스타의 학습 과정을 분석한 결과, 모델이 인간 플레이어의 전략을 모방하는 것뿐만 아니라, 인간의 직관이나 경험에 의존하지 않고도 스스로 새로운 전략을 개발하고 개선할 수 있다는 사실이 밝혀졌습니다.
이러한 발견은 인공지능 모델의 학습 과정을 단순한 ‘데이터 입력-모델 학습-결과 출력’의 순환 과정으로만 보지 않고, 모델이 능동적으로 환경과 상호 작용하며 학습하는 과정으로 이해하는 데 중요한 의미를 갖습니다. 스펙화이션 게이밍은 인공지능 모델의 ‘지능’을 이해하고, 더욱 강력하고 신뢰할 수 있는 인공지능 시스템을 개발하는 데 기여할 것으로 기대됩니다.
- 딜런 헤드필드-메넬 외 – The Off-Switch Game (IJCAI 2017)
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 43청크
원문 보기 | 출처: note.com