# AI 직원 증원을 추진하기 전에 “얼마나까지 허용 가능한지”를 명확히 결정해야 한다.

> https://bookfactory.kr/board/ai-tech/21748
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-14T18:29:57.510Z

---

KURUM AI OFFICE를 개발하면서

또한, 그때의 기억이 떠오른다.
밤은 짧다, 꼬마 아가씨. 걷자.를
수없이 되뇌며 다시 읽고 싶다는 충동을 억누를 수 없었다.
미셸과 에마의
애절하고 아름다운 사랑 이야기에,
정말이지 끌어들여갔다.

이 AI는 무엇을 할 수 있는가

이런 생각을 하게 됩니다.

글을 쓸 수 있습니다.

조사 가능합니다.

이메일 답변 초안을 만들 수 있습니다.

데이터를 정리할 수 있습니다.

코드를 작성할 수 있습니다.

이미지를 만들 수 있습니다.

최근 AI는 정말 다양한 것을 할 수 있습니다.

하지만,

회사 안에서 실제로 사용해 보려고 하면,

もっと重要な問いが出てきます。

할 수 있다고 가정했을 때, 어디까지 맡길 수 있을까?

2023년 11월 16일 작성된 note.com 게시글 “16/217”의 번역입니다.

2023년 11월 16일, 저는 “너는 별처럼”을 읽을 결말을 맺었습니다.
이 소설은 스타가와 세이의 저서로 2018년에 출판되었습니다.
이야기는 주인공 스타가와 세이가 어느 날 갑자기 자신의 삶이 크게 바뀌는 전개입니다.
그녀는 한 남성과 만나 그와의 사이에 다양한 문제가 발생합니다.
그리고 그녀는 자신의 삶의 의미를 묻기 시작합니다.

이 소설은 독자에게 깊은 감동을 선사합니다.
그것은 주인공 스타가와 세이의 감정이 독자의 마음속에 깊이 울리는 데서 비롯된 것일 것입니다.
또한, 이야기의 전개가 독자를 지루하게 하지 않습니다.
그것은 작가 스타가와 세이의 뛰어난 문장력에 의한 것일 거라고 생각합니다.

저는 이 소설을 읽을 결말을 맺고 매우 감동했습니다.
그것은 저의 삶을 되돌아보는 계기가 되었기 때문입니다.
저는 저의 삶의 의미를 되새기고 더 나은 삶을 살기 위해 노력하기로 했습니다.

이 소설은 꼭 읽어보시길 바랍니다.
당신도 분명 감동할 거라고 생각합니다.

## AI의 능력과 AI의 권한은 다른 것이다.

예를 들어,

AI는 이메일 문구를 만들 수 있다.

이는 능력입니다.

하지만,

그 이메일을

AI는 자동으로 전송해도 될까요?

이는 권한에 관한 이야기입니다.

AI는 계약 내용을 정리할 수 있습니다.

이 또한 능력입니다.

하지만,

계약을 확정해도 괜찮을까요?

이는 권한에 관한 이야기입니다.

AI는 웹사이트를 업데이트할 수 있습니다.

이 또한 능력입니다.

하지만,

실제 환경에 그대로 반영해도 되는지 확인해 보십시오.

이 또한 권한에 관한 이야기입니다.

결론적으로

최근 몇 년 동안 인공지능(AI) 기술은 놀라운 속도로 발전해 왔습니다. 특히 챗봇과 같은 대화형 AI는 우리의 일상생활에 깊숙이 침투하고 있습니다. 이러한 AI 기술의 발전은 단순히 재미있는 놀이의 영역을 넘어 업무 효율성을 높이고 새로운 가치를 창출할 수 있는 잠재력을 가지고 있습니다.

하지만 AI에게 무엇을 시킬 수 있을까요? AI는 이미 이미지 인식, 음성 인식, 자연어 처리 등 다양한 분야에서 인간의 능력을 뛰어넘는 성능을 보여주고 있습니다. 예를 들어, 의료 분야에서는 AI가 질병 진단 및 치료에 활용되고 있으며, 금융 분야에서는 AI가 사기 탐지 및 위험 관리에 활용되고 있습니다. 또한 제조 분야에서는 AI가 생산 공정 자동화 및 품질 관리 시스템에 활용되고 있습니다.

물론 AI가 모든 문제를 해결할 수 있는 것은 아닙니다. AI는 데이터를 기반으로 학습하고 판단하기 때문에 데이터의 편향성이나 부족함으로 인해 잘못된 판단을 내릴 수도 있습니다. 또한 AI는 창의적인 문제 해결이나 감성적인 판단에는 아직 한계가 있습니다.

그럼에도 불구하고 AI는 우리의 삶을 더욱 편리하고 풍요롭게 만들어 줄 수 있는 강력한 도구입니다. 앞으로 AI 기술이 더욱 발전하고 다양한 분야에 적용됨에 따라 우리는 AI와 함께 새로운 미래를 만들어갈 수 있을 것입니다.

AI에게 무엇을 시킬 수 있을까요? 그 답은 바로 우리 스스로가 만들어갈 것입니다.

그러다 이 곡을 듣고 있는데, 갑자기 그 때의 일을 떠올렸습니다.

AI에게 무엇을 해달라고 허락할지 결정하는 것은 매우 중요합니다. AI가 우리의 의도대로 작동하기 위해서는 명확하고 구체적인 지침이 필요하며, 동시에 예상치 못한 결과를 초래하지 않도록 적절한 제한을 설정해야 합니다. 

AI에게 어떤 작업을 수행하도록 허락할지 결정할 때, 다음 사항들을 고려해야 합니다.

*   **명확하고 구체적인 지시:** AI에게 어떤 작업을 수행해야 하는지 명확하고 구체적으로 지시해야 합니다. 모호하거나 애매한 지시를 하면 AI는 잘못된 결과를 생성할 수 있습니다. 예를 들어, “글을 써줘”라고 지시하는 것보다 “고객 만족도를 높이는 마케팅 슬로건 3개를 써줘”라고 지시하는 것이 더 효과적입니다.
*   **제한 설정:** AI에게 어떤 작업을 수행하지 못하도록 명확한 제한을 설정해야 합니다. 예를 들어, “폭력적인 콘텐츠를 생성하지 마라” 또는 “개인 정보를 수집하지 마라”와 같이 명확한 제한을 설정할 수 있습니다.
*   **결과 검토:** AI가 생성한 결과물을 주의 깊게 검토하고, 오류나 부적절한 내용이 없는지 확인해야 합니다. AI는 완벽하지 않기 때문에, 생성된 결과물을 맹신해서는 안 됩니다.
*   **지속적인 학습:** AI의 능력과 한계를 지속적으로 학습하고, AI에게 적절한 지침을 제공해야 합니다. AI는 사용자의 피드백을 통해 학습하고 발전하기 때문에, 사용자의 적극적인 참여가 중요합니다.

AI에게 무엇을 허락할지 결정하는 것은 단순한 기술적 문제가 아니라, 윤리적인 문제이기도 합니다. AI가 인간의 가치와 윤리를 존중하도록 교육하고, AI를 책임감 있게 사용하는 방법을 고민해야 합니다.

그녀는 마치 벼락처럼 나타났다. 그녀의 등장 자체가 모든 것을 뒤흔들었고, 그 누구도 그녀의 진정성을 의심하지 않았다. 그녀가 들려준 이야기는 마치 한 편의 드라마 같았고, 듣는 이들은 그녀의 모든 말에 완전히 몰입했다. 그녀는 마치 오래된 흑백 영화처럼, 잊혀진 기억들을 되살려냈다. 그녀의 목소리는 마치 낡은 레코드판처럼, 희미하지만 묘하게 매혹적이었다. 그녀는 마치 시간을 거슬러 올라간 듯한 느낌을 주었고, 듣는 이들은 그녀의 이야기에 푹 빠져 시간 가는 줄 몰랐다. 그녀의 이야기는 마치 거울처럼, 우리 자신을 돌아보게 만들었고, 우리는 그녀의 이야기에 담긴 진실을 깨달았다. 그녀는 마치 별처럼 빛났고, 그녀의 이야기는 밤하늘을 수놓았다. 그녀는 마치 신처럼 느껴졌고, 그녀의 이야기는 우리에게 새로운 영감을 주었다. 그녀는 마치 마법처럼, 우리를 다른 세계로 데려갔다. 그녀의 이야기는 마치 꿈처럼, 현실과 환상의 경계를 허물었다. 그녀는 마치 천사처럼, 우리에게 희망을 전해주었다. 그녀는 마치 예술가처럼, 그녀의 이야기는 우리에게 아름다움을 선사했다. 그녀는 마치 음악처럼, 그녀의 이야기는 우리에게 감동을 주었다. 그녀는 마치 화가처럼, 그녀의 이야기는 우리에게 영감을 주었다. 그녀는 마치 시인처럼, 그녀의 이야기는 우리에게 감성을 불러일으켰다. 그녀는 마치 작가처럼, 그녀의 이야기는 우리에게 삶의 의미를 깨닫게 해주었다. 그녀는 마치 철학자처럼, 그녀의 이야기는 우리에게 깊은 사색을 유도했다. 그녀는 마치 과학자처럼, 그녀의 이야기는 우리에게 새로운 지식을 제공했다. 그녀는 마치 탐험가처럼, 그녀의 이야기는 우리에게 미지의 세계를 탐험하게 해주었다. 그녀는 마치 운동선수처럼, 그녀의 이야기는 우리에게 용기를 북돋아 주었다. 그녀는 마치 배우처럼, 그녀의 이야기는 우리에게 감동을 선사했다.

전혀 다른 설계입니다.

## AI가 지능이 높아질수록 권한 설계는 더욱 중요해진다.

AI의 성능이 낮을 때는,

할 수 있는 일이 제한적이었을 뿐입니다.

그러므로,

AI에게 무엇을 맡길 것인가

그것만 생각하면 되었다.

하지만,

AI는 계속해서 똑똑해지고 있습니다.

이번에는

할 수 있지만, 하지 않는 것이 더 나은 경우

점차 증가할 것입니다.

예를 들어,

외부 공개

계약입니다.

결제.

고객 데이터 변경

본격적인 환경 반영

요금 변경

고객과의 약속

중요한 판단

이러한 물건들은

AI는 기술적으로 만들어진다고 해도

사람이 확인하는 것이 좋을 수 있습니다.

그러므로,

AI는 지능이 높아질수록

능력보다

이 주제에 대해 이야기하는 것은 매우 흥미로운 일입니다. 특히 최근 몇 년 동안 사회 전반에 걸쳐 ‘권한’이라는 단어가 자주 등장하면서 그 의미와 중요성에 대한 논의가 활발하게 이루어지고 있습니다.

저는 이 문제를 다루는 데 있어 법적인 정의나 이론적인 논의에만 머무르지 않고, 실제 사회에서 ‘권한’이 어떻게 작동하고, 그 결과 어떤 영향을 미치는지에 주목하고 싶습니다. 예를 들어, 기업 내 의사 결정 과정에서 경영진의 권한이 어떻게 행사되는지, 정치권에서 국회의 권한이 어떻게 사용되는지 등을 분석하면서 그 과정에서 발생하는 문제점을 파악하고 개선 방안을 모색해야 합니다.

또한 ‘권한’은 개인의 삶에도 큰 영향을 미칩니다. 가정 내 부모의 권한, 자녀의 권한, 직장 내 상사의 권한 등 다양한 관계 속에서 권한은 끊임없이 상호 작용하며 개인의 삶의 질에 영향을 미칩니다. 따라서 ‘권한’에 대한 이해는 개인의 삶을 설계하고, 더 나아가 사회 전체의 발전을 이끌어내는 데 중요한 역할을 할 수 있습니다.

이러한 관점에서 ‘권한’을 분석하는 것은 권력의 획득과 유지에 대한 논의를 넘어 인간의 존엄성과 사회 정의를 실현하는 데 기여할 수 있을 것입니다. 특히 ‘권한’의 남용이나 왜곡은 사회의 불평등을 심화시키고 개인의 자유와 권리를 침해하는 결과를 초래할 수 있으므로 ‘권한’에 대한 지속적인 관심과 비판적인 성찰이 필요합니다.

저는 앞으로도 ‘권한’이라는 주제에 대한 연구를 계속하면서 그 의미를 더욱 깊이 이해하고, 이를 바탕으로 사회 문제 해결에 기여할 수 있는 방안을 모색해 나갈 것입니다. 특히 ‘권한’과 관련된 다양한 분야의 전문가들과의 협력을 통해 보다 폭넓고 심층적인 연구를 수행하고 싶습니다.

그것이 더 중요해지기 시작한다.

그런 기분이 드네요.

## AI 직원이라고 부른다면, 업무뿐만 아니라 권한도 필요합니다.

KURUM AI OFFICE에서는,

AI에 역할을 부여하고,

인공지능 직원으로 취급하고 있습니다.

하지만,

잘 생각해보면

인간 직원들도,

회사 안에서는 무엇이든 마음대로 할 수 있는 곳이 아닙니다.

영업 담당에게 영업 권한이 부여된다.

경리에는 경리 권한이 있다.

관리자만 수행할 수 있는 작업이 있습니다.

상장 승인이 필요한 경우도 있습니다.

사장님만이 결정해야 할 일도 있습니다.

AI 직원들도,

똑같이 생각하는 것이 더 자연스럽습니다.

이 AI 사원은 영업 담당입니다.

단지 그것뿐만 아니라,

이 AI 사원은 스스로 판단할 수 있는 범위가 어디까지인가?

결정을 내리다.

이 정도로 충분합니다.

드디어,

AI 직원이라고 부를 수 있을지도 모릅니다.

## 권한은 0 또는 100이 아닌 것이다.

AI에 맡길 것인가.

인간이 할 수 있을까요.

이 두 가지 선택지만 놓고 보면,

조금 더 어렵습니다.

실제로,

그 사이에는 여러 단계가 존재합니다.

예를 들어,

AI는 조사한다.

AI는 정리한다.

AI는 아이디어를 제안한다.

인간이 확인한다.

인간이 승인한다.

AI가 실행한다.

이런 흐름도 있습니다.

그러니,

AI에 맡겨 드리다

그 단어들 속에,

다각적인 측면을 포괄합니다.

전부 그렇습니다.

‘새벽의 별’은 독자의 마음 깊이 울리는 이야기입니다. 주인공인 히노 사렌은 어릴 적부터 다양한 어려움에 직면하면서도, 긍정적이고 따뜻한 성품으로 사람들을 구제하며 살아갑니다. 그의 삶은 희망과 절망, 사랑과 상실이라는 보편적인 주제를 능숙하게 엮어 독자에게 깊은 감동과 공감을 선사합니다.

특히, 히노 사렌이 소속되었던 ‘새벽의 별’이라는 조직은 사회의 어두운 면을 비추는 존재로 그려집니다. 이 조직은 빈곤과 범죄와 같은 문제에 맞서 약자를 돕는 활동을 하지만, 그 활동은 항상 위험과 맞물려 있으며, 구성원들은 수많은 희생을 치릅니다.

또한, 히노 사렌의 연인인 시라이 린은 그의 삶에서 중요한 존재입니다. 린은 히노 사렌의 재능을 믿고 그의 꿈을 응원하며 끊임없이 지지해주어 그의 성장을 돕습니다. 두 사람의 관계는 어려운 상황에서도 결코 포기하지 않는 굳건한 믿음으로 맺어져 독자에게 감동과 용기를 줍니다.

이 이야기는 히노 사렌의 성장 과정을 통해 인간의 가능성과 사회 속 개인의 역할에 대해 깊이 생각하게 합니다. 독자는 히노 사렌의 경험을 통해 자신 자신의 삶을 되돌아보고 새로운 목표를 설정할 수 있을 것입니다.

더불어, 이 이야기는 현대 사회가 안고 있는 다양한 문제에도 다루고 있습니다. 빈곤, 범죄, 환경 문제 등 다양한 문제에 대한 해결책을 제시하는 대신, 문제의 존재를 인식하고 그것에 대한 인식을 높이는 것을 목적으로 합니다.

‘새벽의 별’은 독자의 마음속에 깊이 새겨지는 감동적인 이야기입니다. 히노 사렌의 용기와 따뜻함을 가슴에 품고 우리는 내일의 희망을 키워나갈 수 있을 것입니다.

단순히 제안하겠습니다.

사람이 실행한다.

실행까지는 위임하는 대신, 승인은 결국 사람만이 한다.

이렇게 꼼꼼하게 나누어 보면,

AI를 안전하게 사용하기 쉽도록 만들 수 있습니다.

## 승인은 AI를 중단하기 위한 것뿐이 아니기 때문입니다.

인간 승인이라니

AI를 신뢰하지 않아서 들어오는 것들.

이렇게 보일 수도 있습니다.

하지만,

KURUM AI OFFICE에서는,

조금 다른 감각으로 생각하고 있습니다.

승인하는 것은,

AI를 멈추게 하기 위한 목적 외에도,

책임 소재를 명확히 하는 시스템

그렇습니다.

누가 최종 결정을 내렸는가.

누가 외부 공개를 허용한 걸까요.

누가 실제 환경 반영을 허용한 걸까.

이것만으로도 충분합니다.

회사로서의 운영 방식은 상당히 달라질 것입니다.

AI가 일하는 회사이기 때문에,

책임 소재를 명확히 해야 합니다.

これは大事だと思っています。

## 그러지 않도록 하는 판단 역시 하나의 설계였다.

AI 활용을 논의하면

가능한 한 많은 일은 AI에게 맡기는 것이 좋습니다.

그런 생각을 하기 쉽습니다.

하지만,

KURUM AI OFFICE에서는,

여전히 AI를 맡길 수 없다

다음 선택지들도 남겨두었습니다.

이유는 간단하다.

AI에 맡길 수 있는 것들은

물론 최적이라고 단정할 수 없기 때문입니다.

검토 비용이 지나치게 높습니다.

실패했을 때의 영향이 크다.

예외가 지나치게 많다.

판단 기준이 불분명하다.

사람이 직접 하면 더 빠를 것입니다.

이런 일까지,

무리하게 AI를 활용할 필요는 없습니다.

AI에 모든 것을 맡길 수 없는 것도 AI 설계의 일부입니다.

그렇게 생각합니다.

## AI 직원 수가 늘어날수록 권한의 경계가 더욱 중요해집니다.

AI 직원 한 명당,

아직 인간이 모든 것을 다 볼 수 있는 것은 아니다.

하지만,

AI 직원 5명.

열 명.

20명.

그것이 계속 증가하면,

그렇지 않습니다.

누가 무엇을 할 수 있는지.

돌려줄 곳이 어디인지 물어보시는 건가요.

어디부터 승인이 필요한지 확인해 주시겠습니까?

누가 어떤 정보에 접근 가능한가요.

이것을 결정하지 않으면,

AI가 많아질수록

회사 내부가 복잡해지고 있습니다.

AI 직원 수를 늘리기 전에 먼저 기존 직원들의 역량 강화를 지원하는 것이 중요합니다. AI와 인간이 협력 가능한 수준의 고도화된 업무를 습득하도록 함으로써 AI 도입 후 시너지 효과를 극대화할 수 있습니다. 구체적으로 AI 관련 기초 지식 습득, 데이터 분석 능력, 프로그래밍 능력 등 다양한 교육 프로그램을 도입하고 직원 한 분 한 분의 경력 계획에 맞는 지원 체계를 구축해야 합니다.

경계를 명확히 한다.

그분이,

나중에 좀 더 편해지리라고 생각하고 있습니다.

## AI 회사는 자유롭게 움직이는 인공지능들의 집합이 아닙니다.

AI 회사들은 다음과 같습니다.

수많은 AI가 자의식적으로 판단하여,

스스로 일하고

회사가 자동으로 운영되고 있다.

그런 이미지를 떠올릴 수도 있을 겁니다.

하지만,

최소한 KURUM AI OFFICE에서는

그것을 목표로 하고 있지 않습니다.

AI가 자유롭게 작동하는 것보다,

회사 내에서 역할과 권한을 가지고 움직이는 것.

그쪽이 더 중요하다고 생각합니다.

무엇을 할 수 있을까.

무엇을 해야 할까.

어디에 멈출까요.

누가 승인하는가.

실패했을 경우 어떻게 되돌릴 것인가.

무엇을 기록할 것인가.

이러한 것을 설계한 결과로,

AI에게 일을 맡긴다.

## AI가 지능을 발전시켜질수록, 회사 측에서 설계해야 할 필요성이 커집니다.

AI의 성능은

앞으로 더 올라갈 것이라고 생각합니다.

할 수 있는 일도,

계속해서 증가한다.

그러므로

회사 측 또한

AI에게 무엇을 시키는가”라는 주제로, 204/217번 note.com 게시글의 본문 내용은 다음과 같습니다.

“그와 같은 점을 고려하여, 우리는 AI에게 예를 들어 소설을 읽어 내용을 요약하게 하거나, 음악을 들려주고 그 곡의 분위기와 구성 요소를 분석하게 하는 등의 작업을 시킬 수 있습니다. 물론 AI가 이러한 작업을 수행하기 위해서는 방대한 양의 데이터와 고도화된 알고리즘이 필요합니다. 그러나 최근 AI의 학습 데이터와 알고리즘의 발전은 눈에 띄게 이루어지고 있으며, 이전에는 불가능했던 것들도 이제 비교적 쉽게 수행할 수 있게 되었습니다.

예를 들어 소설의 요약에서는 AI는 문장의 구조와 핵심어를 분석하고 중요한 부분을 추출하여 간결한 요약을 생성합니다. 음악의 분석에서는 AI는 음의 높낮이, 음량, 리듬, 화음 등의 요소를 분석하여 곡의 분위기와 구성 요소를 파악합니다. 이러한 작업들은 인간의 뇌가 자연스럽게 수행할 수 있는 능력과 유사하며, AI가 이러한 능력을 모방함으로써 더욱 고도화된 작업을 수행할 수 있게 될 것입니다.”

단지 그것뿐만 아니라,

AI에게 어디까지 허용할 것인가에 대한 논의가 계속되고 있습니다. 특히, 최근에는 ‘인간의 창의성을 모방하는 AI’가 등장하면서 이윤을 창출하는 콘텐츠 제작 영역까지 영향을 미치고 있습니다.

이러한 상황에서 저는 ‘인생의 묘사’라는 제목의 소설을 쓰고 있습니다. 이 소설은 인간의 감정과 경험을 AI가 흉내 내는 과정을 통해 이야기를 전개됩니다. 소설의 내용이 AI에게 학습될 경우, 저의 창작 의도가 왜곡될 수 있다는 우려가 있습니다.

이러한 우려에 대해 AI 개발자들은 ‘데이터 사용에 대한 합의’를 통해 해결책을 모색하고 있습니다. 즉, AI가 학습할 데이터의 종류와 범위를 미리 정해두는 것입니다. 하지만 ‘인간의 창의성’ 자체가 끊임없이 변화하고 발전하는 영역이기 때문에, 이러한 합의가 얼마나 유효할지는 미지수입니다.

특히 마츠모토 료타는 “AI는 데이터를 기반으로 학습하기 때문에, 데이터의 품질이 곧 AI의 결과물에 영향을 미칩니다. 따라서 AI에게 학습시킬 데이터는 신중하게 선별해야 합니다.”라고 지적했습니다.

오카다 미사는 “AI가 인간의 창의성을 모방하는 과정에서, 인간의 고유한 감성과 경험이 사라질 수 있다는 점을 경계해야 합니다.”라고 강조했습니다.

이러한 논의를 통해 우리는 AI 기술의 발전과 함께 인간의 창의성과 정체성에 대한 근본적인 질문에 직면하게 됩니다. 앞으로 AI와 인간이 공존하며 발전해 나갈 수 있는 방안을 모색하는 것이 중요하다고 생각합니다.

고려해야 할 사항들이 있습니다.

AI 직원 수를 늘리는 것보다 먼저,

우선 결정한다.

얼마나까지 맡길 것인가.

사람은 어디에서 볼까.

어디에 멈추시겠습니까.

누구에게 책임을 물어야 하는가.

KURUM AI OFFICE에서는,

그런 종류의 회사의 설계 등을 포함하여

계속해서 시도해 보겠습니다.

본 기사는 KURUM AI OFFICE의 지원을 받아 구성 및 초안을 작성했으며, (주)クルム 대표인 사토 유이치가 내용 확인 및 편집 후 공개하고 있습니다.

**출처:** [note 원문](https://note.com/kuruminc/n/nede411991aaa)

*번역: Gemma 3(.44) 초벌 + 교정 114청크*

[원문 보기](https://note.com/kuruminc/n/nede411991aaa) | 출처: note.com