안녕하세요. 브랑슈네주 오오미입니다. 지난번 글에서는 인간의 작업을 보면서 “인식·판단·행동”을 학습하는 물리적 AI(Physical AI)를, 우리는 모방 AI(Imitation AI)라고 불러 연구 개발을 진행하고 있음을 소개했습니다. 그렇다면 AI는 인간의 움직임을 어떻게 기억할까요? 인간이라면, “먼저 보고 기억해”라고 말하면 옆에서 작업물을 보면서 조금씩 일을 익힐 수 있습니다. 하지만 AI의 경우, 인간이 작업 중인 영상을 단순히 보여주는 것만으로는 동일한 방식으로 움직일 수 있게 되는 것은 아닙니다. 인간이 이 상황에서 어떤 행동을 했는지, 그 행동과 관련된 관계를 데이터로 학습시켜야 합니다. 그 대표적인 방법 중 하나가 행동 복제(Behavior Cloning)입니다. 행동 클로닝이란 무엇일까요? 행동 클로닝은 인공지능 분야에서 널리 사용되는 개념으로, 특정 인간의 행동 패턴을 학습하여 유사한 행동을 수행하는 시스템을 만드는 것을 의미합니다. 좀 더 자세히 설명하자면, 다음과 같은 과정을 거칩니다. 1. **데이터 수집:** 먼저, 우리가 모방하고자 하는 인간의 행동 데이터를 수집합니다. 이 데이터는 다양한 형태로 존재할 수 있습니다. 예를 들어, 특정 게임 플레이 기록, 웹 브라우징 기록, 음성 명령 데이터, 심지어는 실제 인간의 행동을 촬영한 영상 데이터까지 포함될 수 있습니다. 2. **모델 학습:** 수집된 데이터를 바탕으로 인공지능 모델을 학습시킵니다. 이 모델은 인간의 행동 패턴을 분석하고, 그 패턴을 기반으로 새로운 상황에서 유사한 행동을 예측하고 수행하도록 훈련됩니다. 3. **행동 수행:** 학습된 모델은 새로운 상황에 직면했을 때, 인간의 행동 패턴을 기반으로 적절한 행동을 선택하고 수행합니다. 행동 클로닝은 다양한 분야에서 활용될 수 있습니다. 예를 들어, 자율 주행 자동차가 인간 운전자의 행동을 모방하여 안전하게 운전하거나, 로봇이 인간의 말을 이해하고 반응하거나, 게임 AI가 인간 플레이어의 전략을 학습하여 더욱 강력한 플레이를 할 수 있도록 하는 데 활용될 수 있습니다. **참고:** 행동 클로닝은 아직 연구 개발 단계에 있는 기술이며, 완벽하게 인간과 동일한 수준의 행동을 모방하는 것은 여전히 어려운 과제입니다. 하지만, 꾸준한 연구 개발을 통해 더욱 정교하고 다양한 분야에서 활용될 수 있는 기술로 발전할 것으로 기대됩니다. 행동 클로닝은 한국어로는 “행동 모방”과 같은 의미를 가집니다. 생각 자체는 매우 단순합니다. 인간이 이 상황에서 이렇게 행동했다는 예를 AI에게 많이 보여주면, AI는 비슷한 상황에서는 비슷한 행동을 해야 하지 않겠냐는 대응 관계를 학습해 나갑니다. 예를 들어, 카메라에서 보이는 상황 → 대상 물의 상태를 인식 → 인간이 행한 동작 → AI가 그 관계를 학습하는 흐름입니다. AI 세계에서는 이 상황에서 행동을 예측하는 시스템을 학습합니다. 어려운 수식 없이 표현하면, 모범을 보여주고 그처럼 행동하는 방법을 배우게 하는 것이 행동 클로닝입니다. 로봇에게 “본보기”를 보여준다. 예를 들어, 작업대 위에 부품이 있고, 이를 다른 장소로 옮기는 작업을 생각해 봅시다. 인간은 부품을 보고 “여기(이 부품)를 가져가자”라고 판단합니다. 다음으로, 이 경로로 운반하기 위해 손을 움직입니다. 途中に障害物(도중에 장애물이)가 있으면, 그것을 피합니다. 그리고 목적의 장소까지 운반합니다. 이 때 AI에는 인간이 어떤 상황을 보고 있었으며, 그 때 인간이 어떻게 움직였는지를 대응시켜 학습시킵니다. 즉, 상황→인간의 행동→상황→인간의 행동→상황→인간의 행동이라는 모범을 쌓습니다. Behavior Cloning에서는 이 데이터로부터 인간의 행동 패턴을 학습하며, 지금까지와는 조금 다른 상황이 주어졌을 때에도 “이 상황이라면, 이렇게 움직이는 것이 좋겠네”라고 AI가 행동을 예측할 수 있도록 하는 것을 목표로 합니다. 우리가 목표하는 것은 단순한 동작의 모방이 아닙니다. 여기 중요한 것은 인간의 손의 흔적을 그대로 복제하는 것만이 아니라는 점입니다. 제조 현장의 작업에서는 움직이기 전에 반드시 어떤 종류의 인식이나 판단이 존재합니다. 예를 들어, 대상 물은 어디에 있는지, 어느 방향을 향하고 있는지, 좋은 품질인지 불량품인지, 무엇을 잡아야 하는지, 장애물이 있는지, 어디로 옮겨야 하는지 등과 같은 정보를 바탕으로 인간은 행동을 결정합니다. 우리가 생각하는 모방형 AI에서는 인식 → 판단 → 동작을 하나의 흐름으로 취급하는 것을 목표로 합니다. Behavior Cloning는 그 실현을 위한 대표적인 학습 방법 중 하나입니다. 따라서, 이미테이션 AI와 Behavior Cloning를 혼동할 수 없습니다. Behavior Cloning는 모방 학습(Imitation Learning)이라는 광범위한 연구 분야 내에 속하는 방법론 중 하나입니다. 우리는 이러한 기존 연구 성과를 활용하여 실제 제조 현장에서 사용 가능한 물리적 AI로 연결하는 방안을 검토하고 있습니다. 하지만 인간의 움직임을 모방하는 것만으로는 성공할 수 없습니다. 행동 복제(Behavior Cloning)에는 매우 명확한 어려움이 있습니다. 예를 들어, 인간이 모범으로 똑바로 걷는다고 가정해 봅시다. AI는 똑바로 나아가는 행동을 학습합니다. 그러나 실제로 움직일 때, 약간만 오른쪽으로 쏠렸을 경우라고 가정해 봅시다. 인간 모범에는 오른쪽으로 쏠린 상태에서 어떻게 다시 원래 상태로 돌아갈 수 있는지에 대한 데이터가 포함되어 있지 않을 수 있습니다. 그러면 AI는 약간 쏠림 → 본 적 없는 상황 → 행동 예측을 잘못하고 → 더욱 쏠리는 상태에 빠질 가능성이 있습니다. 모방 학습 연구에서는 이러한 문제가 이전부터 알려져 있습니다. 매우 간단히 말하면, 인간은 길을 잃지 않았으므로 AI가 길을 잃은 후 돌아가는 방법을 알려주지 않았다는 문제점입니다. 한 권의 그림책만으로는 충분하지 않다. 바로 dlatego, 모방 학습에서는 다양한 모범이 중요해집니다. 예를 들어, 대상 물체의 시작 위치를 조금 바꾸거나, 대상 물체의 방향을 바꾸거나, 장애물의 위치를 바꾸거나, 움직이는 경로를 조금 바꾸거나, 같은 작업을 여러 번 반복하는 방식으로 다양한 상황을 학습시킵니다. 인간도 한 번 일**을** 보**았**을 뿐이므로 모든 것을 기억하는 것은 아닙니다. 다양한 사례를 경험함으로써, 이런 경우에는 이렇게 한다는 기술이 몸에 붙어갑니다. AI에 대해서도, 같은 종류의 접근 방식이 필요할지도 모릅니다. 움직임을 익히는 것에서 기술을 배우는 것으로 무라카미 하루키는 자신의 소설 속 등장인물들이 ‘움직임을 익히는’ 과정을 통해 성장한다고 말합니다. 마치 어린 아이가 처음으로 걷거나, 자전거를 타는 것처럼, 등장인물들은 점차 자신만의 방식으로 세상을 움직이는 법을 배우게 되죠. 이러한 과정은 단순히 기술을 습득하는 것과는 다릅니다. 기술을 배우는 것은 지시를 따르는 것이고, 정해진 규칙에 맞춰 행동하는 것이죠. 반면, ‘움직임을 익히는’ 것은 스스로 질문을 던지고, 답을 찾아가는 과정입니다. 등장인물들은 끊임없이 자신에게 던지는 질문에 답을 찾기 위해 노력하고, 그 과정에서 자신만의 방식으로 세상을 이해하게 됩니다. 무라카미 하루키는 이러한 과정을 통해 인간의 본질을 탐구합니다. 우리는 어떻게 움직이는가, 어떻게 생각하는가, 어떻게 세상을 이해하는가 – 이러한 질문에 대한 답을 찾기 위해 끊임없이 노력해야 합니다. 특히, ‘카호’는 이러한 과정을 통해 자신만의 방식으로 세상을 살아가는 법을 배우는 인물입니다. 처음에는 모든 것이 낯설고 두려웠지만, 점차 자신만의 방식으로 세상을 탐험하고, 자신만의 방식으로 사랑을 배우게 됩니다. ‘카호’의 이야기는 우리에게 자신을 믿고, 자신만의 길을 찾아가는 용기를 줍니다. 무라카미 하루키는 자신의 작품을 통해 우리에게 다음과 같은 질문을 던집니다. “우리는 어떻게 움직이는가? 우리는 어떻게 생각하는가? 우리는 어떻게 세상을 이해하는가?” 그리고 이러한 질문에 대한 답을 찾기 위해 끊임없이 노력해야 합니다. 이러한 노력은 우리를 더욱 성숙하게 만들고, 더욱 풍요로운 삶을 살도록 이끌어 줄 것입니다. 우리가 궁극적으로 목표로 하는 것은 단순히 인간의 움직임을 재현하는 것이 아닙니다. 인간이 무엇을 보고, 어떻게 판단하며, 왜 그 행동을 선택했는지. 그 일련의 흐름을 AI가 학습할 수 있다면, 단순한 동작의 복사에서 기술 습득에 가까워질 수 있습니다. 제조 현장에는 글이나 매뉴얼만으로는 표현하기 어려운 기술이 있습니다. 숙련자는 여기를 보면 알 수 있는 이 상태라면 이렇게 하고 조금 다르다는 판단을, 수년간의 경험을 통해 이루어 왔습니다. 이러한 판단과 동작을 데이터로 남기고, AI와 로봇에 연결할 수 있다면 사람과 사람 간의 기술 계승일 뿐만 아니라, 사람과 AI·로봇 간의 기술 계승이라는 새로운 방법이 생겨날 가능성이 있습니다. 행동 복제에서 시작하여, 그 이후로 나아가. 행동 복제(Behavior Cloning)는 맹목적인 모방 학습의 전부가 아닙니다. 연구 분야에서는 행동 복제가 어려워하는 상황을 보완하기 위한 다양한 방법들도 연구되고 있습니다. 하지만 인간의 본보기를 통해 AI가 행동을 배우는 기본적인 개념을 이해하는 데 있어서 행동 복제는 매우 이해하기 쉬운 출발점입니다. 우리도 현재 특정 작업을 소재로 인간의 작업을 기록하고 움직임을 데이터화하고 AI가 인간의 행동을 학습하게 하고 새로운 상황에 대해 행동을 예측하게 하고 그 결과를 로봇의 동작으로 연결하는 과정을 단계별로 검증하고 있습니다. 연구 개발 중인 부분이라 모델 구성이나 구체적인 구현 방법은 아직 공개할 수 없는 부분이 있습니다. 그럼에도 불구하고 인간이 로봇에게 하나하나 동작을 가르치는 현재의 자동화에서 인간이 평소와 같이 일하는 것을 AI가 보고 배우는 자동화로 나아갈 수 있다면, 제조 현장의 로봇 활용은 크게 달라질 수 있을 것입니다. 보는 AI에서, 보는 동작을 하는 물리 AI로 그리고, 사람을 보고 배우는 모방 AI로 브랑쉬네주에서는 모방 학습을 활용하여 인간의 “인식, 판단, 동작”을 AI와 로봇으로 연결하는 연구 개발을 진행하고 있습니다. 앞으로도 연구 개발 과정에서 공개할 수 있는 기술이나 실험에 대해 조금씩 소개해 드리겠습니다. 본 기사는 개발부 기술팀의 원안을 바탕으로 기획부의 ○님(중소기업진단사／응용정보기술자)이 편집하고 있습니다. 물리적 AI, 가짜 AI, 모방 AI, 모방 학습, 행동 복제, 로봇, AI, 제조업 AI, 기술 계승, 제조업 DX, 블랑슈네이즈 출처: note 원문 번역: Gemma 3(.44) 초벌 + 교정 13청크 원문 보기 | 출처: note.com