# 신발 검사, 금속판 정렬, 천장에서 뻗어 나오는 가사 로봇—51사가 6개월 동안 도전한 ‘물리적 AI’의 기록

> https://bookfactory.kr/board/ai-tech/12515
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-15T09:59:20.451Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/310140127/rectangle_large_type_2_9212573d924912fee06abd2f0396fc4b.png?width=1280)

로봇에게 “선반의 3단 쪽에 물건 2개를 보충해줘”라고 명령하자, 그 로봇은 정확히 그 명령에 따라 움직여 주었다. 이런 모습은 더 이상 SF 영화나 소설 속 이야기에서만 찾아보기 어려운 현실이 되고 있다.

2026년 8월 31일, 아마존 웹 서비스 일본(AWS 일본)의 오피스에서 “AWS 일본 주관 물리 AI 개발 지원 프로그램” 결과 발표회가 열렸다. 이 프로그램은 2026년 1월에 시작되어 51개사를 선정했으며, 13개 프로젝트와 14개 회사가 참여하여 약 6개월간 진행한 내용과 성과를 보고했다.

회장에서는 주식회사 하일랜드스의 인간형 로봇 “N”과 사족형 로봇 “HLQ PRO”, 주식회사 지얼즈의 인간형 로봇 “D1”이 실기 전시되었으며, 실제로 작동하는 시연도 진행되었다.

물리적 AI”라는 용어는 익숙하지 않을 수 있지만, 그 의미는 간단하다. 로봇이 카메라나 센서를 통해 주변을 인식하고, 사람의 언어 지시에 따라 움직이며, 스스로 판단하여 몸을 움직이는 것을 의미한다. 이 일련의 메커니즘을 지칭하는 자리였다. 이번 발표회는 13개사가 각자의 생생한 진척 상황과 함께 그 기술이 연구 단계에서 어느 정도 “현장에서 움직이는 것”에 가까워지고 있는지 보여주는 자리였다.

## AWS는 “물리적 AI에 필수적인 3가지 요소”를 제시했습니다.

발표회 개막 시간에 발표에 참석한 AWS 일본 대표 실행이사 사와다 다로 氏は、물리적 AI를 “로보틱스와 AI의 융합에 따른 기술 혁신”이라고 설명했다. 로봇이 주변을 인식하고, 사람의 지시를 이해하며, 스스로 판단한다. 그 중심에는 VLA(Vision-Language-Action, 시각-언어-행동 통합 모델)와 WAM(World Action Model, 세계 모델)이라고 불리는 로봇 기반 모델이 있다.

AWS는 2023년부터 “LLM 개발 지원 프로그램” 및 “생성 AI 실용화 추진 프로그램”과 같은 기업 지원 흐름의 연장선상에서 2026년 1월에 “물리 AI 개발 지원 프로그램”을 시작했다. 지원의 핵심은 물리 AI 영역의 전문가에 의한 기술 지원, 비용 최적화 지원, 로봇틱스 및 생성 AI 커뮤니티 형성, 그리고 Go-To-Market(사업화 및 유통 확대) 지원의 4가지다.

시바 하지메 마시는 “일본에는 로봇 기술로 세계를 오랫동안 선도해 온 강점이 있다”고 언급하며, 하드웨어 설계, 정밀 제어, 제조 기술에 수십 년의 축적을 가지고 있음을 지적했다. 그 위에 “이 강점에 생성 AI를 결합하는 것이 일본에게는 큰 기회가 될 것이라고 확신하고 있다”고 말했다.

또한, 이 프로그램を通じて実感한 점으로 미루어 보건대, 가설과 실험을 통한 개선 루프를 빠르게 회전시키는 ‘속도’, 기술뿐만 아니라 현장에 축적된 지식과 데이터와 결합하는 ‘현장의 힘’, 그리고 모델 학습이나 대규모 데이터를 다루는 ‘클라우드’의 3가지 요소가 필수적이라고 언급되었다.

## 인간형 로봇은 여전히 ‘이족 보행’을 의미하지 않는다.

발표에서 인상적이었던 점은 각사들이 “현재 로봇이 무엇을 할 수 있고, 무엇을 할 수 없는지”를 솔직하게 밝혔다는 점이었다.

인간형 AI 로봇 개발사 아톰(株式会社アトム)은 걷기 및 전신 제어 시뮬레이션 상 실험을 통해 실제 기체 걷기까지 검증했다. 또한, 물품 분류 작업을 주제로 인간의 손 움직임을 수집한 테레오퍼레이션(원격 조작) 데이터를 자사의 VLA 모델에 학습시켜 일정 수준의 정확도를 달성했다. 24시간 연속 운영된 분류 데모 모습은 유튜브에서도 생중계되었다. 반면, 인간의 시점 영상(EgoView)만을 사용한 학습은 진척이 더뎌, 테레오퍼 데이터와 결합하여 검증 작업을 진행하고 있다고 밝혔다.

인간형 로봇 “D1”을 이미 판매하고 있는 주식회사 ZEALS의 사례는 “이상”과 “현실”의 첨예한 대립을 느끼게 하는 것이었다. D1은 좁은 일본 실내에서 움직일 수 있는 컴팩트함을 중시하며, 혹시 모를 넘어짐으로 인해 사람을 다치게 하지 않도록 의도적으로 이족 보행이 아닌 트레일러형을 채택했다. 2026년도 중순까지 100대의 대량 생산과 1만 시간의 작동을 목표로 하고 있다.

3월에 지원 프로그램에 선정된 시점에서는 기체는 중국산이었고, AI 모델 또한 자사 개발은 아니었다. 하지만 지원 프로그램 이후 8월에는 일본 내에서 조립한 기체와 자체 개발 AI 모델 “오마카세 젠(Omakase Zen)”을 활용한 수직 통합 체제를 구축했다고 보고되었다. 특히 8월 28일에는 나고야 료고대 즈후병원에서 D1을 의료 현장에 투입하는 시범 실험을 실시하여 환자 안내, 경량 물품 운반, 차 준비, 식사 후 설교 지원, 체조 진행 등을 수행하며 총 35시간의 운영을 검증했다.

도쿄대학교에서 시작한 학생 창업 기업인 하일랜드러스(株式会社Highlanders)는 사족형 로봇 “HLQ PRO”와 인간형 로봇 “N”을 개발하고 있으며, 미쓰비시자동차산업과 양산화를 위해 협업하여 2026년 4월쯤 양산 출함으로써 목표를 두고 있다. 이 회사가 직면한 가장 큰 과제는 “데이터 부족”이다. 로봇의 기체(엔보디먼트)마다 데이터를 수집하여 모델을 만드는 것은 현실적이지 않다고 판단하고, 10B 파라미터의 WAM “Kepler”의 개발에 착수했다. 이번 프로그램에서는 이 Kepler 개발을 지원하는 물리 AI 파이프라인을 구축하고, 로봇을 양산하여 전 세계에 확산시키면서 불균일한 데이터를 대량으로 확보하는 체제를 구축하는 데 목표를 둔다.

## AI는 자신의 오류를 놓치기 쉬워

오무론 그룹의 연구 개발 회사인 오무론사이닉엑스株式会社는 물리적 AI의 기본 루프인 “See(보는 것)”, “Understand(이해하는 것)”, “Act(행동하는 것)” 각 단계를 검증했다. “See”와 “Understand” 단계에서는 사람이 움직이는 영상에 대해 AI가 정확하게 평가할 수 있는지를 조사한 결과, 시계열 정보를 제대로 이해하지 못하는 경우가 많고, AI 모델은 자신 자신의 오류를 놓치는 경향이 있으며, 여러 모델로 서로 평가하고 상호 보완해야 한다는 사실이 밝혀졌다. 이 성과는 자연어 처리 국제 학회 EMNLP 2026에서 논문으로 채택되었다. “Action” 단계에서는 로봇이 움직인 결과가 잘 되었는지, 로봇 스스로 언어로 반성하는 메커니즘을 검증하고 있다. 장난감 토마토를 잡으려다가 위치가 엇갈리는 경우, 그 엇갈림을 언어로 표현하여 다음 동작에 활용하는 아이디어이다.

건설업의 태주공무단은 숙련된 노동력 부족이라는 문제 해결을 위해 물리적 AI를 활용하는 방안을 모색했다. 초기 검토, 환경 구축, 건설 작업 검토라는 3단계로 접근하여 최종 단계에서는 시뮬레이션 환경에서 실제 건설 현장을 3D로 재현하고 벽 칠 작업에 로봇을 투입하는 등 작업을 진행했다. 그 결과, 10~15% 정도의 정확도로 작업을 수행할 수 있음을 확인했으며, 건설 현장이라는 높은 난이도의 환경에서 물리적 AI의 적용 가능성을 처음으로 수치적으로 제시한 점에 의미가 있다.

## 숫자로 제시된 “성공 사례” 검증과 솔직한 “반쪽짜리” 결과

물류 대기업 다이후쿠와 AI·DX를 제공하는 JDSC는 물류 피킹 작업의 완전 자동화를 목표로 AWS에서 모델 학습부터 CI/CD 기반 자동 배포까지 통합한 시스템을 구축했다. 사람이 “A반의 3단에 물건 2개를 채워넣어”라고 말하면 AI 에이전트가 작업을 분해하여 절차를 만들고, 로봇이 물건을 인식하여 실행하는 미래상을 제시한다. 시뮬레이션 환경에서의 검증 결과, 미상 제품 및 분류 장소에서도 97%의 성공률을 달성했다.

편의점용 로봇 개발사인 Telexistence株式会社는 로봇 기반 모델의 두 가지 흐름 중, VLA와 WAM 중에서 오히려 WAM에 집중하여 검증했다. 현재의 WAM은 무게 때문에 편의점 로봇으로 작동시키기가 어려웠기 때문에, 레지 업무에 특화된 10B 파라미터의 경량 WAM을 자체 개발했다. 그 결과, 기존의 VLA 모델 “PI0.5”가 사전 학습을 통해 80%, 사전 학습 없이 50%의 성공률을 달성한 데 반해, 자체 개발한 WAM은 86%를 달성했다고 보고되었다.

야마나 쇼군 연구소(NRI)는 실제 로봇을 이용한 모델 개발, 사진으로부터 3D 재구성한 시뮬레이션 환경에서 학습한 모델을 실제 로봇에 적용하는 “real2sim2real” 방식과, 사람의 머리나 손목에 카메라를 부착하여 수집한 1인칭 시점 데이터 기반 모델 개발이라는 세 가지 접근 방식을 시도했다. 실제 로봇에서는 선반에서 페트병을 꺼내는 데 성공했으며, “real2sim2real” 방식 또한 실제 로봇을 작동시키는 데 성공했다. 1인칭 시점 데이터 기반 개발은 움직일 가능성이 보인 단계로 보고되었다.

AI 학습용 데이터를 다루는 FastLabel株式会社는 실기 데이터의 수집량을 늘리는 것이 어렵다는 물리 AI 공통의 과제에 대해, 시뮬레이션 데이터를 확장하는 파이프라인을 구축했다. 테레오퍼레이션을 통해 얻은 90 에피소드의 궤도 데이터를 기반으로, 약 100배에 해당하는 약 1만 에피소드까지 확장했다. 더불어 배경 색상이나 조명 조건을 무작위화하는 “도메인 랜덤화(Domain Randomization)”를 수행하여, 원 데이터와 결합한 혼합 데이터셋을 생성했다. 이 혼합 데이터셋으로 학습한 모델은, 실 데이터만으로 학습한 모델에 비해 서브태스크의 달성률이나 미지의 환경에 대한 일반화 성능이 향상되었다고 한다.

IT 컨설팅 회사인 동시에 13년 동안 로봇 개발도 진행해 온 주식회사 豆蔵은 금속판 부품의 정렬을 자동화하는 앱의 고도화에 착수했다. 상반신 부분에 대해서는 테레오페 데이터를 수집하여 VLA를 통한 지능화 추진 및 흩어져 있는 피킹의 성공률이 낮은 과제에 대해서는 규칙 기반 피킹과 조합하는 하이브리드 구성 방식을 채택했다. 하반신 부분에 대해서는 시뮬레이션 환경에서의 딥러닝 강화 학습을 통해 실제 기계가 쪼그려 앉는 동작을 구현했다. 학습 환경과 추론 환경을 갖추는 필요성, 오작동에 대비한 보호 장치(가드 레일)의 필요성 등도 논의되었다.

## 검사 로봇과 천장에서 뻗어나오는 가전 로봇

메르카리는 해외를 대상으로 하는 크로스보더 거래에 필요한 상품 검품 작업을 자동화하기 위해 노력했다. 기존의 VLA 모델은 힘의 양을 파악하지 못해 상품을 손상시킬 수 있었고, 학습한 시점과 다른 각도에 대한 대응이 미흡하며, 데이터 수집 효율이 낮다는 문제점을 안고 있었다. 이에 시각에 더하여 힘과 촉각의 데이터를 다루는 UMI(Universal Manipulation Interface) 장치를 활용하여 양팔 로봇용 VLA 모델을 개발했다. 신발 검품을 소재로 상자를 열어 신발을 꺼내 사진을 찍는 일련의 동작을 구현했다. 시점의 문제에 대해서는 AI가 임의의 시점에서 본 이미지를 합성하여 학습시키는 방식으로 해결했다. 이 회사는 2028년까지 자사 창고의 20%를 자동화하고 연간 최대 2억 엔 규모의 내부 비용을 절감한다는 목표를 제시하고 있다.

리코는 기체의 차이를 넘어 재활용 가능한 “LAM(Latent Action Model: 共通行動表現)” 개발에 착수했다. 로봇의 기체마다 데이터를 모아 모델을 만드는 것은 현실적이지 않다는 과제에 대한 대안으로, 여러 신체에서 수집한 데이터로부터 다양한 물리 조건에서도 재활용 가능한 행동 표현을 학습하는 것을 목표로 했다. 자사 제품인 피크 앤 플레이스(Pick and Place: 집어 올려놓는 동작)를 소재로 시뮬레이션 환경과 실제 기계 환경 모두에서 검증한 결과, LAM을 사용했을 때 모든 항목에서 높은 정확도를 얻을 수 있었으며, 동일한 정확도를 더 작은 모델, 구체적으로 3분의 1 정도의 크기에서도 달성할 수 있었다.

주택 제조사인 MW 주식회사(株式会社MW)는 천장에서 손이 뻗어나가는 형태의 가사 로봇 “MW bot”을 개발 중이다. “Living Home(생きた 집)”이라는 컨셉을 내세워 좁은 일본 주택의 천장이라는 낭비 공간을 활용하고, 사람과 부딪히지 않도록 안전성을 노린 독특한 아이디어라는. 가와사키 고단에 데이터 수집 시설을 마련하여 약 50대의 로봇으로부터 연간 5만 시간의 가사 데이터를 수집할 계획이며, 최종적으로 2.5페타바이트의 데이터 수집을 목표로 하고 있다. 수집된 데이터는 AWS의 스토리지 서비스 S3에 저장되고, 거기서 학습한 모델을 MW bot으로 검증하고 피드백하는 사이클을 구축하고 있다.

## 현장의 경험이 없다면 AI 로봇은 작동하지 않는다.

이번 발표회를 통해 드러나는 것은, 물리적 AI가 한 발짝도 앞서 완벽한 완성형으로 나아가지 않고 있다는 현실이다. 타케다 공무소의 벽 칠하기 작업 정확도는 10~15% 정도이며, 하일랜드스 데이터 수집은 마침내 파이프라인이 갖춰진 단계, 오므론 사이닉-에스 검증에서는 “AI는 자신 스스로의 오류를 놓치기 쉬워”라는 문제도 솔직하게 보고되었다.

한편, 97%라는 높은 성공률을 보인 다이후쿠 JDSC의 물류 피킹, 86%의 성공률을 달성한 Telexistence의 경량 WAM, 그리고 실제로 병원에서 35시간 동안 작동한 ZEALS의 D1과 같이, 꾸준히 현장에 가까워지는 노력들도 여러 있었다.

백반 씨가 언급한 “속도”, “현장의 역량”, “클라우드”라는 3가지 요소는, 반전을 통해 AI 모델의 성능만으로는 현장의 로봇이 움직이지 않는다는 것을 의미한다. 로봇을 움직이는 주역은 최첨단 기반 모델이든, 그것을 훈련시키는 것은 창고에서 신발을 검사해 온 사람의 손놀림이나, 판금을 정렬시켜 온 장인의 감각, 주택에서 반복되어 온 가사 절차와 같이, 묵묵히 쌓아 올려져 온 “현장 데이터”이다. 2026년, 일본 각지의 창고, 공장, 주택에서 조용히 수집되는 그러한 데이터가 다음 1년 동안 어떤 로봇의 움직임으로 변화해갈지 지속적으로 주목해야 할 것이다.

**출처:** [note 원문](https://note.com/gay_auklet6884/n/n7800fec41c63)

*번역: Gemma 3(.44) 초벌 + 교정 25청크*

[원문 보기](https://note.com/gay_auklet6884/n/n7800fec41c63) | 출처: note.com