# AI를 회의에 참석시킨다—얼굴, 목소리, 자료까지 전부 로컬에서 움직이는 “AI 직원” 만들기 방법과, 말하지 말아야 할 것을 말하게 하지 않는 시스템 구축

> https://bookfactory.kr/board/ai-tech/17478
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-18T01:19:36.712Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/314439675/rectangle_large_type_2_a828a2972b0de0650da144c9d2001eb4.png?width=1280)

연재 “GitHub의 보물, 개인의 도구에” 제36화

설명회에서 또 같은 이야기를 해야 하는가.

작은 회사의 대표는 같은 서비스에 대한 설명을 매달 여러 번 반복합니다. 첫 번째 미팅, 사내 설명, 문의에 대한 초기 대응 등 내용은 거의 같지만, 차이점은 상대방에게 있습니다. 여기에 AI를 활용할 수 있는지에 대한 이야기를 지난주부터 진지하게 논의했습니다.

만들어진 것은 Zoom 회의에 “AI 담당만 오”로 참석하는 AI 직원입니다. 상대방의 목소리를 듣고, 자료를 근거로 답변하며, 자사용으로 만든 목소리로 말하고, 얼굴의 입이 목소리 맞춰 움직이며, 자료를 화면 공유로 띄워 설명합니다. 회의 중, 클라우드 AI는 전혀 사용하지 않습니다. 목소리도 텍스트도, 회사의 1대의 PC에서 나오지 않습니다. 이전 회의(#35)의 “회사 안에 AI를 두는 것”의 연속입니다.

먼저 결론을 말씀드리겠습니다. 질문이 끝나면 약 3초 후에 답변을 시작하고, 비용에 대한 3가지 플랜을 정확하게 말할 수 있을 정도까지 진행되었습니다. 다만, 첫 날 대표님으로부터 “내용은 상당히 엉성하다”는 피드백을 받고, 6가지의 실패를 바로잡았습니다. 오늘 그 두 가지를 실측과 로그를 통해 보여드리겠습니다.

가상 회사의 영업 담당이라는 설정으로 실제 인물의 얼굴이나 목소리도 사용하지 않았습니다. 회의 첫머리에서 “저는 AI입니다”라고 밝힙니다.

## 오늘의 보물

라이브톡킹(Apache-2.0・9,531★) – 음성에 맞춰 얼굴을 움직이고 가상 카메라에 전송하는 기반 기술

MuseTalk（MIT・6,566★）— 대기 동영상의 “입만” 부분을 음성에 맞춰 다시 그리는 기능

faster-whisper (MIT, 25,425★) – 상대방의 음성을 텍스트로 변환 (CPU에서 실행)

・Ollama（MIT, 181,119★）—— 자료를 근거로 답하는 AI 본체 (Qwen3:8b)

・Style-Bert-VITS2（AGPL-3.0・1,371★）—— 자체용 음성. 1 문장당 0.4초에 합성

・pyvirtualcam (GPL-2.0, 585★) —— OBS 가상 카메라에 프레임을 전송

★는 2026년 9월 16일에 GitHub API에서 수집했습니다.

## 전체적인 시스템—5개의 상자를 일반 Zoom에 연결한다.

![](https://assets.st-note.com/img/1789571949-OmtpgALiuM2GEH4QUB0cVF8j.png?width=1200)

Zoom 측에서는 특별한 조치를 취하지 않습니다. 마이크에는 가상 케이블(VB-CABLE), 카메라에는 OBS의 가상 카메라를 선택하면 됩니다. AI 측의 5개의 상자가 그 뒤에서 작동합니다.

상대방의 음성을 Zoom 스피커에서 PC 안으로 가져와(루프백) 텍스트로 변환합니다. 1.5초 동안 대답이 없으면 “질문이 끝났습니다”로 판단합니다.

2. 자료 파일(PDF, Word, Excel, 텍스트)만을 근거로 답변합니다. 답변 내용에 숫자가 자료에 없다면 해당 답변을 삭제하고 “확인 후 대표에게 회신합니다.”로 대체합니다.

3. 말하기 – 자체 개발한 음성으로, 문장 단위로 합성

4. 60초 분량의 “듣는 얼굴” 영상을 기본으로 하여 입만 음성에 맞춰 묘사한다. 음성은 동시에 가상 케이블로 전송하여 입과 음성이 엇갈리는 것을 방지한다.

5. 자료 – 그림 슬라이드 7페이지와 대본을 “설명 부탁드립니다”로 전체 화면에 출력하고, 줌 화면 공유를 통해 보면서 읽는다. 페이지 간에 질문을 받는다.

전체적으로 회사의 PC 1대(GPU 포함)에 수용됩니다.

## 얼굴 — “정지화에 입을 그리는” 것을 “표정이 있는 영상”으로

처음에는 1장 분량의 설정 미술에 입의 타원을 움직이는 것뿐이었습니다. 담당자의 한마디는 “사람이 Zoom하고 있는 것처럼 보이지 않으면 그렇지 않겠어. 외형이 중요하다.”였습니다.

![](https://assets.st-note.com/img/1789572071-KjFzibhdEsCGAqk5l21Nfo7x.png?width=1200)

진행한 작업은 3가지입니다.

기본 영상을 제작한다. 영상 생성 AI(H3)에 설정화 1장을 전달하여 “회의 중 상대의 말을 듣는” 20초 영상 3개를 만들었다. 1개 안에서 중립적인 표정 → 미소 → 고개 끄덕임 → 시선 전환 → 돌아오는 등 표정이 연달아 변하는 지시를 내렸으며, 앞부분과 뒷부분은 정면의 중립적인 얼굴로 통일했다. 3개를 연결하여 60초 분량이 아바타의 기본 영상이다.

![](https://assets.st-note.com/img/1789572142-2zMt9g6avUoILAfwCHdYixTG.png?width=1200)

입 모양만 재구성한다. MuseTalk는 각 프레임의 입 주변을 음성에 맞춰 다시 생성한다. LiveTalking이 이를 실시간으로 회전시켜 가상 카메라로 전송한다. 제3090으로 1초당 35프레임을 처리하며, Zoom에 필요한 25프레임을 넘어서는 성능이다.

입술 벌리는 방법을 비교한다. 입술 영역의 상하 방향을 미세하게 조정하는 파라미터(bbox_shift)로 벌리는 방식이 달라진다. 0, +8, +15를 사용하여 동일한 소리를 내면서 입술 부분만 연속 촬영했다. +8이 가장 자연스럽고, 치아가 보이는 정도와 벌리는 변화가 가장 자연스러웠다.

![](https://assets.st-note.com/img/1789572236-7hjVdHs0NKRP1MCeqbmwSOir.png?width=1200)

여기 한 가지, 문제가 있었습니다. “입이 멈추는 순간이 있다”라는 지적을 받고 로그를 확인한 결과 “그려 넣기 실패” 경고가 발생했습니다. MuseTalk이 얼굴 영역을 1.5배 확대하여 합성하기 때문에, 얼굴을 크게 묘사한 영상에서는 프레임이 화면 밖으로 벗어나는 문제였습니다. 벗어난 프레임은 대기 자세 그대로 출력됩니다. 확대율을 1.2로 낮추자 문제가 해결되었습니다. 얼굴을 크게 묘사한다면, 얼굴 주위에 여백을 두는 것이 좋습니다. 이 점을 기억해야 합니다.

## 목소리——속도를 위해 한 번 곁길로 돌아간다.

![](https://assets.st-note.com/img/1789572393-TEF0Wy1hjDgliwZM7QoaNkAJ.png?width=1200)

배포된 음성을 그대로 활용할 수도 있지만, “다른 목소리를 원하신다. 영상 생성 음성은 자연스러웠다”는 요청에 따라 자체 음성을 제작했습니다.

영상 생성 AI(H3)에 일본어 대사를 입력하여 6초 분량의 “샘플 음성” 4개를 제작한다. 실제 사람의 목소리는 사용하지 않는다.

이 샘플을 통해 Qwen3-TTS 음성 복제에 144문장(8.6분)을 읽게 했는데, 품질은 좋지만 매우 느리다(음성의 2.7배 시간) 때문에 회의에 사용하기에는 적합하지 않습니다.

3. 해당 144번째 문장을 교재로 활용하여 Style-Bert-VITS2를 추가 학습(40분 소요)했습니다. 생성된 음성은 문당 0.4초에 합성됩니다.

멀리 돌아가는 것처럼 보이지만, “품질이 좋은 느린 목소리”로 교재를 만들어 “빠른 목소리”에 익히는 것뿐입니다. 결과적으로 회의 중의 목소리는 즉시 현장에서 나오게 됩니다.

## 응답 시간 – 7초가 3초로 감소한 이유

![](https://assets.st-note.com/img/1789572480-KvMj7h1BYSuD2qonTaGQ6lOw.png?width=1200)

첫 날에는 질문이 끝난 후 7초가 걸렸습니다. 3일차에는 약 3초로 줄었습니다. AI를 더 똑똑하게 만든 것은 아닙니다.

가장 큰 문제는 Windows에서 “localhost”로 설정하면 연결할 때마다 약 2.3초 정도 대기하는 현상이 발생했다. IPv6을 먼저 시도해 실패한 후 전환되기 때문에 “127.0.0.1”로 변경하는 것만으로 질문 1회당 4.6초를 단축할 수 있었다. 또한, AI의 답변을 한 문장씩 받아들이고, 처음 한 문장이 생성될 때 바로 음성으로 출력하는 방식이었다. 전체 내용을 기다리지 않았다.

## 실제 로그—비용은 정확히, 알 수 없는 것은 알 수 없음

![](https://assets.st-note.com/img/1789572654-7AKJO9UjisMPHXqwe2ETvyVm.png?width=1200)

대표가 스마트폰에서 Zoom에 접속하여 고객의 입장에서 질문했습니다. 3번째 테스트는 19문항으로, 평균 2.6초였습니다. 비용에 대한 질문에는 3가지 플랜과 실비를 자료대로 답변했으며, “8B AI로 무엇을 할 수 있는지”라는 질문에는 강점과 약점을 모두 언급했습니다. 주변 대화가 섞일 때는 “잘 들리지 않았습니다”라고 다시 확인하고, “오늘 날씨”에는 “회의용 AI이므로 모르겠습니다”라고 답변했습니다.

마지막 두 가지는 사실 중요합니다. 대답하지 않는 것을 명확하게 대답하고 있습니다.

## 내용은 상당히 거칠다 – 첫 날의 6가지 실패와 수정 방법

![](https://assets.st-note.com/img/1789572739-BTSqf0oa1EdvZL7wF524Is8k.png?width=1200)

첫 날은 대표 평가가 엄격했다. 회의 로그를 전부 다시 읽어 6개로 나누었다.

데이터가 없는데도 “대응이 불가능합니다”라고 단정짓고, “사진도 가립니다”라고 텅 빈 기능을 자랑한다. “구체적으로 알려주세요”라고 하면 굽힐 뿐이며, 주변 대화를 그대로 흉내내고 나서 답한다. 혼잣말에도 진지하게 답변하고, 상대방의 스피커에서 돌아온 자신의 목소리를 받아 자신에게 되돌려 말한다.

수정 방식은 표와 같습니다. 핵심은 “AI를 현명하게 만드는” 것이 아니라 “말해서는 안 되는 것을 말하게 하지 않는 시스템”을 구축한 것입니다. 자료에 부정적인 표현이 없으면 삭제하고, 숫자가 없으면 삭제합니다. 꼬리 질문은 바로 이전 질문과 연결하며, 청취의 확신도가 낮으면 다시 묻습니다. 업무와 관련 없는 이야기는 사실을 말하는 잡담 모드로 전환하고, 이야기한 직후 2초는 듣지 않습니다.

지역 모델(8B 클래스)은 방치하면 “인간적인 면모”를 드러냅니다. 영업 관련하여 가장 우려되는 부분은 바로 그것이기에, 외부 구조로 제약을 설정합니다.

## 데이터 – 텍스트 음성 변환은 “최악”이었다.

처음에는 로컬 AI에 자료에서 항목별 슬라이드를 만들게 하고, 그것을 읽어 보이게 했습니다. 대표는 “최악. 글만 읽고 있을 뿐이다. 자료는 시각적으로 이해할 수 있도록 하고, 말로 설명으로 이해도를 높여야 한다”고 지적하셨습니다. 말씀하신 대로입니다.

수정된 부분은 7페이지 전체를 그림으로 하는 것이었습니다. 클라우드와 사내 AI 데이터의 데이터 흐름 비교, 삼단 구조의 방어 흐름도, 가능한 기능 3장의 카드, 교육 과정 단계, 비용 막대 그래프, 도입 절차 흐름도 등을 포함했습니다. 대본은 “왼쪽이 현장의 본색, 오른쪽이 경영진의 본색”처럼 그림을 가리키며 보충 설명을 추가했습니다.

![](https://assets.st-note.com/img/1789572894-yvaG8bRNDhLAgi5n46l1SC3H.png?width=1200)

![](https://assets.st-note.com/img/1789572982-tcOLSfq14CoBxJXVriY7nPEy.png?width=1200)

슬라이드는 HTML과 SVG로 제작하여 이미지로 변환하고, PC의 전체 화면에 출력합니다. Zoom의 화면 공유 기능을 이용하여 미요가 대본을 읽고, 페이지 간의 몇 초 간격으로 질문을 받습니다. 대본에 포함된 숫자는 자료집에 있는 것들만 사용하며, 검산 스크립트를 통해 확인하고 있습니다.

그림의 설계와 대본은 사람(또는 제가)이 만들고, 낭독과 질의응답은 로컬 AI가 담당한다. 현재까지의 답이 바로 이 분담이다. 로컬 8B에 자료를 만들어 달라고 하는 것은 초안까지.

## 하지 말아야 할 일들

AI라고 주장한다. 처음에는 “AI 담당의 미오입니다. 저는 AI입니다”라고 말하게 하고 있다. 총무성 및 경제산업성의 “AI 사업자 가이드라인” 역시 AI와의 대화임을 사람에게 인지시키도록 요구하고 있다.

실제 인물의 얼굴이나 목소리를 사용하지 않습니다. 얼굴은 설정화에서, 목소리는 영상 생성의 음성에서 가져왔습니다. 누구에게도 영향을 주지 않도록 했습니다.

계약, 할인, 일정 조율을 불필요하게 하지 않습니다. “납기 시점은 맞습니까?” “가격은 더 저렴하게 할 수 있습니까?”와 같은 질문은 자료가 있어도 “대표를 통해 다시 전달하겠습니다”로 고정합니다. 결정하는 것은 사람입니다.

다른 회의에 함부로 들어가지 않는다. 내 계정으로 내 회의에 참석하는 것은 문제 없지만, 다른 회의에 봇으로 참여시키는 형태는 줌(Zoom)의 심사를 받을 수 있으며, 최신 정보는 줌 규약에서 확인할 수 있다.

Style-Bert-VITS2는 AGPL-3.0 라이선스로 제공되며, 내부 사용 시에는 별도의 확인이 필요 없지만, 외부 서비스 제공 시에는 라이선스 조건을 확인해야 합니다.

## 직접 해보니 알게 된 것

성공했던 이유는 “자료를 근거로, 모르는 것은 모른다고 말하는” 영업 담당자로서의 태도였다. 비용이 질문되었을 때 3개의 플랜을 틀리지 않고 설명했고, 날씨가 질문되었을 때 “모른다”라고 답했다. 이곳은 사람보다 안정적이다.

아직 부족한 것은 대화의 간이입니다. 상대방이 생각하고 있는 과정의 “에-또”를 질문으로 활용하거나, 주변의 소리에 반응합니다. 현재 억양 인식 정확도를 활용하여 방어하고 있지만, 사람의 영업이 하는 “지금은 기다려”의 판단은 아직 할 수 없습니다.

그럼에도 불구하고 매달 반복적으로 같은 설명을 해야 하는 회사라면, 첫 번째 설명과 초기 대응은 AI 직원에게 맡기고, 사람들은 결정하는 자리로 나오게 되는 형태는 현실적이라고 생각했습니다.

## 자체적으로 시도할 때는, 우선 무엇을 시도해 보기를 원하는지, 구체적인 내용을 명확하게 전달하는 것이 중요합니다. 예를 들어 “〇〇(책 제목)을 읽어보고 싶다”와 같은 막연한 희망이 아닌 “〇〇(작가 이름)의 ‘〇〇(책 제목)’을, 처음 30페이지를 읽어보고 재미있어 보이면 전체를 구매하고 싶다”와 같이 구체적인 내용을 제시함으로써 상대는 당신의 관심사와 흥미를 더 깊이 이해하고, 정확한 조언이나 제안을 할 수 있습니다.

또한, 시도하는 내용의 목적과, 시도함으로써 얻고 싶은 결과에 대해서도 전달하면 더욱 효과적입니다. “〇〇(책 제목)을 읽어 자신의 생각을 업데이트하고 싶다”와 같은 목적을 전달함으로써 상대는 당신의 니즈에 맞는 작품을 추천하거나, 독서를 통해 어떤 성장을 기대하는지 공유할 수 있습니다.

더욱이, 시도하는 기간과 빈도에 대해서도 가능한 범위 내에서 구체적으로 전달하면 상대는 더욱 적절한 지원을 제공할 수 있습니다. “〇〇(책 제목)을, 일주일에 1회, 30분 정도 꾸준히 읽어보기를 원한다”와 같이 구체적인 스케줄을 전달함으로써 상대는 당신의 페이스에 맞는 조언이나 진행 상황 확인 등을 할 수 있습니다.

이처럼 자체적으로 시도할 때 부탁하는 방법은 구체적인 내용을 전달하는 것, 목적과 결과를 전달하는 것, 기간과 빈도를 전달하는 세 가지 포인트를 의식하면 더욱 원활하고 효과적인 소통이 가능해집니다.

(A) 질문에 답변하기 (본체)

그녀는

마음마저 없는, 텅 빈 세상.

(D) 자료

## 마무리

자, 이번에는 이 기획의 마감에 대해 다시 한번 설명드리겠습니다.

이번 기획은 〇〇(책 제목)을 소재로 하여 독자 여러분께 깊이 공감받을 수 있는 뜨거운 이야기를 만들어내는 것을 목표로 합니다.

따라서 기획서의 내용, 구성, 캐릭터 설정, 그리고 이야기 전체의 주제 등 모든 면에서 철저하게 다듬고 완성도를 높이는 것이 중요합니다.

특히, 이야기의 핵심이 되는 부분, 즉 주인공 〇〇(인물 이름)이 맞닥뜨리는 갈등과 그것을 극복하기 위한 결의, 그리고 최종적인 결말에 대해서는 디테일까지 놓치지 않도록 꼼꼼하게 신경 써야 합니다.

또한, 이번 기획은 단순한 이야기 창작에 그치지 않고, 독자 여러분의 마음을 깊이 울리는 감동적인 작품을 만들어내는 것을 목표로 합니다. 따라서 이야기의 표현 방식, 문장의 구성, 그리고 이야기 전체의 톤 앤 매너 등 모든 면에서 독자 여러분의 마음을 사로잡는 세련된 표현을 추구해야 합니다.

이번 기획의 마감일은 〇〇(날짜)까지입니다.

이 날까지 기획서의 내용, 구성, 캐릭터 설정, 그리고 이야기 전체의 주제 등 모든 면에서 철저하게 다듬고 완성도를 높이겠다고 약속드립니다.

궁금한 점이 있으시면 언제든지 문의해주세요.

여러분의 열정과 창의력으로 훌륭한 이야기를 만들어내시길 바랍니다.

AI를 회의에 내보내는 것에 대해 “위장”을 우려하는 사람들이 많을 거라고 생각합니다. 저 또한 마찬가지입니다. 그래서 이름을 내세우고, 실제 인물과 비슷하지 않게 하며, 결정하는 장면에서 제외했습니다.

그 외에 남은 것은 밋밋한 사실일 뿐입니다. 자료대로, 실수를  gøre지 않고, 얼마든지 반복해도 똑같은 설명을 하는 담당자가 회사 내의 1대의 PC에서 작동하며, 속도는 3초입니다. 목소리도 글자도 외부로 나오지 않습니다.

이전 글(회사 안에 AI를 배치하는 이야기)는 여기 있습니다.

시리즈 전체 기사 목록은 여기 있습니다 (총정본).

이 시리즈는 계속됩니다. 팔로우하면 새로운 에피소드를 놓치지 않습니다.

LiveTalking, MuseTalk, faster-whisper, Ollama, Style-Bert-VITS2, pyvirtualcam 각 GitHub 리포지토리는 (★ 수와 라이선스는 2026년 9월 16일에 GitHub API로 획득되었습니다). MuseTalk은 리포지토리에 포함된 LICENSE 파일이 MIT 라이선스로 제공됩니다. 응답 시간, 프레임 레이트, 학습 시간은 당사 환경(Windows 11, RTX 3090)에서 2026년 9월 11일~12일 사이에 측정한 값입니다. “AI事業者ガイド라인”은 총무성 및 경제산업성의 공개 버전을 참조합니다. 회의 상대는 당사의 대표가 스마트폰으로 참여한 검증이며, 실제 고객은 아닙니다. 이미지 속 인물은 생성 AI에 의해 만들어진 가상 담당자입니다.

본 기사는 특정 성과, 수익, 법규 준수를 보장하는 것이 아니며, 라이선스, 이용 조건, 각 서비스의 약관은 이용자 스스로 최신 정보를 확인하시기 바랍니다.

#지역AI #Zoom #AI아바타 #중소기업

**출처:** [note 원문](https://note.com/open_hippo6440/n/n00fc404c5288)

*번역: Gemma 3(.44) 초벌 + 교정 50청크*

[원문 보기](https://note.com/open_hippo6440/n/n00fc404c5288) | 출처: note.com