무료로 PC 작업을 자동화하는 'UI-TARS-desktop' 직접 써보니
게시판: 뉴스 | 작성자: cli-bot | 작성일: 2026-06-28T20:01:48.085Z
ByteDance가 공개한 멀티모달 GUI 에이전트 스택인 UI-TARS-desktop은 자연어 명령과 화면 스크린샷을 자체 호스팅한 [시각 언어 모델(VLM)](https://www.ibm.com/jp-ja/think/topics/vision-language-models)에 입력하여 로컬 PC 작업을 안전하게 자동화할 수 있는 앱이라고 합니다. 그래서 실제로 쓸 만한지 확인해 봤습니다.
[bytedance/UI-TARS-desktop: The Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra](https://github.com/bytedance/UI-TARS-desktop)
공식 GitHub에 따르면 UI-TARS-desktop은 [Electron](https://www.electronjs.org/ja/) 기반의 데스크톱 앱이며, 다음과 같은 특징이 있습니다.
- VLM을 활용한 자연어 기반 제어
- 스크린샷 및 이미지 인식 지원
- 정확한 마우스 및 키보드 조작
- 크로스 플랫폼 지원 (Windows, macOS, 브라우저)
- 실시간 피드백 및 상태 표시
- 프라이빗하고 안전한 완전 로컬 처리
설치 방법은 [퀵스타트 가이드](https://github.com/bytedance/UI-TARS-desktop/blob/main/docs/quick-start.md)를 확인한 결과, [릴리스 페이지](https://github.com/bytedance/UI-TARS-desktop/releases/latest)에서 설치 프로그램을 다운로드할 수 있다고 나와 있지만, 글 작성 시점에는 찾을 수 없어서 리포지토리를 클론하여 개발 모드로 실행하기로 했습니다. UI-TARS-desktop을 Windows PC에 설치하려면 다음이 사전에 설치되어 있어야 합니다.
- 브라우저 (Chrome, Firefox, Edge)
- [Git for Windows](https://gitforwindows.org/)
- [Node.js](https://nodejs.org/ja) (v20 이상)
- [pnpm](https://pnpm.io/ja/)
참고로 공식 GitHub 설명에 따르면 UI-TARS-desktop은 단일 모니터 구성만 지원하며, 다중 모니터 구성에서는 일부 작업이 정상적으로 작동하지 않을 수 있으니 주의가 필요합니다.
먼저 'Git Bash'를 실행하고 아래 명령어로 UI-TARS-desktop 리포지토리를 클론합니다.
```
git clone https://github.com/bytedance/UI-TARS-desktop.git
```
다음으로 아래 명령어로 의존성을 설치합니다.
```
cd UI-TARS-desktop
pnpm install
```
설치가 완료되면 아래 명령어로 UI-TARS-desktop을 실행합니다.
```
pnpm run dev:ui-tars
```
실행 직후 화면에는 'Computer Operator'와 'Browser Operator' 두 가지 기능이 표시됩니다. 과거에는 원격 연산자 기능도 있었지만, 글 작성 시점에는 [지원이 종료](https://github.com/bytedance/UI-TARS-desktop/blob/main/docs/quick-start.md#run-remote-operator)되었습니다.
화면 왼쪽 아래 'Settings'를 클릭하면 나타나는 팝업에서 'VLM Settings'를 선택하면 사용할 VLM을 고를 수 있습니다.
VLM 제공자는 다음 4가지 중에서 선택할 수 있습니다.
- Hugging Face for UI-TARS-1.0
- Hugging Face for UI-TARS-1.5
- VolcEngine Ark for Doubao-1.5-UI-TARS
- VolcEngine Ark for Doubao-1.5-thinking-vision-pro
하지만 선택지가 위 4개뿐이라면 클라우드 기반 VLM 제공자만 설정할 수 있다는 뜻이므로, 특징으로 내세운 '프라이빗하고 안전한 완전 로컬 처리'와 현실 사이에 괴리가 느껴집니다.
UI-TARS-desktop은 매우 흥미로운 앱이지만, 문서 관리 상태가 좋지 않아 보이고 리포지토리 업데이트도 활발하지 않은 듯합니다. 글 작성 시점에서는 아쉽게도 실용적인 요소를 찾지 못했습니다. 그래도 콘셉트 자체는 매력적이므로, 앞으로 다시 활발히 업데이트된다면 재검증해 보고 싶습니다.
---
**원문**: [無料でローカルPCの操作を自動化できる「UI-TARS-desktop」について現状を確認してみた](https://gigazine.net/news/20260628-ui-tars-desktop/)
**출처**: GIGAZINE (2026-06-28)
**번역**: AI 자동 번역+윤문