로컬 AI 는 GPU 성능이 중요하지만, AI 를 사용하려는 모든 PC 에 고성능 GPU 를 탑재하면 비용이 많이 들어갑니다. 따라서 고성능 PC 1 대를 AI 서버로 설정하고, 다른 PC 들로부터 AI 를 사용할 수 있는 환경을 구축해 보겠습니다. 이번에는 AI 에이전트 'Hermes Agent' 를 사용하여 각 PC 의 브라우저 를 조작하면서 AI 추론만 다른 PC 에 맡기는 구성을 목표로 합니다. 여러 명이 사용하는 것을 가정하여 사용자 인증과 이용 기록 기록 기능도 포함합니다.
구성은 다음과 같이 계획합니다. AI 서버 측: ① Ollama: AI 모델 실행, ② Open WebUI: API 중계 및 사용자 관리 및 이용 기록, ③ NetBird: VPN 연결, ④ NetBird: VPN 연결 클라이언트 PC 측, ⑤ Hermes Agent: AI 에 대한 지시 및 도구 실행 등. 이번 글에서는 ① 과 ② 부분, 즉 로컬 AI 를 실행하는 서버에 Ollama 와 Open WebUI 를 설치하는 과정까지 진행해 보겠습니다.
◆ 1: Ollama 설치
Ollama 는 로컬 PC 에서 AI 모델을 실행할 수 있는 소프트웨어입니다. 이번에는 AI 를 작동시키는 서버로 Intel Arc Pro B70 32GB 를 탑재한 PC 를 사용합니다. 먼저 Ollama 공식 사이트의 'Download' 를 열고 설치용 명령어를 복사합니다. Windows 의 경우 다음과 같습니다.
시작 메뉴에서 Windows PowerShell 을 실행하여 붙여넣기 한 후 엔터키를 눌러 실행합니다.
설정이 완료되면 'ollama run qwen3.8:27b' 명령어로 Qwen3.8-27B 를 실행합니다. 메시지 대기 표시가 나타나면 준비가 완료되었습니다.
테스트로 "안녕하세요. qwen3.8-27B 의 4bit 양자화 모델이 얼마나 VRAM 을 필요로 하는지 알 수 있나요?"라는 프롬프트를 입력해 보았습니다. 자신의 모델 이름인 'qwen3.8-27B'를 몰랐지만, 27B 라는 파라미터 수와 4bit 양자화라는 정보에서 VRAM 사용량을 계산해 주었습니다. 토큰 출력 속도는 읽을 따라가지 못하는 수준으로 초고속이었습니다.
확인용으로 PowerShell 을 다시 실행하여 'ollama ps'를 실행하면 '100% GPU'와 모델이 GPU 에 완전히 로드된 상태임을 확인할 수 있었습니다. 컨텍스트 크기는 32k 로 설정되어 있지만, Hermes Agent 의 동작에는 64k 가 필요하므로 설정을 변경하겠습니다.
작업 표시줄의 Ollama 아이콘을 마우스 오른쪽 버튼으로 클릭한 후 'Settings' 를 클릭합니다. 설정 화면이 열리면 하단部分的의 'Context length' 를 64k 로 슬라이드하면 됩니다.
Open WebUI 에 액세스하려면 브라우저 를 시작하고 URL 필드에 "http://localhost:3000/" 을 입력하면 됩니다. Open WebUI 화면이 열리면 "시작 →" 를 클릭합니다.
Open WebUI 는 자동으로 Ollama 와 연동하는 기능을 제공하며, 별도의 설정 없이도 Ollama 에서 실행 중인 모델인 "qwen3.8:27b"와의 채팅 화면이 열립니다.
Ollama 로 갔을 때와 동일한 질문으로 작동 여부를 확인해 보았으나 특별한 문제가 없었습니다. 여전히 초고속입니다.
다음 회에는 각 개인용 사용자 계정을 발급하고, 이후 절차를 진행하겠습니다.
원문 보기 | 출처: Gigazine