PlayStation 5(PS5) 본체에서 AI 모델을 실행하고, PC나 스마트폰에서 채팅으로 이용할 수 있는 오픈 소스 앱 “PS5LM Plus”가 GitHub에서 공개되었습니다.
GitHub - abhi245y/PS5LM-Plus: llama.cpp on a jailbroken PS5: run any GGUF 모델 natively on the console, starting with Qwen 3.8https://github.com/abhi245y/PS5LM-Plus
PS5LM-Plus/docs/CLI.md at main · abhi245y/PS5LM-Plus · GitHubhttps://github.com/abhi245y/PS5LM-Plus/blob/main/docs/CLI.md
PS5LM Plus를 개발하고 있는 것은 GitHub 사용자 abhi245y 氏이며, 대규모 언어 모델(LLM)의 실행 소프트웨어 “llama.cpp”를 Mert Cobanov 氏가 PS5용으로 이식한 “PS5LM”을 기초로 합니다.
PS5LM Plus의 사용 방법은 다음과 같습니다. PS5LM Plus는 소니 공식 앱이 아니므로, 먼저 디스크가 정상화된 PS5 본체와 비공식 앱의 실행에 필요한 도구를 준비하고, PS5LM Plus를 홈 화면에 등록합니다. 그리고, PS5LM Plus를 실행하여 사용하고 싶은 AI 모델을 선택하면, PS5와 동일한 네트워크에 연결한 PC나 스마트폰에서 질문을 보낼 수 있게 되며, PS5에서 실행되는 AI 모델이 답변을 생성합니다. PS5LM Plus에서는 llama.cpp가 대응하는 GGUF 형식의 모델 파일이 이용 가능하며, PS5 내장 스토리지뿐만 아니라, 증설한 M.2 SSD나 USB 드라이브에 저장한 파일도 직접 읽어 들 수 있습니다. 또한, AI 모델 공유 사이트 “Hugging Face”에서 모델을 검색하고 다운로드하는 기능도 탑재되어 있으며, 모델의 입수부터 실행까지를 PS5 상에서 진행할 수 있습니다. 다음의 모델 선택 화면에서는 각 모델의 용량에 더하여, PS5의 빈 메모리로 실행할 수 있는지도 확인 가능합니다. 모델을 선택하면, 한 번에 처리할 수 있는 텍스트량의 상한치나, 대화의 계산 결과를 일시 저장하는 캐시 설정이 빈 메모리에 맞춰 자동으로 조정되므로, 메모리의 할당을 세밀하게 설정하지 않고도 실행할 수 있습니다.
개발자에 따르면, 탈옥 후 실행 시 로딩 프로그램 “페이로드”로 llama.cpp를 실행하는 경우, 이용 가능한 메모리는 약 6GiB로 제한되며, GPU도 사용할 수 없습니다. 따라서 PS5LM Plus는 홈 화면에서 실행하는 앱으로 제작되어 12GiB의 메모리와 GPU를 활용합니다. GPU에서의 계산에는 GPU를 다루는 API “Vulkan”에 대응한 llama.cpp의 기능과 PS5를 위한 전이된 드라이버를 결합합니다. 개발자의 측정 결과, 파라미터 수가 270억 (억) 개의 모델 “Qwen3.8-27B”의 양자화 버전 “UD-IQ2_XXS”가 매초 20.7 토큰으로 문장을 생성했습니다. 토큰은 AI가 문장을 처리할 때의 단위로, 단어나 단어의 일부에 해당합니다. 양자화는 모델 내의 숫자의 정밀도를 낮춰 데이터량을 줄이는 기술로, UD-IQ2_XXS 버전의 용량은 6.8GiB입니다. 아래 모델 상세 화면에서는 질문, 과거 대화, 생성하는 답변을 합쳐 최대 6만 5536 토큰을 처리하는 설정이 되어 있습니다.
개발자는 용량 1.9GiB의 소형 모델 “Llama 3.2 3B Instruct Q4_K_M”을 USB 드라이브에서 읽어온 테스트로, 매초 124 토큰의 생성 속도를 기록했습니다. 또한, PS5에 연결된 TV의 대시보드에서는 문장 생성 속도, GPU 및 CPU 사용률, 온도 외에 모델 본체와 캐시가 각각 얼마나 메모리를 사용하고 있는지도 확인할 수 있습니다.
PS5와 동일한 네트워크에 연결된 PC나 스마트폰 브라우저에서, 주소란에 “http://[PS5의 IP 주소]:8081”을 입력하여 접속하면 llama.cpp의 채팅 화면이 열리고, 입력한 질문에 대한 답변을 PS5상의 모델이 생성합니다. 다음은 PC 브라우저에서 “Llama 3.2 3B”에 질문한 화면입니다.
또한, Gemma 4과 같은 이미지 입력에 대응한 모델과, 그 모델용 이미지 처리 파일을 준비하면 채팅 화면에서 이미지를 첨가하여 질문할 수도 있습니다. 더 나아가, PS5LM Plus API는 OpenAI 및 Anthropic API와 호환성이 있으며, opencode, Codex, Claude Code와 같은 코딩 지원 도구에서 PS5 상의 모델에 코드 편집을 지시할 수도 있습니다. 개발자들은 이러한 도구를 PS5 상의 모델에 연결하여 Python 파일에 두 개의 값을 더하는 함수를 추가하도록 지시한 결과, 어떤 도구에서도 파일을 편집할 수 있었다고 보고했습니다. 다만, 질문이나 지시를 보내고 나서 답변이 시작되기까지는 입력을 처리하는 시간도 소요됩니다. 개발자들에 따르면, Qwen3.8-27B가 질문이나 지시를 처리하는 속도는 초당 35~50 토큰이며, 2만 토큰을 입력하는 경우 답변이 시작되기까지 몇 분이 걸린다고 합니다. 코딩 지원 도구는 작업 지시와 더불어 도구 사용법도 모델에 보내기 때문에 입력이 길어지기 쉬우며, 개발자들은 이러한 용도에는 Gemma 4 E4B와 같은 소형 모델을 권장합니다.
원문 보기 | 출처: Gigazine