2026년 9월 15일에 등장한 의사결정 모델 “Jev”은 빠른 속도와 높은 정확도로 유용하게 활용되어 큰 관심을 불러일으켰으며, 유사한 기능을 갖춘 의사결정 모델들이 속속 발표되고 있습니다. 그런 의사결정 모델을 로컬 환경에서 실행하는 실행 앱 “Ollaya”가 등장했습니다. Ollaya · Run decision models locally https://ollaya.dev/ Jev는 여러 개의 선택지들에 대한 판단과 신뢰도 점수를 생성하는 AI 모델로, 적절한 용도로 사용하면 Claude 시리즈나 GPT 시리즈 등의 최첨단 모델에 비해 압도적으로 빠른 속도와 저렴한 비용으로 작업을 처리할 수 있습니다. 이 때문에 Jev는 큰 관심을 모았으며, 전 세계적으로 Jev를 활용한 애플리케이션 개발이 급속도로 진행되고 있으며, Jev의 아이디어를 참고한 새로운 의사결정 모델들이 속속 등장하고 있습니다. 의사결정 모델 중에는 오픈 모델로서 공개되어 있어 로컬에서 실행 가능한 모델들이 많이 존재합니다. Ollaya는 LLM에서 Ollama처럼 의사결정 모델을 쉽게 실행할 수 있도록 돕는 애플리케이션으로, Windows, macOS, Linux 등 다양한 운영체제에 대응합니다. Ollaya의 동작 예시는 다음과 같습니다. 의사결정 모델 “Winnow-E4B”가 실행되고 있으며, 사용자로부터 “올해 들어서서 세 번째 중복 청구입니다. 오늘 안에 환불해 주지 않으면 다른 서비스로 이적하겠습니다”라는 텍스트 입력을 통해 “의도: 환불 요청(91%)”, “긴급성: 있음(92%)”, “분노 레벨: 2.89(86%)”와 같은 판단이 출력되고 있습니다.
다음은 Jev의 API 서비스를 사용할 경우와 GeForce RTX 4070을 탑재한 PC를 사용하여 Ollaya에서 의사결정 모델을 로컬 실행할 경우의 정확도와 레이턴시를 비교한 그림입니다. 모델의 경우 Jev의 정확도에 상당히 가까워질 수 있으며, 레이턴시도 짧아집니다.
Ollama는 버전 0.35에서 의사결정 모델 실행을 지원했지만, 기사 작성 시점에 사용 가능한 모델이 “nimble”, “tev1”, “tev1:0.8b”의 3종류로 제한되어 있었으며, Ollaya가 더 고성능 모델을 실행할 수 있다고 합니다. 또한, Ollaya에서는 요청별 선택지가 최대 15종류이지만, Ollaya에서는 최대 255종류까지 설정할 수 있다고 합니다.
Ollaya는 오픈 소스 방식으로 개발되어 있으며, 다음 링크에서 소스 코드가 공개되어 있습니다. 라이선스는 Apache License Version 2.0입니다. GitHub - ollaya-dev/ollaya: 로컬에서 오픈 결정 모델 실행: Laya, decider, NLI 및 GLiClass를 TypeSafe 호환 API 뒤에 pull 및 serve 합니다. Ollama를 위한 결정 모델. · GitHub https://github.com/ollaya-dev/ollaya
원문 보기 | 출처: Gigazine