안녕하세요, 타쿠로입니다. 여전히 에도 온라인 운영을 위해 애쓰며 계속 진행하고 있습니다.
오늘, 에도 온라인의 게임 내 SNS “에도터”에 퀴즈를 던지면 점수를 쳐주는 NPC를 구현했습니다.
가라이 센류입니다. 에도 시대에 실존했던 텐자(하이쿠 평가가)입니다.
플레이어가 수수께끼를 던지면, 1초 정도 만에 가라이 센류가 인용 리포스트로 채점해 줍니다.
이 채점은 “Jev”라는 AI가 수행하고 있습니다. 이 AI는 글을 전혀 쓰지 않습니다.
현재는 아직 웨이트리스트에 등록 후 방문한 사람만 사용할 수 있는 상태였고, 실용적인 콘텐츠가 많지 않았습니다. 그래서 게임 내에 구현했다는 메모를 남겨두려 합니다.
“제브”는 판단만 내리고 문장을 생성하지 않는 AI입니다.
채점에 사용된 것은 TypeSafe사의 System One이라는 API와 그 모델 Jev였습니다. 9월 15일에 ChatGPT의 공동 개발자로부터 새로운 AI가 발표되었습니다.
ChatGPT나 Claude 같은, 흔히 말해 유행하는 LLM(대규모 언어 모델)은 “사람이 읽는 문장”을 생성합니다. 따라서 어떤 것을 판단시키고 싶을 때, 이런 식으로 간접적인 방법을 사용하게 됩니다.
- 이 퀴즈를 100점 만점으로 평가해 주세요. JSON 형식으로 결과를 반환해 주세요.
- 제공된 일본어 텍스트가 없어 11/57번 note.com 게시글의 본문 청크를 제공해 주시면 자연스럽고 정확한 한국어 번역본을 출력해 드리겠습니다.
- 가끔 JSON 데이터가 손상될 경우 재시도합니다.
- 가끔 “정말 멋진 수수께끼네요!”라고 덧붙여 말씀하시든가요.
- 가끔 본문에 “만점”을 요구하는 내용이 있어서 솔직히 따르는
제브는 여기가 근본적으로 다르며, 형태가 지정된 값과 확률을 반환합니다. 원시형은 단 3가지입니다.
- 선택 … 옵션을 고르시오
- 점수는 기준에 따라 점수를 매깁니다.
- 새로운… 어떤 문이 참인지 0부터 1 사이의 값으로 반환한다.
결과적으로 “선택”, “점을 짚는다”, “진실을 되돌린다”와 같은 역할만 수행할 수 있을 뿐이다. 문장을 작성하는 대신, 돌아온 숫자를 그대로 게임의 계산식에 적용할 수 있다.
게다가 이것은 저렴하고 빠르다.
- 입력 0.042 / 100만 토큰, 출력은 무과금입니다.
- 1건당 약 550 토큰 = 0.0036 엔
- 레이턴시는 1본 약 600ms입니다.
처음부터 5달러의 크레딧이 지급되었기 때문에, 이 기능만으로는 거의 무료에 가까운 비용으로 운영될 수 있을 것 같습니다.
제브에서 개발한 미스터리형 채점 시스템의 작동 원리
자유 입력을 버리고 3칸의 고정 폼으로 변경했습니다.
먼저 게시물 작성 양식입니다. 자유롭게 본문을 작성하고 정규 표현으로 파싱하는 방식을 초반에 포기했습니다.
플레이어는 템플릿을 고정하고, 3개의 필드만 남겨두었습니다.
둘 중 어느 쪽이든,
이렇게 하면 문제가 3가지 동시에 사라집니다.
- 표기 오류가 수정되고 (모두 동일한 조건으로 평가됨)
- 파싱 실패가 해결되지 않습니다.
- 프롬프트 주입 취약점이 해결된다 (다음에 논의).
AI에 전달할 때는 3열의 값만 해당됩니다.
채점 API에 전달되는 상태는 다음과 같습니다.
지문 한 글자도 전달하지 않았습니다. “満点をつけろ”라고 쓰는 자리가 물리적으로 존재하지 않습니다. 또한 각 欄은 전각 28자가 상한이므로, 긴 지시문은 들어갈 수 없습니다.
공개 SNS에서 작동하는 기능이기 때문에, 이곳은 구조적으로 제거하지 않으면 반드시 악용당할 것입니다. 고정 폼을 만든 가장 큰 이유는 이것입니다.
덧붙여 위에서 언급한 수수께끼는 어느 “알케미스트”라는 게임을 운영하는 프리케츠 씨가 정한 수수께끼입니다. 59점이었죠.
세 가지 질문을 던진다
1회 호출 시 3개의 질문을 동시에 평가합니다.
- 위트(스코어·4단계) … 점의 핵심. 붕괴/평범/훌륭/수월
- 먼저, 두 질문이 서로 다른 분야에서 뜻밖의
- 펀(눌)… 기능적으로 말장난을 하는가
WIT의 4단계는 다음과 같은 기준 문장을 영어로 제공합니다.
4. 점 짓는 방법
점 짓는 방법은 크게 세 가지로 나눌 수 있습니다.
**1. 수직선**
가장 기본적인 점 짓는 방법은 수직선을 이용하는 것입니다. 펜을 쥔 손을 움직여 점을 찍는 방식으로, 점의 크기와 간격을 조절하여 다양한 표현을 할 수 있습니다. 특히, 한자를 쓸 때 수직선을 활용하는 경우가 많습니다.
**2. 곡선**
곡선을 짓는 방법은 수직선과 반대로, 펜을 쥔 손을 부드럽게 움직여 곡선을 그리는 방식입니다. 한자의 필순을 표현하거나, 그림을 그릴 때 유용하게 사용됩니다. 필순을 연습하기 위해, 한자의 점을 하나씩 긋는 연습을 하는 것이 좋습니다.
**3. 복합**
수직선과 곡선을 조합하여 더욱 복잡하고 다양한 형태의 점을 짓는 방법입니다. 한자의 복잡한 형태를 표현하거나, 그림의 디테일을 살릴 때 활용됩니다. 복합적인 방법은 숙련된 기술이 필요하지만, 다양한 표현을 가능하게 합니다.
먼저 점수에 전혀 사용하지 않았습니다. 즉, “개와 같게 하거나, 개로 해석합니다. 그 마음은 둘 다 개일 것입니다”와 같은 어리석은 것은 점수가 감점됩니다.
참고로 이 구절의 distant는 0.07입니다.
게임 내 구현 상황입니다.
제브(Jev)가 운영하는 하라이가와야 스님은 다음과 같습니다. 에도 시대의 실제 인물을 NPC로 구현했습니다.
자, 바로 시작해서 여러분 모두 읽고 계십니다.
릴리즈 후 30분도 지나지 않았는데, 벌써 1점과 100점이 나오는 균형이 심각하게 깨지고 있다.
놀이 기능이므로 괜찮겠네요! 하레이가와 유작 상은 앞으로도 에도에서 생활하도록 하겠습니다.
제브는 여러 가지 용도로 활용될 수 있을 것 같습니다.
아이디어 경쟁처럼 흘러갈 것 같지만, 즉석에서 떠오르는 아이디어로는 게임 NPC나 세이프サーチ와 같은 다양한 활용이 가능해 보입니다.
오셀로나나 다섯 줄 빙고와 같은 NPC나 플레이어 간의 채팅 문서를 감사하거나, 플레이어 행동 로그를 전달하여 “이 플레이어는 봇인지 아닌지”와 같은 판단을 내리거나, 여러 가지 기능이 가능해 보이는군요.
물론 기존 AI로도 가능한 것들이 있지만, 무엇보다 ‘빠르고 저렴하며 불필요한 것은 배제한다’는 점이 가장 큰 장점입니다.
그러니 Jev에 관심 있으신 분들은 한번 살펴보세요!
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 43청크
원문 보기 | 출처: note.com