“Nerf Bench”는 AI 모델이 론치데이(서비스 시작일)부터 얼마나 성능을 유지하고 있는지를 평가하는 벤치마크입니다. Nerf Bench — Model power over time | BridgeBench https://www.bridgebench.ai/nerf-bench
Nerf Bench는 블로그에서 모델의 성능을 평가하는 메커니즘에 대해 설명하고 있습니다. How Nerf Bench Detects When AI Models Get Nerfedhttps://www.bridgebench.ai/blog/how-nerf-bench-works
Nerf Bench는 인공지능 모델의 성능을 “파워(힘)”라는 단일한 수치로 평가하며, 파워 값의 크기에 따라 모델이 작업을 얼마나 잘 수행할 수 있는지를 나타냅니다. 파워의 산출에는 다음과 같은 3가지 요소가 평가됩니다.
* 성능(Performance): 모델이 작업을 얼마나 잘 완료할 수 있는가
* 토큰(Tokens): 동일한 작업을 완료하기 위해 사용되는 토큰 수
* 비용(Cost): 작업의 실행에 필요한 비용
모델이 동일한 작업을 완료하기 위해 많은 토큰을 사용하거나 비용이 높아지면, 아무리 성능이 동일하더라도 파워는 감소한 것으로 간주됩니다. 각 요소는 광범위한 작업 및 카테고리에서 집계되어 모델의 론치데이 파워를 100% 기준으로 상대적인 값으로 제시됩니다. 예를 들어, 특정 모델의 현재 파워가 85%였다면, 모델은 론치 시점의 성능의 85%만 발휘할 수 있음을 의미합니다. 반대로 115%라면 론치 시점보다 성능이 향상된 것になります.
Nerf Bench에서는 정규 분포에 따른 분산의 개념에 기반하여, 모델의 파워가 론치 시점에 90%에서 110% 범위 내에 있다면 “정상적인 변동”으로 간주합니다. 정상적인 변동의 범위를 하회하거나 상회하는 결과가 2회 연속으로 검출된 경우, 모델의 성능에 실제 변화가 있었다고 판단합니다. Nerf Bench는 모델이 론치될 때 벤치마크 테스트를 실시합니다.
첫 번째 테스트 실행은 모델의 론치 시점 성능, 즉 100%의 성능을 결정하기 위한 것입니다.
론치 후, 동일 모델에 여러 번 반복적으로 벤치마크 테스트를 실행하여 얻어진 각 테스트 결과는 론치 시점 모델 성능과 비교됩니다. 90%에서 110% 사이의 모델은 안정적인 성능을 유지합니다. 90% 미만을 하회하는 모델은 성능이 저하되고, 110%를 초과하는 모델은 론치 시점보다 성능이 향상됩니다.
단일한 태스크의 결과가 저하된 것만으로는 판단하지 않고, 광범위한 성능 저하가 관찰된 경우에 처음으로 모델의 성능 저하로 감지됩니다.
덧붙여, 구체적인 태스크, 테스트 내용, 테스트 결과는 비공개로 유지되고 있습니다. 결과의 신뢰성을 유지하고 벤치마크 부정행위를 억제하기 위함입니다.
원문 보기 | 출처: Gigazine