# OpenAI 독자 추론 칩 '할라페뇨' 실측 공개, NVIDIA GB200/GB300 대비 와트당 최대 1.9배

> https://bookfactory.kr/c/news/10718
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-08-28T11:36:24.500Z

---

OpenAI는 2026년 8월 25일(현지 시간), 자사 최초의 커스텀 추론 칩 'Jalapeño(할라페뇨)'의 실측 벤치마크 결과를 공개했다. GPT-OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T의 3개 모델로 평가했으며, 비교 대상 AI 시스템 대비 피크 시 와트당 처리 성능에서 1.5~1.9배, 엔드투엔드 레이턴시에서 1.7~3.6배의 성능을 보였다고 밝혔다.

Jalapeño는 OpenAI가 LLM의 추론 처리를 위해 설계한 독자적인 액셀러레이터로, 2026년 6월 Broadcom과 함께 발표했다. OpenAI가 칩을 처음부터 설계하고, Broadcom과 Celestica가 칩 구현, 보드, 랙, 네트워크, 양산 시스템 등을 지원하고 있다. 6월 발표 당시에는 최종 성능을 측정 중이라고 했으며, 이번에 그 실측 결과가 공개되었다.

## GPT-OSS 등 3개 모델에서 와트당 성능 1.5~1.9배

성능 평가에는 SemiAnalysis가 공개한 추론 벤치마크 'InferenceX'를 사용했다. OpenAI는 단순한 칩 단독의 처리 성능이 아니라, 사용자가 요구하는 응답 속도를 유지하면서 일정한 전력으로 얼마나 많은 AI 처리를 수행할 수 있는지를 평가하고 있다.

피크 시 와트당 처리 성능에서는 GPT-OSS 120B에서 Jalapeño가 85,448 mixed tokens/s/kW, 비교 대상 NVIDIA GB200이 44,960으로 약 1.9배가 되었다. DeepSeek R1에서는 GB300 대비 약 1.7배, Kimi K2.5에서는 GB300 대비 약 1.5배였다.

■ Jalapeño와 비교 대상 시스템의 피크 시 와트당 처리 성능. GPT-OSS 120B에서 1.9배, DeepSeek R1에서 1.7배, Kimi K2.5에서 1.5배가 되었다

## 사용자 1인당 생성 속도는 최대 4.1배

사용자 1인당 디코딩 속도에서도 차이가 났다. Jalapeño는 GPT-OSS 120B에서 초당 1,459토큰, DeepSeek R1에서 초당 700토큰, Kimi K2.5에서 초당 694토큰을 기록했다. 비교 대상은 각각 초당 535, 169, 182토큰으로, Jalapeño는 약 2.7~4.1배가 된다.

엔드투엔드 레이턴시에 대해서도 GPT-OSS 120B에서 약 1.7배, DeepSeek R1에서 약 3.6배, Kimi K2.5에서 약 3.4배 낮았다고 밝혔다.

■ Jalapeño와 비교 대상 시스템의 사용자 1인당 최대 디코딩 속도. GPT-OSS 120B에서 2.7배, DeepSeek R1에서 4.1배, Kimi K2.5에서 3.8배가 되었다

OpenAI에 따르면, Jalapeño의 정격 전력은 700W이며, 이번에 테스트한 워크로드에서는 실측 지속 소비 전력이 550W 이하였다고 한다. 추론 처리에서는 프롬프트를 처리하는 '프리필'과 답변을 토큰 단위로 생성하는 '디코딩'에서 병목 지점이 다르다. Jalapeño는 칩, 메모리, 네트워크, 소프트웨어를 일체로 설계하여 데이터 이동 및 통신으로 인한 대기 시간을 줄이는 구성을 채택했다.

참고로, InferenceX를 운영하는 SemiAnalysis는 OpenAI의 연구 시설에서 벤치마크 실행을 확인했다고 설명하고 있다. 한편, 수치 자체는 OpenAI에서 제공된 것으로, SemiAnalysis가 InferenceX의 모든 벤치마크를 독자적으로 수행한 것은 아니라고 밝히고 있다.

OpenAI는 Jalapeño를 2026년 말까지 자사 컴퓨팅 인프라에 도입할 계획이며, 2세대는 이미 개발이 진행 중이고 3세대 설계에도 착수했다. 동사는 앞으로도 NVIDIA 등 파트너 기업의 액셀러레이터를 학습·추론 양쪽에서 폭넓게 활용하면서, Jalapeño를 복수 세대의 자체 추론 플랫폼으로 전개할 방침이다.

[원문 보기](https://ledge.ai/articles/openai_jalapeno_benchmark_results) | 출처: Ledge.ai