# OpenAI의 자체 개발 저장 시스템 “Habitat”에 대한 사용자 데이터 처리 방식 설명

억 → 억
조 → 조
페타 → 페타

> https://bookfactory.kr/board/news/18349
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-09-24T05:05:38.182Z

---

OpenAI는 ChatGPT와 Codex와 같은 서비스를 제공하고 있으며, 사용자 수는 2026년 7월 말 기준으로 10억 명에 달합니다. OpenAI는 10억 명 이상의 사용자의 데이터를 자체 개발한 온라인 저장 시스템 “Habitat”에서 관리하고 있다고 합니다. 이 Habitat에 대한 자세한 내용은 OpenAI의 공식 블로그에서 설명되어 있습니다. Rapidly scaling online storage to serve over 1 billion ChatGPT users | OpenAI https://openai.com/index/scaling-storage-one-billion-users-part-one/Habitat의 초기 버전은 2023년 11월에 개최된 DevDay에서 발표되었습니다. 초기 Habitat는 작은 Python 라이브러리였으며, 검색, 암호화, 시리얼화와 같은 처리를 Microsoft의 데이터베이스 서비스 “Azure Cosmos DB”의 다양한 기능에 매핑하는 것을 주 목적으로 하고 있었습니다. OpenAI는 “Habitat를 우선적으로 사용하라”는 업무 명령을 내리지 않았지만, 엔지니어들은 자연스럽게 Habitat를 선호적으로 사용하는 경향이 있었습니다. 이후 Habitat는 OpenAI의 서비스 규모 확대에 맞춰 업데이트되었으며, 2026년 9월 시점에서는 “매 초당 7천만 건 이상의 요청”, “매주 10억 건 이상의 활성 사용자”, “500페타바이트 이상의 데이터”를 처리하는 중요한 시스템이 되었습니다. OpenAI는 “이러한 규모의 인프라 구조를 구축하고 운영하는 것은 쉬운 일이 아니지만, 특별히 어렵다는 의미는 아니다. 그러나 OpenAI는 매년 10배 이상 성장하고 있으며, 전례 없는 속도로 성숙한 플랫폼을 구축해야 하는 상황에 놓였다”고 언급하며, 급증하는 사용자 및 데이터에 대응하는 어려움을 강조했습니다.Habitat는 클라이언트 측에서 동작하는 Python 라이브러리로 업데이트되었지만, OpenAI의 서비스 증가에 따라 구현이 복잡해져 2025년 중반쯤에는 후방 호환성을 유지하기 어려워졌습니다. 이 상황에 대응하기 위해 Habitat는 독립된 서비스로 분리되어 클라이언트 측의 사정에 좌우되지 않도록 업데이트 등을 진행할 수 있게 되었습니다.

Habitat를 서비스화하는 과정에서 Python에서 다른 저수준 언어로의 전환도 고려되었습니다. 그러나 “현재 시점에서는 언어 전환보다 시급한 과제 해결에 우선순위를 둔다. 향후 저수준 언어 전환이 필수적일 때쯤에는 ‘Codex나 GPT를 이용하여 저수준 언어에 전환한다’는 흐름이 실용화될 것이다”라는 ‘계산된 도박’에 따라 Python 개발을 지속했습니다. OpenAI는 Habitat의 병렬 처리를 위해 표준 라이브러리 “asyncio”를 활용했습니다. 하지만 asyncio에서는 CPU의 각 스레드에서 동시에 1개의 처리만 실행할 수 있어 CPU 부하가 높은 작업에서는 지연이 커집니다. OpenAI는 지연을 최대한 줄이기 위해 CPU, 메모리, 저장소, 네트워크의 활용률을 모니터링하고 최적화를 진행했습니다.

최적화에 따라 매초 2천만 건 이상의 방대한 요청을 처리할 수 있게 되었습니다. 그러나 OpenAI는 Habitat의 추가적인 효율 향상을 위해 Python에서 Rust로의 전환을 결정했습니다. 2026년 2분기에 “2명의 인간 엔지니어”, “Codex”, “GPT-5.5”를 사용하여 Habitat 서비스 전체를 Rust로 다시 작성하는 데 성공했습니다. Rust 버전 Habitat는 Python 버전 Habitat에 비해 CPU 효율이 6배, 메모리 효율이 15배 향상되었으며, 레이턴시가 크게 낮아졌습니다. 2026년 9월 기준으로 Rust 버전 Habitat가 요청의 95%를 처리하고 있으며, Python 버전 Habitat는 수 주 이내에 폐기될 예정입니다.

[원문 보기](https://gigazine.net/news/20260922-openai-storage-habitat/) | 출처: Gigazine