COBOL이나 Fortran과 같은 프로그래밍 언어는 채택 건수가 적지만 은행 시스템 등 중요한 곳에서 사용되고 있습니다. GPT-6 시리즈에서는 COBOL, Fortran, Visual Basic 등 학습 데이터가 적은 언어의 처리 능력이 향상되었다는 소식입니다. 학습 리소스가 적은 프로그래밍 언어에서의 코딩 능력 향상 | OpenAIhttps://openai.com/ja-JP/index/low-resource-programming-languages/OpenAI 에 따르면, COBOL, Fortran, Visual Basic 등의 언어는 Python 등의 언어와 비교했을 때 학습에 사용할 수 있는 데이터가 적어 기존 AI 모델에서는 처리 정확도가 낮았다고 합니다. 그러나 GPT-6 시리즈에서는 처리 정확도가 크게 개선되었다는 소식입니다.
OpenAI 는 AI 모델의 희소 언어 대응 능력을 측정하기 위해 'MultiLangBench'라는 벤치마크 테스트를 설계했습니다. MultiLangBench 는 'SQLite 호환 데이터베이스 엔진 개발'이라는 작업을 수행하는 테스트로, AI 모델은 'C 언어', 'C#', 'Python', 'COBOL', 'Fortran', 'Visual Basic' 등 20 가지 프로그래밍 언어로 작업을 실행하고 테스트에 합격해야 합니다. 각 모델의 테스트 합격률은 다음과 같습니다. GPT-6.1 Sol 의 합격률은 87.04%, GPT-6 Astra 의 합격률은 87.39% 로, GPT-5.6 Sol 의 26.77% 를 크게 상회했습니다. 또한, GPT-6 시리즈의 저가 모델인 GPT-6 Luna 도 40.31% 를 기록하여 GPT-5.6 Sol 을 상회했습니다.
GPT-6 Astra(파란색) 와 GPT-5.6 Sol(주황색) 의 언어별 합격률은 다음과 같습니다. GPT-6 Astra 는 COBOL 나 Fortran 등의 희소 언어를 포함한 모든 언어에서 GPT-5.6 Sol 을 상회했습니다.
GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, GPT-5.6 Sol 의 COBOL 과목 합격률을 보여주는 그래프가 다음과 같습니다. 가로축은 과제에 소요된 비용, 세로축은 합격률을 나타냅니다. GPT-6 시리즈는 GPT-5.6 Sol 보다 높은 합격률을 보였으며, GPT-6 Luna 는 GPT-5.6 Sol 보다 낮은 비용으로 높은 점수를 기록했습니다.
또한 OpenAI 는 COBOL 로 개발된 프로그램을 'C++', 'Java', 'Kotlin', 'Python', 'Rust' 중 하나로 이관하는 테스트도 수행했습니다. 이관 테스트 결과가 다음과 같습니다. GPT-6 시리즈의 성공률이 높으며, GPT-6.1 Sol 은 저비용으로 정밀한 이관이 가능합니다.
OpenAI 는 "COBOL 과 Fortran 을 처리하는 능력을 향상시킴으로써 AI 가 중요한 인프라 소프트웨어의 유지보수 및 현대화를 지원할 수 있을 것"이라고 밝혔습니다.
원문 보기 | 출처: Gigazine