Microsoft가 코딩 전용 대규모 언어 모델 "WizardCoder" 개발

[admin]

Microsoft가 코딩 전용 대규모 언어 모델 "WizardCoder" 개발

이 모델은, Hugging Face가 발표한 「StarCoder」를 경량화해, 고정밀도화하는 수법으로

코드 생성 벤치마크에서의 실험 결과는 WizardCoder가 다른 모든 오픈 소스 LLM을 초과했습니다.

클로즈드 LLM과 비교하면 GPT-4, GPT-3.5에 이어 3위.

WizardCoder의 특징 ▼
・「Evol-Instruct」라고 하는 시스템 ・「Evol-Instruct」는 명령 데이터를 자동 생성하는 시스템으로, 이것을 코드의 도메인에 적응시키는 것이 가능하게

코드별 Evol-Instruct ▼
• "Evol-Instruct"를 사용하여 코드 특정 명령 데이터를 생성합니다. 이를 통해 복잡한 코드 명령 데이터를 생성 할 수 있습니다.이 복잡한 코드 명령 데이터를 사용하여 StarCoder (기존 대규모 언어 모델)의 기능을 향상시킵니다.

실험 결과 ▼
• 4개의 코드 생성 벤치마크(HumanEval, HumanEval+, MBPP, DS-100)에서의 실험 결과는 WizardCoder가 다른 모든 오픈 소스 코드 LLM을 넘어 최
첨단 성능을 달성했음을 보여주었다.
・폐쇄 LLM과 비교했을 경우는, GPT-4, GPT-3.5에 이어 3위였다.


・다른 모델에 비해 사이즈가 대폭 작은 것