메타, 차세대 멀티모달 AI 모델 ‘라마 4’ 시리즈 공개

라마 4 매버릭은 170억 개의 활성 파라미터를 갖추었으나, 128개의 전문가로 구성되어 더 정교한 추론과 다양한 입력 방식에 대응할 수 있다. 메타는 이 모델이 GPT-4o 및 제미나이 2.0 플래시보다 높은 성능을 기록했다고 주장했다.

두 모델은 메타가 아직 외부에 공식 공개하지 않은 ‘라마 4 비히모스(Llama 4 Behemoth)’에서 지식을 증류(distillation)받아 개발되었다. 여기서 말하는 지식 증류란 대규모 고성능 모델이 학습한 결과를 기반으로, 더 작고 효율적인 모델을 학습시키는 기술이다. 복잡한 모델의 풍부한 지식에서 핵심만 추출해 작은 모델에 전달하는 방식이라는 점에서, 업계에서는 이를 ‘증류’라는 표현으로 부르고 있다.

‘거대 조직체’를 의미하는 비히모스는 2,880억 개의 활성 파라미터와 약 2조 개의 총 파라미터를 가진 초대규모 멀티모달 모델이다. 메타는 이 모델이 자사가 개발한 가장 강력한 AI로, 수학, 코딩, 과학 분야에서 GPT-4.5, 클로드 소넷 3.7, 제미나이 2.0 프로를 능가하는 성능을 보인다고 주장했다. 또한 비히모스를 일종의 ‘선생님 모델’로 삼아, 더 작고 효율적인 ‘학생 모델’을 학습시키는 방식으로 품질과 성능을 동시에 확보하고 있다고 설명했다.