AI 추론 강화 향한 “급선회”··· 엔비디아 에이전트 AI 구축용 라마 모델 공개

엔비디아의 브리스키는 추론에 대한 회사의 ‘하드 피봇’이 기본 모델에 비해 라마 네모트론 모델의 정확도를 최대 20%까지 향상시켰다며, 추론 속도 또한 다른 주요 개방형 추론 모델에 비해 5배까지 최적화되었다고 주장했다. 이러한 추론 성능 향상으로 인해 모델 제품군이 더 복잡한 추론 작업을 처리할 수 있게 되었고, 이는 결과적으로 기업의 운영 비용을 절감할 수 있다는 설명이다.

라마 네모트론 모델 제품군은 나노, 슈퍼, 울트라 크기별로 엔비디아 NIM 마이크로서비스로 제공된다. 즉 조직은 필요에 맞는 크기로 모델을 배포할 수 있다. 참고로 나노 마이크로서비스는 PC와 엣지 장치를 겨냥한다. 슈퍼 마이크로서비스는 단일 GPU에서 높은 처리량을 처리하는 데 적합하다. 울트라 마이크로서비스는 멀티 GPU 서버와 데이터센터 규모 애플리케이션를 대상으로 한다.

파트너들도 추론을 라마 생태계로 확장

엔비디아의 파트너들도 이 활동에 동참하고 있다. 마이크로소프트는 라마 네모트론 추론 모델과 NIM 마이크로서비스를 통해 애저 AI 파운드리 모델 카탈로그를 확장하고 있다. 마이크로소프트 365용 애저 AI 에이전트 서비스와 같은 서비스를 고도화하기 위해서다. SAP는 SAP 비즈니스 AI 솔루션과 줄(Joule) 코파일럿에 대해 이들을 활용하고 있다. 또한 SAP ABAP 프로그래밍 언어 모델의 코드 완성 정확도를 높이기 위해 네모 마이크로서비스를 사용하고 있다. 서비스나우는 라마 네모트론 모델이 AI 에이전트에게 더 높은 성능과 정확성을 제공할 것이라고 밝혔다.