허깅페이스, 메모리 효율화 극대화한 ‘스몰VLM’ 출시···“브라우저서도 구동 가능”

스몰VLM은 비전(이미지)과 언어(텍스트) 데이터를 함께 처리할 수 있는 모델이다. 이 모델은 이미지를 분석해 설명문을 생성하고, 이미지와 텍스트를 결합한 질의응답을 수행하며, 시각 데이터에서 특정 정보를 추출해 텍스트로 변환하는 기능을 제공한다. 허깅페이스는 스몰VLM이 경쟁 모델들과 비교해 현저히 적은 컴퓨팅 자원으로도 높은 효율성을 달성하도록 개발됐다고 밝혔다. 특히 메모리 효율성 측면에서 업계 최고 수준(SOTA)의 성능을 기록했다고 강조했다.

스몰VLM은 총 세 가지 버전으로 제공된다. 기본 모델인 스몰VLM-베이스는 사전 학습된 AI 모델로 특정 작업을 위한 기초를 제공하며, 스몰VLM-신세틱은 합성 데이터를 활용해 파인튜닝된 버전이다. 스몰VLM-인스트럭트는 사용자와의 직접적인 상호작용을 위해 최적화된 모델이다. 허깅페이스는 이 세 가지 모델을 자사의 트랜스포머(Transformers) 라이브러리에 통합해 제공한다고 밝혔다

허깅페이스가 공개한 스몰VLM은 20억 개(2B) 파라미터 규모의 소형 비전-언어 모델군으로, 상업적 활용이 가능하며 소규모 로컬 환경에서도 구동할 수 있도록 설계됐다. 특히 이 모델은 AI 학습에 필요한 모든 요소를 투명하게 공개했다는 점이 특징이다. 모델의 학습된 가중치값(체크포인트), 학습에 사용된 데이터셋, 세부적인 학습 방법과 관련 도구들이 모두 아파치 2.0 라이선스로 제공된다.