“여러 AI 모델을 로컬에서 테스트 가능”···구글, 오픈소스 앱 ‘AI 엣지 갤러리’ 공개

AI 엣지 갤러리는 텍스트와 이미지 입력을 통해 여러 모델의 성능을 비교하고 직접 활용해볼 수 있도록 설계된 앱이다. 누구나 이용할 수 있지만, AI 연구자나 개발자에게 특히 유용할 수 있다.

구체적으로 앱을 실행하면 메뉴는 크게 ‘이미지로 묻기’, ‘AI 채팅’, ‘프롬프트 랩’으로 나뉜다. 이 중 ‘이미지로 묻기’와 ‘AI 채팅’은 챗GPT처럼 일반적인 질문에 답하는 기능이다. ‘프롬프트 랩’은 요약, 재작성, 코드 생성, 자유 형식의 프롬프트 입력 등을 통해 AI 모델의 결과물을 확인할 수 있는 기능이다. 여기에선 토큰 크기, GPU나 CPU 등 엑셀러레이터 종류, 온도 등의 파라미터를 사전에 설정하고, 디코딩 속도와 지연 시간 등을 실시간 벤치마크로 확인할 수 있다.

AI 엣지 갤러리는 허깅페이스와 연동돼 다양한 오픈소스 모델을 손쉽게 불러올 수 있을 뿐 아니라, 사용자가 직접 만든 AI 모델도 불러와 실행할 수 있다. 이때 사용되는 모델은 라이트RT(LiteRT) 기반의 .task 확장자 형식으로 제작돼야 한다. 라이트RT는 구글이 개발한 경량화 모델 실행 엔진이다.