‘필요한 순간에만 활용’··· 생성형 AI에 접목되는 적시 생산(JIT) 개념, 그 효과는?

굴티에리는 다소 비관적인 의견을 건넸지만, 그가 언급한 ‘적절한 순간’이란 결국 생성형 AI 적시 활용 전략의 핵심 가치를 드러내는 것이기도 하다. 실제로 RAG와 같은 기술은 이를 개발하고 활용한 팀들에게 비즈니스 가치를 최대화할 뿐만 아니라, 특정 사용 사례나 워크플로우의 AI 부하를 최소화하는 모범 사례로 떠올랐다.

이런 기술을 통해 기업은 특정 데이터셋에 대한 추가 학습 없이도 기성 사전 학습 LLM을 활용할 수 있다. 특히 RAG를 통해 고임금 데이터 과학 인재 활용보다 소프트웨어 개발 작업에 중점을 둔 워크플로우를 설계할 수 있다. 이것이 바로 생성형 AI 적시 활용 전략의 핵심이다.

실시간 의사 결정을 위한 생성형 AI 도입 사례

의사 결정을 위해 생성형 AI 적시 활용 전략을 채택한 기업이 있다. 지난 5월 마이크로소프트 애저와 오픈AI 플랫폼 기반의 솔루션인 ‘텐진GPT(Tenjin GPT)’를 2만 4,000명의 직원에게 배포한 국방, 우주, 민간, 정보 시장 대상 기술 통합업체 SAIC다. SAIC는 업무 효율을 높이는 특정 영역에 초점을 맞춰 전사적 생성형 AI 플랫폼을 구축했다. 초기 사용 사례는 조직 전반의 전략적 지점에서 업무 프로세스를 개선하는 데 중점을 뒀다.