“무분별한 실험 시기는 지났다”··· 생성형 AI 실용화가 중심이 될 2025년

NTT데이터의 최근 설문 조사에 따르면, 기업 고위 의사결정자 약 90%는 생성형 AI 파일럿 프로젝트에 피로감을 느끼고 있으며, 실제 비즈니스 성과를 개선하는 프로젝트로 투자를 전환 중인 것으로 나타났다.

NTT데이터의 북미 지역 최고 데이터 및 AI 책임자인 앤드류 웰스는 “조직은 앞으로도 새로운 생성형 AI 파일럿을 실험하겠지만, IT 리더의 AI 전략은 점차 비즈니스에 특화된 사용례에 초점을 맞추는 방향으로 기울고 있다”라고 설명했다.

웰스는 일부 사례에서 파일럿 실패율이 50% 이상인 경우도 있어 조직이 파일럿 프로그램 수를 재고하게 됐다고 언급했다. 지난해 4월 IDC 조사에 따르면 조직은 평균 37개의 AI 개념 증명(PoC)을 시작했지만, 극소수만이 실제 운영 단계에 도달했다.

웰스는 초기 파일럿 프로젝트 실패가 “적절한 데이터가 없거나, 기술이 아직 준비되지 않았거나, 모델이 부적합했기 때문”이라고 분석했다. 그는 파일럿이 상업적으로 실행 가능하지 않은 경우도 있었다면서 “PoC를 구축했지만 솔루션의 효율성이 원래 예상과 반드시 일치하지는 않았다”라고 말했다.

또한 한 조사에 따르면 IT 전문가의 3분의 1 이상은 AI 프로젝트가 실질적 가치보다는 투자자와 이해관계자들에게 AI 활용을 보여주려는 목적이었다고 지적했다.

웰스는 성과 없이 무분별한 AI 파일럿 프로젝트가 자원 낭비를 초래하고 있다고 설명했다. 그는 “대부분 기업에 가보면, 생성형 AI 사용례의 백로그가 수백 개에 달한다. 이들은 ‘기술이 무엇을 할 수 있을지 실험해 보자’라는 접근 대신 시간과 에너지, 비용을 어디에 투자할지를 더 진지하게 고려한다”라고 말했다.

비용 과소 평가

스카이파이(SkyPhi) 스튜디오의 CEO이자 공동 설립자인 코트니 슈일러는 “숨은 비용을 고려하지 않고 AI 파일럿을 시작하는 기업이 많다”라고 언급했다.

여러 파일럿을 단기간에 시작하면 지출이 커질 뿐만 아니라, 직원이 새로운 기술 사용법을 익히는 데 어려움을 겪어 생산성이 저하될 가능성이 있다. 슈일러는 “전략적 사고 없이 기술 유행에 뛰어드는 조직을 종종 마주친다. 이 기술을 조직 내에서 어떻게 활용할지, 어떤 전략적 경로를 따라야 할지, 다른 기술 도입으로 인해 조직이 얼마큼의 변화 피로도를 겪을지 고려하지 않는다”라고 지적했다.

그는 프로젝트를 실행 단계로 옮기는 것이 전체 과정의 일부일 뿐이라고 말했다. 여기에는 새로운 생성형 AI 도구를 도입하는 데 필요한 직원을 확보해야 한다는 더 큰 과제도 있다.

슈일러는 “기술 비용부터 사람들의 사용을 지원하는 비용까지, 투자와 관련된 모든 비용을 제대로 파악하는 작업이 중요하다. 무작정 뛰어들어 수백만 달러를 지출하기보다 예산을 검토하고 계획하는 데 시간을 보내야 한다. 효과가 기대 이하일 수 있기 때문”이라고 설명했다.

여전히 지출 증가세

지난해 성과는 다소 엇갈렸지만, 많은 기업이 2025년 이후에도 생성형 AI 투자를 늘릴 계획이라고 밝혔다. NTT데이터 조사에 의하면 현재 39%가 생성형 AI에 상당한 투자를 하고 있으며, 이 비율은 향후 2년 내에 61%로 증가할 전망이다.

이는 IBM의 새로운 설문 조사 결과와도 유사하다. IBM 조사에 따르면 62%의 기업이 2025년에 AI 예산을 늘릴 예정인 것으로 나타났다. 파일럿의 피로도에도 불구하고, 응답자의 4분의 1 이상이 2025년에 20개 이상의 AI 파일럿 프로그램을 시작할 것이라고 답했다.

쿼리팔(QueryPal)의 CEO인 데브 나그는 실험이 계속되는 가운데, 많은 조직이 일반적인 HR AI, 디지털 비서, 챗봇 프로젝트가 아닌 경쟁 우위를 제공하는 프로젝트에 집중할 전망이라고 분석했다.

나그는 초기 AI 프로젝트에서 많은 IT 조직이 자체 챗봇과 HR AI를 만들고자 했지만 이제는 이를 AI 벤더에게 맡기는 추세라고 진단했다. 그는 “AI 배경이 전혀 없는 팀이 스스로 챗봇을 구축하는 경우가 있었다. 그러면 과잉 투자가 이뤄졌다. 마치 스타트업처럼 IT 프로젝트에 막대한 자금을 지원하면서 기업이 벤처 캐피털과 같이 변했다”라고 말했다.

그는 모든 조직이 자체 HR AI를 구축하는 것이 의미가 없다고 지적하면서 “1만 개의 기업이 각각 고객 지원 에이전트, HR 에이전트, 재무 에이전트를 구축하려는 시도가 유의미할까?”라고 말했다.

나그는 이제 많은 조직이 일반적인 챗봇보다는 특정 요구 사항에 초점을 맞춘 소수의 생성형 AI 파일럿으로 방향을 전환하고 있다고 설명했다. 나그는 “대부분의 기업에서 핵심 수익과 직접적인 관련이 없는 AI 프로젝트는 결국 실패로 끝날 것이다. 처음에는 해당 프로젝트가 ‘혁신의 중심’이 될 것이라는 기대로 시작하지만, 결국 직원들의 의욕만 꺾이게 될 것”이라고 설명했다.

특정 요구 사항

TTEC 디지털의 분석 및 인사이트 디렉터인 애런 슈뢰더도 이와 비슷한 트렌드를 언급했다. 그는 대부분의 생성형 AI 발전이 복잡한 비즈니스 용도가 아닌 개인의 사용에 초점을 맞춘 일반 용도 모델에서 이뤄지는 경우가 많다고 설명했다.

슈뢰더는 “일반 용도 모델과 기능은 특정 산업이나 분야에 대한 전문성 대신 인터넷에서 수집한 광범위한 지식을 기반으로 한다. 많은 기업 리더가 일상 생활에서 AI의 활용 가능성에 대해 알지만, 회사 운영 지식이 필요하고 산업 지향적인 사용 사례에서 실질적인 생산성 향상을 이루는 것과는 큰 차이가 있다는 점을 깨닫고 있다”라고 지적했다.

슈뢰더는 이런 차이를 느끼는 기업들이 일반적인 프로젝트에서 벗어나 가치를 창출하는 영역에 더 적합한 파일럿으로 투자를 전환하고 있다고 말했다.

그는 “현재까지 경험해 본 유망한 접근 방식은 생산성 가속화, 비용 절감, 수익 증대, 고객 경험 개선 등 더 높은 수준에서 AI 파일럿과 솔루션을 위한 거버넌스를 미리 설계하는 것이었다. 핵심 원칙을 미리 파악해야 기업 내에서 동시에 진행되는 여러 프로젝트의 방향성을 유지하기가 더 쉬워진다”라고 조언했다.
dl-ciokorea@foundryco.com