AI 투자 수익 창출? 전문가들이 말하는 ‘AI ROI에의 섣부른 집착이 위험한 이유’

IT 연구 및 자문 기업 포레스터(Forrester)에 따르면 많은 기업이 AI 프로젝트 시작 후 투자 수익(ROI)를 얻는 데 어려움을 겪고 있지만, 너무 빨리 높은 성과를 요구하면 위험할 수 있는 것으로 나타났다.

포레스터는 일부 IT 리더들이 빠른 가치 창출을 기대하기보다는 실험에 더 많은 시간을 주는 것이 중요하다는 점을 깨닫기 시작하면서, ROI에 집착하는 기업이 조기에 규모를 축소하게 될 수 있다고 예측했다.

포레스터의 2024년 2분기 ‘AI 펄스’ 설문 조사에 따르면, AI 의사결정자의 약 절반은 1~3년 내에 AI 투자에 대한 ROI를 기대하고 있으며, 44%는 더 긴 기간을 예상하고 있었다.

포레스터는 해당 보고서에서 “기업은 AI를 통해 고객 경험 개선, 직원 생산성 향상, 심지어 새로운 수익원까지 창출하고 있다. 그러나 AI 재설정이 진행 중이며, 작년에 기업이 실험했던 명확한 사용 사례들이 이제는 기본이 되어 비즈니스 소프트웨어에 내장되고 있다”라고 덧붙였다.

모든 것을 측정

포레스터의 AI 및 데이터 과학 분석가인 로완 커런은 너무 빨리 ROI를 기대하는 것이 종종 부실한 계획의 산물이라고 지적했다. 그는 AI 도구를 도입하는 조직이 먼저 합리적인 기대치를 설정하고 배포의 가치를 측정할 핵심 지표를 수립해야 한다고 설명했다.

커런은 많은 경우 일반적인 목적으로 생성형 AI를 사용하는 조직이 기대했던 생산성 향상이나 ROI를 얻지 못하고 있다고 언급했다. 반면 조직의 특정 문제를 해결하려는 목표 지향적 AI 프로젝트들이 더 유망한 결과를 보여주는 경향이 있다고 전했다.

그는 “많은 이들이 생산성 향상이나 광범위한 영향 측면에서 매우 매력적으로 보이는 AI의 잠재적 사용 사례를 검토했다. 사람들은 코파일럿과 같은 기능에 매우 흥분했지만, 비즈니스 성과와 직접 연결될 수 있는 구체적인 ROI 수치는 파악하기가 어려웠다”라고 언급했다.

코파일럿에 대한 커런의 의견은 생성형 AI 코파일럿에 대해 완전히 확신하지 못하는 많은 CIO들의 생각과 일치한다. 이들은 과대 광고와 실제 결과를 낼 수 있는 부분을 구분하려 노력하고 있다. 한편, 일부에게는 콘텐츠 생성보다 의사결정에 초점을 맞춘 에이전틱 AI가 비즈니스 성과에 영향을 미칠 활용 방안으로 주목받고 있다.

커런은 구체적인 사용 사례로 콜센터를 예로 들었다. 통화를 지원하는 AI 에이전트를 도입함으로써 콜센터는 통화 시간을 약 30~40초 단축할 수 있으며, 직원들이 하루에 많은 양의 통화를 처리할 때 생산성을 크게 향상할 수 있다. 그는 평균 통화 시간 단축이라는 목표의 경우 시간이 지남에 따라 측정 및 추적 가능해질 것이라고 언급했다.

하지만 커런은 많은 프로젝트가 ROI를 달성하기까지 더 오래 걸릴 것이라고 말했다. 그는 “예를 들어 초기 배포에서 내부 직원 지원 챗봇이 75% 정확도로 응답한다고 가정해 본다. 목표 ROI는 85% 또는 90% 정확도일 수 있지만, 이를 배포하고 사람들의 피드백을 받아 응답을 개선하면서 시간이 지남에 따라 천천히 달성하는 것 외에는 방법이 없다”라고 설명했다.

그는 “한 번에 모든 것이 이뤄지지는 않을 것”이라며 ROI가 단계적으로 증가할 가능성이 높다고 말했다. 

이와 관련해 CIO가 직면한 과제는 AI 프로젝트를 언제 최종적으로 중단할지 결정하는 것이다. 커런은 각 조직의 고유한 상황과 요구에 따라 선택이 달라질 수 있다면서, CIO와 다른 IT 리더들이 따를 수 있는 공식은 없다고 언급했다.

뒤처지는 것에 대한 두려움

하지만 먼저 조직은 AI가 적합한 시기를 이해해야 한다. 휴먼포커스드AI(HumanFocused.AI)의 최고 AI 경험 책임자인 토니 페르난데스는 많은 조직이 뒤처질 것에 대한 두려움 때문에 AI에 급히 뛰어들고 있다고 지적했다.

페르난데스는 CIO와 다른 IT 리더들이 종종 이사회의 압력으로 AI를 도입하게 되며, 이로 인해 충분한 실사를 거치지 못해 프로젝트가 실패하게 된다고 덧붙였다. 또한 압력으로 인해 CIO들이 실제로는 거의 성과가 없음에도 AI의 발전을 과대 평가하게 될 수도 있다고 설명했다.

전략적 설계 및 인사이트 제공업체 UE그룹(UEGroup)의 CEO이기도 한 페르난데스는 “조직이 천천히 걸어가는 접근 방식을 취하는 대신, 0에서 60까지 순식간에 가려고 하는 경향이 있다“라고 말했다. 그는 “AI를 너무 일찍 포기하는 것이 아니라, 먼저 상황을 파악하고 필요한 체계적인 실험을 하는 데 시간을 들이지 않았기 때문에 전속력으로 막다른 골목으로 달려가고 있는 것”이라고 설명했다.

페르난데스는 AI가 해당 작업에 가장 적합한 도구일 때 조직이 ROI를 달성할 수 있다면서, 현재 AI 도입을 서두르고 있는 많은 기업들이 향후 5~7년 내에 더 전통적인 기술 솔루션으로 돌아갈 것이라고 예측했다.

그는 “이 단계에서 대세를 따르는 조직은 문제를 해결하기 위한 솔루션으로 AI를 사용하고 있다.  대부분은 ROI를 얻지 못할 가능성이 높다”라고 덧붙였다.

페르난데스와 마찬가지로, 회계 및 IT 자문 회사인 삭스(Sax)의 CIO 롭 오웬도 일부 조직이 AI 도입을 서두르는 것을 목격했으며, 일부 얼리어답터들은 GPU와 기타 인프라를 임대하는 데 추가 비용을 지불했다고 설명했다.

오웬은 “많은 프로젝트가 중단되는 것을 봤다. 기업 관계자는 ‘비용이 통제 불능 상태가 되고 있다’라고 말하곤 했는데, 이는 프로젝트를 완료하는 데 필요한 시간과 기술적 자원을 과소평가했기 때문이다”라고 말했다.

비용 효율적으로, 소규모로 시작

오웬은 상용 생성형 AI의 경우, 초기부터 많은 AI 서비스가 제공됐기 때문에 합리적인 가격의 옵션을 선택할 수 있다고 말했다. 삭스는 헬프데스크 기능을 비롯한 여러 내부 프로젝트에 AI를 배포했으며, 회사에서 직접 AI 모델을 훈련하고 맞춤화했다. 

오웬은 “추천하는 접근 방식은 비용 효율적으로 AI를 활용하고 실험해 보는 것이다. 개념 증명과 작동 모델을 확보한 다음 확장한다. 다른 기업이 해본 적이 있거나 입증된 모델이 없다면 처음부터 너무 큰 규모로 시작해서 최선을 바라지 말라”라고 조언했다. 

삭스는 KPI를 추적해 AI 프로젝트를 측정하지만, 오웬은 즉각적인 ROI를 기대하는 것이 종종 비합리적이라고 말했다. 그는 대부분의 AI 프로젝트가 ROI를 달성하는 데 18~24개월이 걸릴 수 있다고 봤다.

그는 “훌륭한 IT 직원이 있다면 문제를 해결하고 해답을 찾아낼 것”이라며 “모든 프로젝트가 즉시 비즈니스 문제를 해결할 수는 없다. 똑똑한 직원들이 이것들을 가지고 놀 수 있는 재미있는 방법을 찾아내야 한다”라고 덧붙였다. dl-ciokorea@foundryco.com