시작만큼 중요하다··· AI 프로젝트를 중단할 시기를 정하는 법

AI 파일럿을 운영하는 많은 조직이 중요한 IT 딜레마에 직면하게 된다. 바로 언제 파일럿을 중단하고 다음 단계로 넘어가야 하는가다. 기대에 미치지 못하는 파일럿을 너무 일찍 중단하면 나중에 큰 이익을 놓칠 수 있지만, 너무 오래 유지하면 막대한 시간과 비용, 자원을 낭비할 수 있다.

포레스터는 최근 기업에게 AI의 투자 수익률(ROI)을 너무 빨리 기대하지 말 것을 권장했다. AI의 이점을 놓칠 수 있기 때문이다.

하지만 AI는 저렴하지 않으며, 가치를 창출하지 못하는 파일럿 프로젝트는 돈 먹는 하마가 될 수 있다. 예를 들어, 가트너에 따르면 검색 증강 생성(RAG) AI 문서 검색 프로젝트는 구축에 최대 100만 달러가 들고, 사용자당 연간 최대 1만 1,000달러의 반복 비용이 발생할 수 있다. 또한 의료, 보험 또는 금융 분야의 대규모 언어 모델(LLM) AI를 처음부터 구축하는 데는 최대 2,000만 달러까지 들 수 있다.

물론 최근에는 AI 파일럿 프로젝트의 성공률이 높아지고 있다고 가트너는 전했다. 2022년에는 거의 절반의 AI 파일럿 프로젝트가 실제 운영 단계에 도달하지 못했지만, 오는 2025년에는 AI 프로젝트의 실패율이 약 30%에 불과할 것으로 예상됐다.

다만 현재 AI 실험이 얼마나 광범위하게 이루어지고 있는지 고려하면 30%의 실패율은 엄청난 시간과 비용이 소요된다는 것을 의미한다. 지난 7월 발표된 EY 설문 조사에 따르면 고위 경영진의 95%는 자사가 현재 AI에 투자하고 있다고 답했다.

그렇다면 CIO나 최고 AI 책임자(CAIO)는 언제 AI 프로젝트를 중단해야 할지 어떻게 알 수 있을까? 모든 상황에 적용되는 정답은 없지만, AI 전문가들은 IT 리더가 의미 있는 AI 프로젝트를 유지하고 그렇지 않은 프로젝트를 중단할 수 있게 하는 몇 가지 단계를 제시했다.

성공을 정의하기

SAP의 전 AI 마케팅 부문 부사장이자 현재 AI 컨설턴트인 안드레아스 웰시는 IT 리더가 AI 파일럿 프로젝트를 시작할 때 ROI를 넘어선 성공 지표를 정의하고 진행 상황을 점검할 일정을 수립하는 과정이 선행돼야 한다고 조언했다.

웰시는 “문제는 사람들이 항상 다음 돌파구가 코앞에 있을 것이라는 희망 때문에 프로젝트를 중단하지 않고 계속 진행한다는 것이다. 많은 경우 적절한 목표가 설정되어 있지 않다”라고 설명했다.

예를 들어 AI 프로젝트의 핵심 성과 지표(KPI)에는 고객 만족도 10% 향상, 제안요청서(RFP) 작성 시간 30% 단축, 월간 송장 지불 시간 4시간 단축 등이 있을 수 있다.

미리 정해진 체크포인트에서 IT 팀과 비즈니스 팀은 목표 진행 상황을 확인할 수 있다. 프로젝트가 지표를 달성하지 못하면 팀은 중단할지 아니면 더 많은 시간을 들일지 결정할 수 있다. 고객 서비스 봇이 만족도를 10%가 아닌 7% 향상시켰다면 계속 투자할 가치가 있는 프로젝트일 수 있다.

하지만 금융 기술 기업 피나스트라의 최고 AI 책임자인 아담 리버만은 조직이 잘못 시작한 프로젝트를 회복할 수 있는 경우도 있다고 말했다. 때로는 CIO나 CAIO가 실행 가능한 로드맵을 정의해 실패한 프로젝트를 복구시킬 수 있다.

리버만은 “목표가 막연하면 프로젝트는 초점을 잃고 흐지부지될 수 있다. 이는 프로젝트가 작동하지 않을 것이라는 앞선 신호지만, 동시에 초점을 재조정하고 더 구체적인 최종 목표를 수립하기에 충분히 이른 시기이기도 하다”라고 설명했다.

한편 변화 관리 컨설팅 기업 코터 인터내셔널의 최고 성장 및 상업 책임자인 캐시 거시는 KPI 설정의 한 가지 과제가 결과 측정이라고 언급했다. 예를 들어, 고객 정서 측정은 어렵지 않을 수 있지만, 직원이 코파일럿을 사용해 이메일을 작성할 때 절약되는 시간을 측정하기는 어려울 수 있다.

거시는 “ROI는 이러한 덜 가시적인 요소에서 나올 수 있다. 모든 요소를 측정하지 않으면 ROI를 얻지 못하고 있다고 판단해 프로젝트를 너무 빨리 중단할 수 있다”라고 설명했다.

비즈니스 요구 사항에 연결

웰시는 명확하게 정의된 KPI 외에도 조직이 AI 프로젝트를 특정 비즈니스 요구 사항과 연결해야 한다고 조언했다. 일부 경우에는 조직이 단순히 기술을 사용하기 위해 AI 프로젝트를 시작하는 것처럼 보이지만, 성공적인 프로젝트는 조직 전체의 고충을 해결하기 마련이다.

웰시는 “해결하려는 비즈니스 문제가 무엇인가? 이상적으로는 비즈니스 이해관계자들과 매우 긴밀히 협력해 처음부터 ‘우리가 무엇을 해결하려고 하는가?’라는 질문을 던져야 한다”라고 말했다.

거시는 중단된 AI 프로젝트 대부분이 기본적인 요구 사항을 충족하지 못했다고 덧붙였다.

그는 “AI가 해야 할 일을 연구하는 소규모 작업팀이 비즈니스에 연결되지 않으면 도입이 어려워진다. 비즈니스와 연결되지 않는다면 관점에 따라 너무 늦게 또는 너무 일찍 중단될 수 있다”라고 설명했다.

거시는 AI 프로젝트를 비즈니스 목표와 연결할 것을 권장했지만 실험 또한 장려했다. 프로젝트가 비즈니스 목표와 연결되면 직원들이 더 쉽게 받아들일 수 있다. 그는 “사람들이 실제로 AI를 채택하고 사용하면 AI로 무엇이 가능한지에 대해 훨씬 더 많이 배울 수 있을 것”이라고 진단했다.

피해 최소화

AI 솔루션 제공업체 에이블의 CEO인 아리짓 센굽타는 AI 프로젝트를 시작하는 한 가지 접근 방식으로 기간을 제한하는 방법을 제시했다. 그에 따르면 에이블과 고객은 많은 경우 2일 이내에 프로젝트의 실행 가능성을 결정하고 있다.

센굽타는 지표도 중요하지만 IT 및 비즈니스 리더가 정확한 목표 달성에 너무 얽매이지 말아야 한다고 덧붙였다. 원래 목표가 너무 거창하거나 비즈니스에 실제로 필요하지 않은 경우도 있기 때문이다.

그는 “사람들은 기본적으로 원하는 것을 상상하고 ‘날아다니는 자동차가 있다면 좋겠다’라고 말한다. 6개월 후 누군가가 완전히 날지는 않는 자동차를 가져오면 ‘그건 내가 원하던 게 아니다’라고 말한다. 하지만 그것은 실제로 필요했던 것이 아니다. 실제로는 더 빠른 보트가 필요했던 것”이라고 말했다.

이 점이 그가 6~9개월짜리 AI 파일럿 프로젝트가 위험할 수 있다고 조언하는 이유다. 그는 “중단할 것이라면 9개월 후에 하면 안 된다. 그러면 매몰 비용의 오류에 빠져 사람들이 정말로 작동하게 하려고 많은 노력을 기울이게 된다”라고 설명했다.

한편 피나스트라의 리버만은 일부 실패한 프로젝트가 완전한 손실은 아니며, 프로젝트를 완전히 중단하는 것보다 일시 중지가 더 나은 대안이 될 수 있다고 언급했다.

그는 “실패가 혁신의 필수적인 부분이라는 점을 이해해야 한다. AI 분야의 발전은 빠르다. 새로운 기능과 기술이 계속 등장하고 있기 때문에 프로젝트를 완전히 포기하기보다는 일시 중지하는 것이 더 나을 수 있다”라고 말했다.
dl-ciokorea@foundryco.com