현장의 리더들이 전하는 ‘AI 벤더 체크포인트’ 3가지

2년 동안의 실험을 통해 인공지능(AI)에 대한 몇 가지 중요한 활용 사례를 포착했을 수 있겠다. 하지만 IT 리더들은 빠르게 진화하는 새로운 기술을 신중하게 탐색해야 한다는 사실도 깨닫곤 했다. 이미징 및 레이저 프린터 회사인 렉스마크(Lexmark)와 같은 몇몇 조직은 AI 도입과 관련한 잠재적 단점을 사전에 찾아냄으로써 AI의 잠재력을 최대한 활용할 수 있었다.

렉스마크는 이제 AI 프로젝트를 고려하기 전에 먼저 그 문제가 해결할 가치가 있는지 확인하고 있다. 프로젝트가 위험을 감수할 가치 이상을 가졌다고 판단되면, 다음으로는 어떤 유형의 데이터가 필요한지 파악한다. 다음으로, 그들은 결과를 테스트하고 성공을 측정하는 객관적인 방법을 가지고 있는지 확인한다.

그리고 마지막으로, 비즈니스 사용자의 참여가 없는 프로젝트는 IT 부서가 다루지 않는다고 회사의 글로벌 CTO이자 CIO, 그리고 연결 기술 담당 SVP인 비샬 굽타는 말했다.

그는 “실제로 그것을 도입할 의향이 있고 여정에서 협력할 의향이 있는 이해관계자가 필요하다. 기존의 프로세스를 바꾸려는 동기가 있어야 하고, 현재로서는 AI가 100% 정확하지 않을 것이라는 점을 인정할 수 있어야 한다”라고 말했다. 이후 굽타는 다른 기술 프로젝트와 비슷한 원칙을 적용하되, 생성형 AI의 참신함을 감안해 몇 가지 조정을 가한다.

일반적으로, 프로젝트가 추진할 가치가 있다고 판단되면, IT 리더는 구축할 것인지 구매할 것인지 결정해야 한다. 구매를 결정했다면, 벤더를 물색할 때 다음을 기억해야 한다.

기존 벤더와 유망한 소규모 업체를 혼합해 사용

굽타는 큰 프로젝트에 소규모 벤더를 거의 이용하지 않는다. 위험을 최소화하기 위해서다. “만약 상위 10개 프로젝트 중 하나를 추진하는 경우라면 나는 직접 구축하거나 더 안정적인 벤더와 협력하겠다. 하지만 그렇다고 소규모 업체를 무시하지 않는다. 우리는 종종 내년에 1단계 문제가 될 수 있는 2단계 문제에 그들을 이용한다”라고 그는 말했다.

규모가 작은 업체일수록 조직이 경쟁에서 앞서 나갈 수 있는 혁신적인 솔루션을 보유할 가능성이 높기에 굽타는 IT 예산의 10~20%를 민첩한 벤더에 할당한다. “우리는 규모가 크지 않고 사용자가 기꺼이 실험에 참여할 의향이 있는 법무팀이나 인사팀을 위해 일부 AI 프로젝트를 이들과 진행한다”라고 그는 말했다.

이러한 소규모 프로젝트의 경우, 렉스마크는 상업적 관점에서 실험할 가치가 있는지 확인한다. 가치가 있다면, 소규모 벤더를 면밀히 살펴서 더 넓은 시장에서 나오는 혁신을 놓치지 않도록 한다. 굽타는 “잘 풀리지 않는다고 해도 올해 우선순위에 구멍이 생기는 일은 없다. 잘 되면, 문제될 것이 하나도 없을테고 말이다”라고 말했다.

소프트웨어 테스트 회사 트리센티스(Tricentis)의 최고 디지털 및 기술 책임자인 리 맥클렌든에 따르면, 대기업 소프트웨어 공급업체의 경우 기업들이 매일 다루는 통합 문제를 해결하는 데 익숙하다. 소규모 공급업체는 기업에 필요한 수준의 연결성과 견고성을 갖추지 못한 특정 문제에 대한 포인트 솔루션을 제공하는 경우가 더 일반적이다.

이러한 경향은 AI에서도 마찬가지다. 그는 “그러나 AI 영역의 빠른 진화와 데이터 프라이버시와 보안 관리의 복잡성을 고려할 필요가 있다. 여러 솔루션을 사용하는 데 따르는 관리 부담을 감수할 가치가 있는지 확인해야 한다”라고 그는 말했다.

리미니스트리트의 CTO인 에릭 헬머는 대형 벤더들이 표준 제품의 일부로 AI를 묶어서 추가 요금을 부과할 수 있다는 점을 주의해야 한다고 지적하며, 사실 모든 주요 소프트웨어 공급업체들이 자사 제품에 이를 도입하고 있다고 전했다.

그는 “아직 없다면 다음 번 릴리즈에는 포함된다는 이야기다. 많은 기업들이 예전부터 사용해오던 애플리케이션으로 인해 AI 여정을 시작하게 될 수 있다. 파괴적 업그레이드를 부득이하게 겪지만, 결국 사용하지 않는 AI 기능들만 잔뜩 남게 될 수 있다”라고 말했다.

Tricentis

모든 공급업체의 AI 관련 전문성을 테스트

모든 주요 애플리케이션 벤더가 AI 전문성을 갖췄다고 생각한다면 오해라고 헬머는 강조했다. “그들은 지난 10년 동안 AI 분야에서 일해온 조직들과 같은 수준의 경험을 가지고 있지 않다. 그들은 단지 AI의 팬일 뿐이고, 뒤따라잡기 위해 노력하고 있을 뿐이다”라고 헬머는 말했다.

벤더 스스로가 AI 회사라고 주장할 때, IT 리더는 그 의미가 정확히 무엇인지에 대해 상호 이해가 있는지 확인해야 한다고 소프트웨어 개발사 하네스(Harness)의 닉 더킨 CTO는 조언했다. 예측적, 생성형 모델을 사용하는지 확인할 필요가 있다. 혹시 그들이 외부 기업의 모델을 사용하는지 알아봐야 한다. 그는 “AI 이해와 관련해 많은 뉘앙스가 표면 아래에 있다”라고 말했다.

사실 모두가 갑자기 AI 전문가인 척하는 양상이라고 맥클렌든은 지적했다. 그는 사실 이렇게 많은 사람들이 이 새로운 기술을 알 정도로 충분한 시간이 지나지 않았다고 전했다. 그는 “누가 제대로 된 무언가를 가지고 있는지, 누가 그저 잘 알고 있는 것처럼 보이려고 마케팅 자료에 AI 관련 유행어를 몇 개 넣었는지 파악하려고 따져본다”라고 말했다.

맥클렌든이 이 작업을 수행하는 방법 중 하나는 벤더들에게 몇 년 전에 무엇을 했는지 물어보는 것이다. 그들의 대답을 통해 그들이 단지 새로운 것이기 때문에 무작정 뛰어든 것이 아니라 AI에 대한 의식적인 투자를 했는지 여부를 알 수 있다.

그는 “만약 해당 벤더가 오랫동안 AI 작업을 해왔다면, 비록 그것이 생성형 AI가 아니더라도 관련된 인력과 이력을 보유하고 있을 것이다. 뒤늦게 합류한 이들이 모두 허풍쟁이는 아니겠지만 고려해야 할 요소다”라고 말했다.

굽타는 일부 공급업체의 경우 렉스마크의 데이터를 요구하는 경우가 있다고 전하며, 이는 보통 공급업체가 아직 모델을 개발하지 않았다는 신호라고 말했다. “만약 그들이 프로젝트를 수행하기 위해 우리의 모든 데이터를 사용해야 한다면, 굳이 그들에게 맡기지 않아도 된다. 나는 우리의 데이터를 사용하여 다른 사람에게 판매할 제품을 만드는 것보다, 검증된 것을 가져다줄 수 있는 공급업체에 더 관심이 있다. 우리의 경쟁 우위만 빼앗길 가능성이 있다”라고 말했다.

IT 리더가 알아봐야 할 다른 요소로는 제품이 어떤 기능을 갖고 있는지, 어떤 구체적인 문제를 해결하는지, 성공률은 어느 정도인지를 벤더가 얼마나 잘 설명하는 지다. 맥클렌든은 “성공률이 99%라고 하면 믿을 수 없다. 아직 AI가 그렇게 좋은 수준일 수 없기 때문이다”라고 말했다.

Rimini Street

또 그들이 성공을 측정하는 방법을 가지고 있는지, 그리고 AI가 완벽하지 않다는 점을 수용하는 방법론을 따르고 있는지 알아보아야 한다 맥클렌든은 공급업체에 AI에 대한 지식과 그들이 실제로 무엇을 하고 있는지에 대해 올바른 질문을 하기 시작하면, 그 사실을 꽤 빨리 알 수 있다. 만약 꾸며낸 이야기를 하고 있다면, 그 사실은 금방 드러나게 된다”라고 덧붙였다.

IT 리더들 이와 함께 벤더가 데이터 프라이버시와 보안을 어떻게 다루는지를 면밀히 살펴봐야 한다. 맥클렌든은 또 벤더에게 그들의 제품이 인간의 작업을 대체하는 방식에 대해 질문한다. “AI가 회사 문화에 맞지 않는 결과를 만들어 낼 수 있다. 벤더가 데이터, 보안, 그리고 AI가 회사에 적응하기 위해 어떻게 상호 작용해야 하는지에 대한 다양한 영역을 모두 고려하는지 확인하라. 아직 훌륭한 해법을 가지고 있지 않을 수도 있지만, 최소한 이런 것들을 고려하고 있는지 확인해야 한다”라고 말했다.

선정 과정에서 성공 기준을 설정

새로운 기술을 대규모 사용자 기반에 적용하기 전에 개념 증명(PoC)을 통해 가시적인 결과를 입증한다는 접근은 대부분 옳다. 맥클렌든은 선정 과정에서 벤더의 지원 영역 하나를 살펴본다. 벤더와 협력하여 성공 기준을 설정할 수 있는지 여부다.

마찬가지로, 렉스마크는 사전에 프로젝트에 대한 일련의 테스트 케이스를 정의하고, 이를 사용하여 선택 과정에서 공급업체의 주장을 검증한다. 굽타는 벤더에게 데이터 포인트를 구체적으로 물어본다. 예를 들어, 고객 관리 프로젝트의 경우, 공급업체에게 전화 성공률을 20% 높이고 통화 시간을 30% 줄일 수 있는지 묻는 식이다. 그는 “성공 기준을 처음부터 명확하게 설정하지 않으면, 평가를 위해 6개월에서 1년 동안 시간을 낭비한 후에 아무것도 얻지 못할 수 있다”라고 말했다.

하네스의 더킨은 대부분의 기존 공급업체들이 비용 절감이나 생산성 향상 측면의 측정 도구를 가지고 있다고 전하며, 그 이상을 보아야 한다고 주문했다. 특히 사용자 수용을 성공의 핵심 기준으로 삼아야 한다는 설명이다. 그는 “생산성 결과 외에도 사용자가 도구를 좋아해야 한다. 만약 사용자들이 솔루션에 대해 투박하거나 사용하기 어렵거나 예상보다 효과가 낮다고 생각한다면, 그 솔루션은 효과를 발휘할 수 없다”라고 말했다.
dl-ciokorea@foundryco.com