기고 | ‘AI 에이전트’가 야기할 복잡성 대비하기

생성형 AI(GenAI) 솔루션의 첫 물결은 기업 분야에서 이미 괄목할 만한 성공을 거뒀다. 특히 코딩 보조 도구와 기존 SaaS 제품의 효율성 향상 분야에서 두드러졌다. 그러나 이러한 활용 사례는 대규모 언어 모델(LLMs)을 통해 가능한 잠재력의 일부분일 따름이다. 이 기술의 진정한 힘은 이제 두 번째 세대의 AI 기반 활용처에서 발휘되고 있다. LLM의 능력을 새로운 수준으로 끌어올리는 에이전트 기반 시스템이 그것이다.

전통적인 AI 챗봇이나 SaaS 제품 범주의 코파일럿들과 달리, AI 에이전트는 LLM의 역량을 십분 활용한다. 텍스트를 생성하는 것뿐 아니라 복잡한 문제를 (거의) 독립적으로 해결할 수도 있다. AI 에이전트는 정의된 자율성 경계 내에서 다양한 도구를 사용해 특정 목표를 추구하는 LLM 기반 시스템이다.

예를 들면 이렇다. LLM이 특정 주식 가격을 조회할 수 있는 API에 대한 문서를 입력 받으면, 이 정보에 기반해 LLM은 해당 API를 호출해 특정 주식 가격을 조회하는 스크립트를 독립적으로 생성할 수 있다. 시스템이 이 스크립트의 실행을 허용한다면, 이는 사용자가 원하는 어떤 주식 가격도 조회할 수 있는 도구로 기능하게 된다.

에이전트가 단독으로 동작하는 경우는 드물다

그렇다면 기업의 모든 문제를 해결할 수 있는 단일 종합 애플리케이션을 개발할 수 있을까? 짧은 대답은 ‘아니오’다. LLM은 일반화 능력이 있지만, 기업 환경의 제약으로 인해 각 개별 애플리케이션은 상대적으로 좁은 범위를 가져야 한다. 그래야 일관된 성능을 보장하고 데이터 및 도구 접근을 통제할 수 있다.

이 상상 속의 ‘슈퍼 애플리케이션’은 편리해 보일 수 있지만, 각종 데이터와 도구에 대한 완전한 접근 권한을 필요로 하게 된다. 직원들이 업무에 필요한 데이터와 도구에만 접근해야 하듯이, 에이전트 기반 애플리케이션의 접근 권한도 그 기능을 수행하는 데 필요한 범위 내에서 제한되어야 한다.

대규모 기업은 이러한 AI 에이전트가 몇 개나 필요할까? 대략적인 추산해보면, 10개 부서로 구성된 대규모 기업의 경우 각 부서당 5개의 핵심 기능을 수행하는 5개의 전문 애플리케이션을 필요로 하는 상황을 그려볼 수 있다. 예를 들어, 영업 운영 부서의 영업 부서는 다음과 같은 기능을 수행하는 에이전트를 사용할 수 있다:

• 목표 고객 조사
• 영업 프로세스 준수 확인
• 영업 파이프라인 분석
• 고객 회의 요약
• 후속 활동 지원

이 경우 총 총 250개의 에이전트 애플리케이션이 사내에 존재하게 된다. 대규모 조직이라면 수백 개의 에이전트가 있을 수 있는 셈이다.

개발 vs 구매: 올바른 결정을 내리는 예술

수백 개의 새로운 애플리케이션에 대해 기업은 ‘개발 vs 구매’라는 결정을 내려야 한다. 소프트웨어 공급업체들은 이미 해당 애플리케이션을 시장에 출시하고 있다. 동시에 일부 앞선 기업들은 자체적으로 첫 번째 생산용 에이전트 기반 애플리케이션을 개발하고 있다.

벤더가 공급하는 기성형 AI 에이전트에는 결정적인 장점이 있다: 구현 후 즉시 사용 가능한 수준의 완성도를 갖췄으며, 전문 소프트웨어 개발자의 지원을 받을 수 있다. 빠른 배포도 가능합니다. 이러한 상용 AI 에이전트의 단점으로는 기존 기업 시스템과의 복잡한 통합, 사용된 모델 추적에 대한 거버넌스 문제가 있다. 그리고 동일한 솔루션을 사용한다면 경쟁사 또한 동일한 성과를 달성할 수 있다는 점도 단점일 수 있다.

반면 자체 개발된 맞춤형 AI 에이전트는 특정 비즈니스 환경에 정확히 맞춤화될 수 있어 진정한 차별화 가능성을 제시한다. 기업은 애플리케이션에 대한 완전한 통제권과 투명성을 유지하며 외부 소프트웨어, AI 및 클라우드 제공업체로부터의 독립성을 확보한다.

그러나 이러한 장점은 자체적인 도전 과제를 동반한다: 많은 조직에서 충분하지 않은 개발 기술을 필요로 하며, 자체 개발 애플리케이션의 수가 증가함에 따라 모니터링 및 유지보수의 복잡성이 크게 증가한다는 것이다.

따라서 기업 대부분은 일부 애플리케이션을 구매하고 나머지는 자체 개발하는 접근법을 취할 가능성이 크다.

AI 에이전트가 운영 프로세스의 효율성을 향상시킬 수 있지만, 이러한 효율성 개선을 경쟁사도 누린다면, 경쟁력이 향상되지 않을 것이다. 반면 맞춤형 에이전트 기반 애플리케이션을 개발하면 기업은 경쟁사가 갖추지 못한 역량을 창출할 수 있다. 비용과 복잡성을 고려할 때 기업은 내부 개발 노력을 경쟁 우위가 가장 큰 분야, 일반적으로 핵심 사업에 집중할 것이다.

복잡성 임계값 극복

모든 조직의 개발, 모니터링, 유지보수 자원은 현 수준의 애플리케이션 수에 맞춰져 있다. 이것이 조직의 ‘복잡성 임계값’이다.

기업이 에이전트 기반 애플리케이션을 더 많이 개발할수록 모니터링 및 유지보수의 복잡성이 증가하며, 결국 최대 복잡성에 도달하면 추가 애플리케이션 개발이 불가능해진다. 심지어 비즈니스에 이익이 되더라도 그렇다.

기업은 더 많은 애플리케이션을 개발하기 위해 복잡성 임계값을 높여야 한다. 이를 위해서는 애플리케이션의 개발을 표준화하고 구조화해야 한다.

에이전트 기반 애플리케이션을 위한 새로운 아키텍처 패러다임

지금까지 조직들이 모놀리식 애플리케이션부터 서비스 지향 아키텍처, 마이크로서비스에 이르는 다양한 아키텍처 패러다임을 사용해 왔다. 현재 에이전트 기반 애플리케이션을 구축하는 인프라스트럭처는 대부분 모놀리식이며 랭체인(LangChain)과 같은 프레임워크를 사용한다. 이 접근 방식은 초기 프로토타입 개발에는 적합하지만, 기업 환경에서 에이전트 기반 애플리케이션을 구조화하기에는 성숙도가 떨어진다.

즉 많은 에이전트 기반 애플리케이션을 생성하고 유지하기 위해 새로운 아키텍처 패러다임이 필요하다. 한 가지 구현 방식은 LLM용 메시 아키텍처와 기업 내에서 에이전트를 생성하기 위해 필요한 관련 구성 요소다. 이는 서로 다른 구성 요소를 일관된 객체 유형으로 그룹화하는 추상화 계층을 제공한다.

이러한 다층 아키텍처에는 다음과 같은 구성 요소가 포함될 수 있다:

• 기본 모델: 기본 수학적 가중치를 갖춘 훈련된 AI 모델.
• 데이터 계층: 비구조화 데이터와 구조화 데이터로 구분된다.
• 서비스 계층: 모델 운영에 필요한 서비스 및 데이터 액세스 서비스를 포함한다.
• 오케스트레이션 계층: 프롬프트, 에이전트 및 도구를 통합하는 곳이다.
• 애플리케이션 계층: 사용자 인터페이스를 갖춘 사용 가능한 애플리케이션이다.

이러한 아키텍처의 주요 장점은 추상화에 있다. 서로 다른 계층 간 표준화된 인터페이스를 생성하여 다른 구성 요소를 조정하지 않고도 단일 서비스를 교체할 수 있다. 이 분리 구조는 기업이 복잡성 임계값을 높일 수 있도록 한다.

Kurt Muehmel은 데이터이쿠(Dataiku)의 AI 전략 담당 책임자다. 그는 기업 AI 분야와 더 넓게는 B2B SaaS 시장 진출 전략 및 전술 분야에서 15년 이상의 경험과 기초적인 전문성을 갖추고 있다.

이 기고문은 파운드리 엑스퍼트 컨트리뷰터 네트워크의 일환으로 작성됐다. 더 자세한 정보는 여기에서 확인할 수 있다.

dl-ciokorea@foundryco.com