“AI를 위한 클라우드는 따로 있다” 엣지 네이티브 기반 클라우드 인프라를 활용한 초저지연 AI 워크로드 운영 방안

IDG가 3월 26일 잠실 롯데호텔 월드 크리스탈 볼룸에서 개최한 ‘클라우드 & AI 인프라스트럭처 서밋 2025(Cloud & AI Infrastructure Summit 2025)’에서 아카마이 코리아 클라우드 테크놀로지 그룹 강상진 상무는 “중앙집중형 컴퓨팅 모델이 분산 클라우드로 진화하고 있다”라고 강조하며, AI를 둘러싼 클라우드 환경의 변화 추이와 아카마이의 엣지 네이티브 기반 클라우드 인프라를 활용한 AI 워크로드 운영 방안을 소개했다.

중앙집중식 AI 아키텍처의 한계

우선, 전통적인 클라우드 기반의 AI 레퍼런스 아키텍처의 한계를 지적했다. 클라우드 기반의 AI 아키텍처는 클라우드 서비스 업체의 코어 인프라를 중심으로 한다. 코어에는 CPU와 GPU, 스토리지 등의 인프라 자원이 배치되어 있는 것은 물론, 데이터 파이프라인부터 모델 학습 및 세부 조정, 모델 개발 및 추론, 개발자 도구까지 AI 서비스 개발에 필요한 핵심 요소가 모여 있다. 이렇게 구축된 AI 서비스를 최종 사용자의 브라우저와 애플리케이션, 디바이스까지 효율적이고 안정적으로 전달하기 위해 엣지 구간에서 보안과 CDN, 캐싱, 로드밸런싱을 수행한다.

이렇게 클라우드는 개발자와 스타트업을 포함해 많은 기업이 인프라에 대한 부담없이 AI 서비스를 빠르게 구축할 수 있는 기반을 제공하지만, 태생적으로 중앙집중식 구조이기 때문에 저지연 환경에 대한 지원이나 고객 경험 같은 문제를 완벽하게 해결하지는 못한다. 클라우드 서비스 업체가 리전을 확장하고는 있지만, 본질적으로는 또 하나의 중앙집중식 클라우드 인프라를 추가한는 것에 불과하다.