불확실성 속에서 AI 거버넌스 강화에 나선 CIO

생성형 AI 프로젝트가 개념 검증 단계에서 실제 운영 단계로 전환됨에 따라, CIO는 기업은 물론스스로의 가치를 보호하기 위해 AI 거버넌스 정책을 수립해야 하는 새로운 과제에 직면하게 됐다.

미국 정부와 유럽연합, 주요 시장 연구기관으로부터 다양한 AI 거버넌스 프레임워크가 제공되고 있지만, 생성형AI 혁신의 속도가 표준이 나오는 속도보다 빠르게 진행되고 있다. 이에 CIO들은 2025년에 내부 AI 거버넌스 정책을 구축하고 정교하게 다듬어야 할 필요가 있으며, 이 과정에서 전체 임원진의 협력이 필수적이라는 의견이 있다.

여기에는 관할권의 불균형이 존재한다. IDC의 리서치 디렉터인 그레이스 트리니다드는 “2024년 2월 조사 결과에 따르면, 미국 조직은 책임있는 AI 정책 수립과 행동 강령 제정 측면에서는 유럽 조직과 대등하지만, EU AI 법이 권장하는 다분야/부서 간 거버넌스 위원회 설립에서는 뒤처져 있다”고 전했다. 이에 트리니다드는 CIO가 AI 거버넌스를 단독으로 담당하지 말 것을 강조했다.

트리니다드는 IDC가 ‘IDC 피어스케이프’를 통해 AI 거버넌스의 특정 측면에 대한 모범 사례를 제시하며, CIO가 사내 AI 거버넌스를 개발할 때 NIST AI 위험 관리 프레임워크와 EU AI 법 조항을 적절한 표준으로 권장한다고 언급했다.

트리니다드는 CIO가 AI 거버넌스를 구현하는 방법이 다양하다는 점을 인정하고 있으며, 대부분이 최소한 일부 프로그램 구현을 시작했지만 모든 요소가 완비되지는 않은 상태라고 분석했다.

시에나(Ciena)의 최고 디지털 정보 책임자인 크레이그 윌리엄스는 거버넌스 문제 해결을 위해 AI 워킹 그룹을 설립했다고 설명했다.

윌리엄스는 “AI 거버넌스를 단일 기업이나 정부가 소유하는 미래는 없을 것입니다. 너무 복잡한 과제이기 때문입니다. 하지만 기업은 엔드투엔드 책임을 보장하기 위해 자체적인 거버넌스 프로세스를 구축해야 한다”라며 “우리는 AI 시스템에서 투명성, 공정성, 책임성이 필요하다는 것을 인식하고 있습니다. 따라서 거버넌스 프로세스에 적절한 이해관계자를 참여시키는 데 많은 노력을 기울이고 있다”라고 설명했다.

전문가와 IT 리더는 이러한 부서 간 협력이 핵심이라고 강조했다.

윌리엄스는 “거버넌스는 모두가 결과에 관심을 가지고 서로의 의견을 경청하며 배우는 것이지만, 결과에 도달하는 방법도 그만큼 중요하다”라며 “일단 그 단계를 지나면 AI 도구와 실제 프로젝트로 빠르게 전환할 수 있으며, 이는 훨씬 더 쉽게 다룰 수 있다”라고 밝혔다.

트루스톤 파이낸셜 크레딧 유니온(Trustone Financial Credit Union)은 AI 혁신의 급증 속에서 포괄적인 AI 거버넌스 프로그램 구축에 주력하고 있다.

트루스톤의 부사장 겸 CTO인 게리 지터는 “매주 새로운 생성형 AI 플랫폼과 기능이 등장하고 있다. 이를 발견하면 통제 효과를 철저히 평가할 수 있을 때까지 접근을 차단한다”라고 설명했다. 한 예로 구글의 노트북LM에 대한 접근을 초기에 차단하여 안전성을 평가하기로 결정했다고 전했다.

많은 기업과 마찬가지로 트루스톤도 정책 및 절차를 위한 생성형 AI 플랫폼을 전사적으로 구축했으며, 이를 트루어시스트로 브랜드화했다.

지터는 “약 560명의 모든 팀 구성원이 이 AI 도구를 사용하여 500개가 넘는 정책과 절차에 빠르게 접근함으로써 시간을 크게 절약하고 상당한 가치를 창출하고 있다”라며 “우리는 2023년 11월에 가치 증명 파일럿을 시작했고 2024년 2월까지 모든 팀 구성원에게 배포했습니다. 매우 빠르게 진행되었고 많은 것을 배웠다. 우리는 구성원 대면 애플리케이션에 생성형 AI를 활용하는 데 있어 보다 보수적인 접근을 취하고 있지만, 진전을 이루고 있다”라고 설명했다.

AI 거버넌스 프레임워크와 플랫폼

트래블러스(Travelers)의 부사장 겸 최고 기술 및 운영 책임자인 모간 르페브르는 트래블러스가 AI 거버넌스 전략을 꾸준히 발전시켜 온 대기업 중 하나라고 설명했다.

르페브르는 “트래블러스 거버넌스 프레임워크가 지속적으로 발전하고 성숙해짐에 따라 AI, 고급 분석, 모델링의 개발 및 사용을 지도하는 기본 원칙을 담은 책임 있는 인공지능 프레임워크도 수립했다”고 전했다. “이 프레임워크의 목표는 우리가 책임감 있고 윤리적으로 행동하도록 하는 데 있으며, 이는 회사의 비즈니스와 문화 중심에 있는 책임감 있는 경영 가치와 일치한다”고 설명했다.

전문가는 AI 거버넌스가 데이터 유출이나 지적 재산 도난으로부터 기업을 보호할 뿐만 아니라 예산 내에서 비용을 관리하는 것도 포함된다고 강조했다.

GAI 인사이트(GAI Insights)의 CEO 겸 수석 애널리스트인 폴 바이어는 “경영진과 IT 부서가 아직 확률적 기업 애플리케이션의 위험 관리 방법을 배우는 단계에 있고, 사용량에 따라 실제 비용이 증가하기 때문에 IT 리더는 매우 실용적이고 신중하며 점진적으로 생성형 AI 애플리케이션을 생산에 도입해야 한다”고 설명했다.

바이어는 생성형 AI의 위험과 비용을 증가시키는 또 다른 요인으로 “대부분의 조직에서 직원이 개인 계정으로 챗GPT와 같은 도구에 회사 데이터를 사용하면서 대규모 ‘섀도 IT’가 존재한다는 점”을 지적했다.

가트너는 AI 거버넌스 플랫폼을 2025년 2대 전략 트렌드로 선정했으며, 2028년까지 AI 거버넌스 플랫폼을 구현한 조직은 그렇지 않은 조직에 비해 AI 관련 윤리적 사고가 40% 감소할 것으로 예측했다.

가트너는 AI 거버넌스 플랫폼의 이점으로 책임있는 AI 사용을 보장하고, AI 시스템의 작동 방식을 설명하며, 수명주기 관리를 모델화하고, 신뢰와 책임을 구축하기 위한 투명성을 제공하는 정책을 수립, 관리 및 시행하는 것이 포함된다고 분석했다.

가트너는 도전 과제에 대해 “AI 가이드라인은 지역과 산업에 따라 다양하기 때문에 일관된 관행을 확립하기가 어렵습니다”라고 설명했다.

향후 과제

전문가는 CIO가 특히 인공지능(ACI) 등장에 대비해, 향후 변화에 대응할 수 있는 AI 거버넌스 프레임워크를 적용해야 한다고 분석했다.

뱁티스트 메모리얼 헬스케어(Baptist Memorial Healthcare)의 CIDO인 톰 바넷은 “우리는 앞으로 나아가고 아직 모르는 것을 배우면서 적응할 수 있는 유연성을 제공하는 모델을 통해 현재 우리의 요구에 가장 적합한 AI 사용 정책을 평가하고 있다”고 설명했다.

지난 2년간의 AI 발전을 고려할 때 이 모델의 향후 방향을 예측하기는 어렵다. 새롭게 등장하는 AI 규정의 복잡한 패치워크와 비즈니스 모델, 시장 자체의 변화가 이 문제를 더욱 복잡하게 만들고 있다.

2년 전 챗GPT가 처음 등장했을 때 오픈AI의 설립자는 생성형 AI의 적절한 관리 필요성을 회사가 비영리 단체가 되어야 하는 주요 이유로 꼽았다. 그 후 두 명을 제외한 모든 설립자가 회사를 떠났고, 오픈AI는 핵심 사업을 비영리 이사회의 통제를 받지 않는 영리 기업으로 재편하려 노력하고 있다.

가트너의 클라우드, 엣지, AI 인프라 기술 및 서비스 담당 부사장인 시드 내그는 NIST의 AI 안전 연구소 컨소시엄과 책임있는 AI 센터가 2021년부터 AI 거버넌스에서 진전을 이뤘지만, 실험을 넘어 생성형 AI 플랫폼과 도구에 대한 막대한 투자로 수익을 창출해야 하는 CIO를 안내할 공인 규제 표준이 없다고 지적했다.

내그는 위험의 모든 측면을 포괄하는 단일 문서가 없으며, 매일 발전하는 생성형 AI의 사용을 강제할 수 있는 명확한 권한도 없다고 강조했다. 내그는 “AI는 멈추지 않는 열차처럼 진행 중이며, 모두가 이를 통해 수익을 얻으려 하고 있다”라고 설명했다.

그럼에도 AI 거버넌스를 무시하는 CIO나 최고 경영진을 찾기는 어렵다. 대기업과 중소기업 모두 생성형 AI의 잘못된 사용이 재앙을 초래할 수 있다는 점을 잘 인식하고 있다.

의료 장비 임대 회사인 US 메드-이큅(US Med-Equip)의 CIO 안토니오 마린은 AI로 인해 회사가 빠르게 성장하고 있지만 거버넌스는 모든 구성원이 협력해야 한다고 설명했다.

마린은 “우리는 데이터 및 사이버 보안 거버넌스의 일부로 AI 거버넌스를 통합하고 있다”라며 “어떤 경우에는 최고 경영진이 AI를 일부 프로세스 문제에 대한 해결책으로 보고 있다. 그들은 AI를 높은 고객 경험 품질과 운영 우수성을 유지하면서 시장 점유율을 높이거나 운영 비용을 절감할 수 있는 기회로 보고 있다”라고 설명헀다.

트루스톤의 지터는 조만간 AI에 대한 감독이 법적 및 규제 요건이 될 것으로 전망했다. 지터는 “검사관과 내부/외부 감사인을 우리의 가치를 공유하는 파트너로 보고 있으며, 그 결과로 우려되는 부분은 없다”라고 밝혔다.
dl-ciokorea@foundryco.com