확실한 내부 정책이 올바른 사용 이끈다··· 'AI 거버넌스' 정의에 필요한 7가지 질문

“원하는 대로 AI 도구를 사용해 어떤 방식으로든 실험해보세요. 어떤 데이터든 사용해도 됩니다”라고 말할 기업 임원은 없을 것이다. 경영진은 비즈니스 기회를 포착하면서도 위험을 피하며 AI를 활용하는 데 집중하고 있다. 그러나 아무리 신중한 리더라 할지라도 AI를 전면 금지하기는 꺼려 한다. 이제 AI 기반의 혁신적 성과를 달성하지 못하면 비즈니스 중단의 리스크가 있기 때문이다. 

비즈니스 기회를 포착하는 동시에 위험을 피한다는 2가지 시나리오 사이에는 조직이 AI 기능을 활용하고, 규정을 준수하며, 비용이 많이 드는 위험을 피하기 위한 원칙, 관행, 규정, 도구, 책임 등이 존재한다. AI 거버넌스란 조직이 AI 운영 모델을 개발하고 문서화해 직원들에게 명확한 지침을 제공하는 방법을 일컫는다. 

AI 거버넌스는 정책을 간단히 설명하는 문서일 수도 있고, 가드레일, 규정 준수, 절차 등을 포괄하는 더 광범위한 운영 모델일 수도 있다. 조직이 AI 거버넌스를 정의하는 방법은 위험 허용 범위, 업계 규정, 혁신 문화에 따라 달라진다. 

AI 거버넌스를 더 잘 이해하려면 세계경제포럼(World Economic Forum) 4차 산업혁명센터의 이니셔티브인 AI 거버넌스 연합(AI Governance Alliance)의 사명을 살펴볼 필요가 있다. AI 거버넌스 연합은 “우리의 업무는 거버넌스를 넘어 산업 전반의 혁신과 실질적인 영향을 추진한다. 우리는 AI가 인간의 능력을 향상시키고, 포용적인 성장을 촉진하며, 전 세계적인 번영을 이루도록 보장한다”라고 밝히고 있다.

AI 거버넌스를 정의하는 데 있어 사명과 목표를 설정하는 것은 중요한 첫 단계다. 다음 단계는 직원들이 AI 기능을 어디서, 어떻게, 왜 사용해야 하는지에 대한 핵심 질문에 답하는 것이다. 다음은 조직의 AI 거버넌스 정책 및 절차를 개발할 때 답해야 할 7가지 질문이다. 

AI 거버넌스를 정의하는 7가지 질문

• AI를 사용해 달성하고자 하는 비즈니스 목표와 결과는 무엇인가?
• AI 사용 시 준수해야 할 규정과 컴플라이언스 요구 사항은 무엇인가?
• 직원이 AI 도구와 모델에서 데이터 세트를 어떻게 사용할 것인가?
• 생성형 AI를 지원하기 위해 조직의 데이터 거버넌스는 어떻게 변화해야 하는가?
• 직원은 어떤 AI 코파일럿과 도구를 사용할 수 있는가?
• 직원은 AI 결과를 어떻게 검증할 것인가?
• 직원이 AI에 대해 자세히 알아보려면 어디로 가야 하는가?

AI를 사용해 달성하고자 하는 비즈니스 목표와 결과는 무엇인가?

비즈니스에서 AI를 어떻게 활용하고자 하는가? AI 사용에 있어 유망한 목표와 이상적인 결과를 정의하는 것은 AI 거버넌스 구축의 중요한 단계다. 

에스커(Esker)의 글로벌 전략 프로젝트 디렉터인 스티브 스미스는 “많은 기업이 AI 실험에서 중요한 단계를 건너뛰고 있다. 바로 이 기술의 구체적인 사용 사례를 파악하는 단계다. AI 열풍으로 인해 흔히 볼 수 있게 된 전략인 무작정 실험하고 배포하는 방법 대신, 이해관계자들은 명확하고 실행 가능한 전략을 수립해야 한다”라고 조언했다. 

AI 거버넌스를 AI 전략과 연계해야 하는지, 아니면 별도로 정의해야 하는지에 대해서는 논의가 계속되고 있다. 또 다른 접근 방식은 독립적인 AI 전략을 수립하는 대신 디지털 트랜스포메이션 및 비즈니스 전략을 AI 중점 영역으로 업데이트하는 것이다. 접근 방식에 관계없이 조직에서 AI 사용 목표를 명시하는 것이 첫 번째 가드레일 중 하나가 돼야 한다. 

젠팩트(Genpact)의 하이테크 부문 글로벌 비즈니스 리더인 시부 남비아르는 “AI 실험을 위한 수많은 사용 사례가 있지만, 시간과 에너지를 최대한 활용하기 위해서는 데이터 품질을 평가하고 눈에 띄는 운영상의 문제점을 줄이는 데 집중해 AI 이니셔티브를 전략적 목표에 맞춰야 한다. 전략적 AI 구현은 당면 과제를 해결하는 것 외에도 고객 경험을 개선하고, 소비자 행동을 예측하고, 공급망을 관리하는 데 유용하다”라고 설명했다.

AI 사용 시 준수해야 할 규정과 컴플라이언스 요구사항은 무엇인가?

AI 사용에 대한 조직의 목표와 목적을 정의했다면, 그 다음 단계는 AI를 어떻게 사용할 수 있는지 설명하는 것이다. 

쿠치베이스(Couchbase)의 제품 및 전략 부사장인 라훌 프라단은 “거버넌스 구조는 AI 시스템이 규정을 준수하고 법적 및 재정적 영향을 피할 수 있도록 돕는다. 기업은 GDPR이나 HIPAA 같은 데이터 보호법을 비롯해 업계 규정과 표준을 준수해야 한다. 적절한 거버넌스는 데이터 프라이버시를 유지하고 데이터 유출 및 사이버 위협으로부터 보호하는 포괄적인 보안 조치를 마련할 수 있게 해준다”라고 말했다.

조직의 리더는 변화하는 규정이 AI 혁신 프로그램에 미치는 영향을 직원들에게 알리는 조치를 취해야 한다. 또한 다른 기업이 AI를 어떻게 구현하고 있는지에 대한 공개 정보에 주의를 기울여야 하며, 여기에는 나쁜 평판으로 이어지는 실수도 포함된다. 이런 사례는 AI의 리스크와 이를 방지하는 방법에 대해 논의할 기회가 된다. 

알골리아(Algolia)의 최고 제품 책임자인 바랏 구루프라카시는 “규제 기관은 아직 AI 거버넌스 전략을 실험하는 단계에 있지만 궁극적으로 AI 거버넌스는 윤리, 프라이버시, 안전이라는 3가지 축으로 구성될 전망이다. 이 3가지 축은 모두 복잡하다. 데이터 소스와 그 사용처의 파악은 AI 위협을 이해하고 적절한 보호 장치를 마련하는 데 핵심이 될 것”이라고 덧붙였다. 

규정과 리스크는 계속 변화하고 있다. 조직은 AI 거버넌스 정책을 업데이트하고 그 변경 사항을 직원들에게 알릴 계획을 세워야 한다. 

직원이 AI 도구와 모델에서 데이터 세트를 어떻게 사용할 것인가?

AI 거버넌스가 해결해야 할 주요 질문 중 하나는 직원이 생성형 AI 도구에서 프롬프트를 사용할 때 회사 데이터를 어떻게 사용할 수 있는지, 또는 왜 사용할 수 없는지에 관한 내용이다. 데이터 과학자도 AI 모델을 훈련시키거나 대규모 언어 모델(LLM)과 검색 증강 생성(RAG)을 통합하는 데 어떤 데이터를 사용할 수 있는지 알아야 한다. 

탭나인(Tabnine)의 설립자이자 CEO인 드로르 와이스는 “생성형 AI 모델을 도입하는 기업은 모델 학습에 사용된 데이터의 종류, 품질, 라이선스, 잠재적인 편견에 대해 고려해야 한다. 고려해야 할 또 다른 측면은 데이터 보안과 프라이버시다. AI 모델을 쿼리하기 위해 어떤 종류의 비즈니스 데이터를 전송할 것인가? 이 데이터를 외부 당사자와 공유할 수 있는가, 그렇다면 모델 제공 업체는 자사 데이터로 무엇을 하는가?”라고 말했다. 

많은 직원이 AI 오용의 리스크와 데이터 규정 준수에 대해 거의 이해하지 못하고 있기 때문에 데이터 규정 준수 정책의 ‘이유’를 설명하는 것이 중요하다. 

딜리전트(Diligent)의 사장 겸 CEO인 브라이언 스태포드는 “잘못된 접근은 데이터 오용 및 글로벌 프라이버시 규정과 관련해 윤리적으로 중대한 문제를 발생시킬 수 있다. 정보를 얻고 규정을 준수하려면 조직의 경영진을 위한 적절한 소프트웨어와 교육에의 투자를 포함해 잘 구축되고 유지되는 AI 거버넌스 프레임워크가 필요하다”라고 조언했다. 

많은 조직에서는 AI 거버넌스를 조직의 지적 재산, 기밀 데이터, 민감한 데이터 및 기타 제한된 데이터 세트로 작업하기 위한 정책과 절차를 설명하는 데이터 거버넌스의 확장으로 정의하고 있다. 

이뮤타(Immuta)의 연구 부사장인 조 레겐스버거는 “데이터 거버넌스 전략은 AI 거버넌스 요구 사항에 맞게 조정될 수 있지만, 조정 없이도 잘 작동하는 전략은 데이터 거버넌스의 4가지 ‘무엇’과 ‘어떻게’를 고려한다”라고 말했다. 그는 생성형 AI 모델의 데이터 상태와 품질을 보장하기 위해 다음 질문에 답할 것을 권장했다. 

• LLM과 함께 사용되는 RAG를 포함해, 생성형 AI 모델을 학습하는 데 어떤 데이터가 사용되는가?
• 모델은 어떻게 훈련되고 테스트되는가?
• 배포된 AI 모델에는 어떤 제어 장치가 있는가?
• AI 모델 결과의 정확성을 어떻게 평가할 수 있는가?

데이터 과학자에게는 모델 학습에 사용되는 데이터 샘플에 대한 가이드라인이 필요하다. AI 거버넌스는 편향된 학습 데이터를 피하고 내부 이해관계자에게 모델 개발 관행의 투명성을 제공하기 위한 요구 사항을 설명해야 한다.

엠펄스(mPulse)의 CTO인 산지브 사와이는 “양질의 결과물을 생성하려면 전체 인구를 정확하게 반영하는 데이터를 선택하는 것이 중요하다”라고 말했다. 그는 “다양한 데이터 세트로 작업하고 부정확성을 지속적으로 모니터링하는 모범 사례를 수립하면 사용자에게 더 나은 경험을 제공하는 공정하고 투명한 AI 모델을 만들 수 있다. 편향된 결과나 오용을 방지하기 위해 적절한 AI 사용 정책을 수립하고 교육할 책임은 궁극적으로 조직에 있다”라고 설명했다. 

생성형 AI를 지원하기 위해 조직의 데이터 거버넌스는 어떻게 변화해야 하는가?

AI 거버넌스는 데이터 거버넌스의 검토와 확장을 필요로 한다. 데이터 카탈로그, 데이터 품질, 데이터 파이프라인, 마스터 데이터 관리, 고객 데이터 프로필 등 데이터 거버넌스 도구가 이제 생성형 AI에 필요한 비정형 데이터 소스를 확장 지원하도록 하는 데 초점을 맞춰야 한다.

퀵베이스(Quickbase)의 달란 윈부시는 “의미 있는 AI 실험이 이루어지기 전에 회사 전반에 흐르는 데이터의 연결성과 무결성을 보장하는 강력한 거버넌스 정책을 수립하는 데 집중해야 한다”라고 설명했다.

데이터 거버넌스의 여러 영역에서 확장이 필요할 수 있다. SaaS에 저장된 문서와 콘텐츠를 포함한 비정형 데이터 소스의 사양이 그 한 예다. 엑셀데이터(Acceldata)의 CPO 라몬 첸은 “안타깝게도 기존의 데이터 거버넌스 도구는 거버넌스가 방어적이고 수동적이었던 정형 데이터 시대에 설계됐다. 점점 더 많은 기업이 모든 유형과 양식의 데이터를 처리하기 위해 차세대 데이터 통합 가시성 플랫폼으로 전환하고 있다. 이는 데이터 품질 및 비즈니스 정책을 적용해 실시간 알림과 문제 해결을 제공함으로써 안정적인 데이터 파이프라인을 보장한다”라고 말했다. 

한편 센트라(Sentra)의 CTO 겸 공동 설립자인 론 라이터는 AI 훈련 세트 데이터 보호, 직원이 민감한 데이터를 누설하지 않도록 하는 AI 프롬프트 모니터링, 기밀과 지적 재산 보호를 위한 출력 모니터링 등이 데이터 보안 및 거버넌스가 AI 거버넌스를 지원할 수 있는 영역이라고 설명했다. 그는 “조직이 프라이버시, 거버넌스, 규정 준수 역할을 포함한 다양한 팀에 권한을 부여함으로써 전문가들이 특수한 사이버 보안 훈련 없이도 적극적으로 데이터 보안 태세를 강화할 수 있다”라고 언급했다.

헬스에지(HealthEdge) 계열사인 웰프레임(Wellframe)의 제품 책임자 수닐 벤카타람은 의료 및 기타 규제 산업에 속한 기업의 경우 데이터 품질을 개선하고 액세스 권한을 정의하는 것이 성능, 프라이버시, 안전 표준을 충족하기 위한 중요한 단계라고 말했다. 그는 “조직은 데이터 검증, 감사, 모니터링, 보고는 물론 AI 생성 데이터의 잠재적 편향, 오류, 오용을 탐지하고 완화하기 위해 선도적인 사례, 도구, 신뢰할 수 있는 파트너를 활용해야 한다”라고 조언했다. 

직원은 어떤 AI 코파일럿과 도구를 사용할 수 있는가?

직원들과 논의해야 할 주요 영역 중 하나는 업무 흐름, 연구, 실험에 사용할 수 있는 AI 도구를 지정하는 것이다. 강력한 AI 거버넌스 정책은 도구 식별 외에도 직원이 어떤 기능을 사용할 수 있는지, 어떤 기능을 피해야 하는지, 누가 사용할 수 있는지, 어떤 비즈니스 프로세스에서 AI 사용을 피해야 하는지를 명시해야 한다. 

CIO는 AI 도구를 표준화하고, 직원들이 필요한 데이터 보안을 정의하는 계약 없이 도구에서 회사 데이터를 공유할 때 발생하는 섀도우 IT, 비용이 많이 드는 도구 확산, 추가적인 리스크를 피하고자 한다. 또한 직원이 평가를 위해 새로운 도구와 기능을 추천할 수 있는 프로세스를 정의하는 정책도 마련해야 한다. 

리더는 직원들에게 코파일럿 사용의 모범 사례도 교육해야 한다. 소나(Sonar)의 전략적 파트너십 부사장인 해리 왕은 “효과적인 AI 거버넌스와 적절한 도구는 리스크를 줄이고 이점을 극대화하는 데 중요하다. 소프트웨어 개발을 예로 들면 AI는 개발 속도를 높일 수 있지만, 적절한 검사가 없다면 오류 코드로 인해 혼란이 발생할 가능성도 높아진다”라고 말했다. 

직원은 AI 결과를 어떻게 검증할 것인가?

소프트웨어 개발자가 이미 기능을 테스트하고 코드 리뷰를 수행하고 있기 때문에 코파일럿 코드 생성기는 기존 관행에 새로운 차원과 속도를 더한다. 그러나 생성형 AI를 사용하는 비즈니스 인력은 결과를 검증하는 동일한 규율을 갖고 있지 않을 수 있다. 또한 많은 AI 재난 사례가 기업의 브랜드와 재정에 타격을 입힌 바 있다. AI 거버넌스는 직원이 생성형 AI 도구 또는 LLM이 제공하는 결과를 검증하는 방법에 대한 정책과 관행을 제공할 수 있다. 

탭나인의 와이스는 “직원이 비즈니스 맥락에서 AI를 효과적으로 사용하는 데 필요한 기술을 개발하도록 돕는 것이 최우선이다. 대부분의 직원은 컴퓨터가 잘못된 정보를 알려주는 데 익숙하지 않다. 따라서 특정 영역에서 효과적으로 프롬프트를 작성하는 법과 결과를 비판적으로 보는 법을 배우려면 상당한 교육이 필요하다”라고 설명했다. 

문제 중 하나는 AI 도구가 설명 가능한지, 그리고 생성형 AI가 개별 질문에 답할 때 어떤 요소를 고려하는가다. SADA의 AI/ML 담당 부 CTO인 사이먼 마골리스는 “대부분의 시스템이 결정론적인 반면 생성형 AI 시스템은 비결정론적이다. 결과가 항상 일관되거나 예측 가능하지 않을 수 있다”라고 말했다. 

쿠모 AI(Kumo AI)의 엔지니어링 책임자이자 공동 설립자인 헤마 라가반의 경우 “AI 결과를 평가하는 것은 관련성, 신뢰성, 속도에 대한 사용자 만족도 지표를 계산하는 일”이라고 언급했다. 그는 “관련성은 정보를 찾는 사용자가 제시된 답변에 만족하는지를, 신뢰성은 일관된 답변을 제공하는지를, 속도는 빠른 결과를 제공하는지를 의미한다”라고 덧붙였다. 

결과 검증을 위한 AI 거버넌스 계획에는 다음이 포함될 수 있다.

• RAG에서 사용되는 내부 정보 소스에 대한 문서화
• 코드, 자동화 또는 기타 AI 결과를 운영에 적용하기 전 테스트 및 검증 절차
• 다른 사람들이 생성형 AI 도구를 어떻게 사용하는지 직원이 볼 수 있는 중앙 집중식 프롬프트 라이브러리

앱파이어(Appfire)의 CTO 에드 프레데리치는 “AI의 발전 속도가 AI 사용을 규제하는 규칙을 앞지르는 상황에서 비즈니스 리더는 책임감 있는 AI 사용의 핵심 원칙인 설명 가능성, 책임, 리스크 관리, 윤리적 조정, 편향 통제, 투명성 등에 대한 직원 교육을 우선시해야 한다. 여기에는 AI 기반 결과를 감사해 결과가 예상 범위 내에 있는지 확인하고, AI 결정에 사람의 감독이 필요한 경우에 대한 명확한 프로토콜을 수립하고, 피드백을 통해 AI 의사 결정 프로세스를 개선하는 시스템을 구현하고, AI 결정을 이해하기 쉬운 용어로 설명하도록 하는 등의 전략이 포함된다”라고 설명했다. 

규제 대상 산업에 속하거나 사람의 안전이 우려되는 조직의 경우 보다 구체적인 테스트 요구 사항을 정의해야 한다.

직원이 AI에 대해 자세히 알아보려면 어디로 가야 하는가?

AI 거버넌스는 미래를 내다보고 직원이 AI 기술 및 모범 사례에 대해 배울 수 있는 곳을 안내해야 한다. 학습 프로그램은 직원이 새로운 기술을 습득하고, 빠르게 변하는 가상 에이전트와 기계 지능의 세계에 적응하는 데 도움이 될 수 있다. 

젠팩트의 남비아르는 “진정한 발전은 AI의 역량과 사람의 통찰력을 결합해 필요와 윤리적 기준에 부합하는 기술의 잠재력을 최대한 발휘하는 것”이라고 말했다. 그는 “사람 중심의 AI를 우선시하도록 직원을 교육해야 기술이 사람의 능력을 향상시키고, 창의성을 증진하며, 핵심 가치를 지키는 미래를 만들 수 있다”라고 덧붙였다.

앞선 조직은 직원이 생성형 AI 시대의 제품과 업무를 재구상할 수 있도록 리더십, 혁신, 기술 및 기타 교육을 제공할 것이다. 초기에는 생산성 향상이 대부분의 이점을 차지하겠지만, 생성형 AI로 디지털 트랜스포메이션을 추진하려면 장기적인 계획과 비즈니스 모델의 재구성이 모두 필요하다. ciokr@idg.co.kr