“방심하면 당한다” 최악의 AI 대실패 사례 12선

2017년 이코노미스트는 석유보다 데이터가 더 가치 있는 자원이 됐다고 선언했고, 이후 이 표현은 끊임없이 반복됐다. 산업을 가리지 않고 수많은 기업이 데이터와 분석에 막대한 투자를 해왔으며, 지금도 그 투자는 계속되고 있다. 하지만 석유처럼 데이터와 분석에도 어두운 이면이 존재한다.

‘2025 CIO 현황 조사(State of the CIO Survey 2025)’에 따르면, CIO의 42%가 AI/ML을 2025년 최우선 기술 과제로 꼽았다. 머신러닝 알고리즘 기반의 의사결정은 경쟁 우위를 안겨줄 수 있지만, 한 번의 실수로 명성, 수익, 심지어 사람의 생명까지 위협할 수 있다.

데이터가 전달하는 의미를 이해하는 것도 중요하지만, 사용하는 도구와 데이터 자체, 기업의 핵심 가치를 동시에 이해하는 것이 무엇보다 중요하다. 이를 보여주는 지난 10년간의 대표적 AI 오작동 사례를 소개한다.

‘없는 책’ 추천한 AI, 미국 일간지 명성에 타격

2025년 5월, 시카고 선타임스와 필라델피아 인콰이어러가 여름철 추천 도서 목록을 실었는데, 실제로는 존재하지 않는 책들이 포함되며 평판에 큰 타격을 입었다.

해당 특집은 ‘히트 인덱스: 여름을 위한 최고의 가이드’라는 섹션으로, 허스트 산하 킹 피처스 신디케이트(King Features Syndicate)가 제공한 것이다. 특집을 작성한 마르코 부스카글리아는 도서 추천 목록을 포함해 전체 콘텐츠 제작에 AI를 활용했으며, 사실 확인을 하지 않았다고 인정했다.

추천 목록에는 실제 작가가 다수 포함됐지만, 존재하지 않는 책 제목이 붙었다. 첫 번째 추천 도서는 칠레계 미국 작가 이사벨 아옌데의 소설 Tidewater Dreams로, “기후 변화로 인해 해수면이 상승하는 현실을 마주한 한 가족이 숨겨진 진실을 밝혀나가는 이야기”라고 설명됐다. 그러나 Tidewater Dreams는 아옌데가 쓴 적 없는, AI가 지어낸 허구의 작품이었다.

두 신문사는 해당 특집에 직접 개입하지 않았다고 밝혔지만, 섹션에 광고성 콘텐츠라는 표시는 없었다. 킹 피처스는 해당 사건 이후 부스카글리아와의 계약을 해지했으며, AI 활용은 내부 정책 위반이라고 설명했다.

주문 못 알아들은 AI, 맥도날드의 실험 종결시켜

맥도날드는 IBM과 협력해 드라이브 스루 음성 주문에 AI를 적용하는 실험을 3년간 이어오다, 2024년 6월 전면 중단했다. 이유는 주문을 제대로 인식하지 못하는 AI로 인해 소비자가 혼란을 겪는 영상이 SNS를 통해 확산됐기 때문이다.

특히 틱톡에 올라온 한 영상에서는 고객 2명이 “그만해 달라”고 거듭 요청했지만, AI는 치킨 맥너겟을 계속 추가해 총 260개를 주문하는 상황이 벌어졌다. 업계 전문 매체 레스토랑 비즈니스(Restaurant Business)가 입수한 2024년 6월 13일자 내부 문서에 따르면, 맥도날드는 IBM과의 파트너십 종료와 동시에 실험도 종료한다고 밝혔다.

AI는 미국 내 100개 이상 드라이브 스루 매장에서 시범 적용됐으며, 맥도날드는 여전히 음성 기반 주문 솔루션 도입에는 가능성이 있다고 보고 있다.

그록 AI, NBA 스타를 연쇄 기물파손범으로 몰아

2024년 4월, 일론 머스크의 xAI가 개발한 챗봇 그록(Grok)은 NBA 스타 클레이 톰슨이 캘리포니아 새크라멘토에서 여러 집의 유리창을 부쉈다는 허위 사실을 X에 게시했다.

일부 전문가들은 그록이 골든스테이트 워리어스 소속이었던 톰슨의 경기력에 대한 ‘벽돌 던지기(brick)’이란 표현을 잘못 해석한 결과일 수 있다고 분석했다. 농구에서 ‘brick’은 슛이 심하게 빗나간 경우를 뜻하는 속어로, 톰슨은 당시 구단 역사상 최악의 플레이오프 성적을 기록한 직후였다. 이후 그는 댈러스 매버릭스로 이적했다.

그록은 “실험적 기능이며 오류가 있을 수 있으니 검증하라”는 문구를 안내하고 있지만, AI가 허위 사실을 퍼뜨릴 경우 책임 소재 문제는 여전히 논란거리다.

뉴욕시 챗봇, 사업자에게 불법 조장

2024년 3월, IT 전문 매체 더 마크업(The Markup)은 마이크로소프트가 지원한 챗봇 ‘마이시티(MyCity)’가 사업자에게 불법을 조장하는 잘못된 정보를 제공했다고 보도했다.

마이시티는 2024년 10월 뉴욕시가 선보인 서비스로, 시민들에게 창업, 주거 정책, 노동자 권리에 대한 정보를 제공하는 목적이었다. 문제는 마이시티가 사업자가 직원의 팁 일부를 가져갈 수 있다거나, 성희롱을 호소한 직원을 해고해도 된다거나, 쥐가 갉아먹은 음식을 제공해도 된다는 등의 허위 정보를 제공했다는 점이다. 또한 임대인이 소득원을 기준으로 세입자를 차별해도 된다는 내용도 있었다.

해당 보도 이후, 뉴욕시 에릭 애덤스 시장은 관련 혐의로 기소된 상황에서도 이 프로젝트를 옹호했다. 논란에도 불구하고 마이시티는 현재까지 운영 중이다.

에어캐나다, 챗봇 오류로 고객에 손해배상 지급

2024년 2월, 에어캐나다는 자사 챗봇이 한 승객에게 잘못된 정보를 제공한 후, 해당 고객에게 손해를 배상하라는 판결을 받았다.

2023년 11월, 제이크 모팻은 할머니 사망 이후 장례 관련 할인 운임을 문의하기 위해 에어캐나다의 가상 상담 챗봇을 이용했다. 챗봇은 밴쿠버-토론토 일반 항공권을 먼저 구매한 후 90일 이내에 장례 운임 환급을 신청하면 된다고 안내했다. 이에 따라 모팻은 편도 항공권(CA$794.98)과 복귀편(CA$845.38)을 구매했다.

그러나 환급을 요청하자 에어캐나다는 “구매 후에는 장례 운임을 신청할 수 없다”고 거절했다. 모팻은 캐나다의 행정재판소에 에어캐나다가 가상 어시스턴트를 통해 무책임한 정보를 제공하고 관리를 태만하게 했다고 소송을 제기했으며, 에어캐나다는 챗봇이 제공한 정보에 대한 법적 책임이 없다고 주장했다.

그러나 재판관 크리스토퍼 리버스는 “에어캐나다가 챗봇의 정확성을 보장하기 위한 합리적 조치를 취하지 않았다”고 판시하며 손해배상 지급을 명령했다. 손해배상에는 650.88캐나다달러의 정신적 피해 보상도 포함됐다.

스포츠일러스트레이티드, AI 작가 활용 의혹

2023년 11월, 온라인 매체 퓨처리즘(Futurism)은 스포츠 전문지 스포츠 일러스트레이티드(Sports Illustrated)가 AI가 생성한 가짜 작가 이름으로 작성된 기사를 다수 게재했다고 보도했다.

퓨처리즘은 익명의 내부 제보를 인용하며, 해당 기사들의 필자 프로필 사진이 AI 인물 사진 판매 사이트에도 등록돼 있었다고 밝혔다. 이에 스포츠 일러스트레이티드의 발행사 아레나 그룹(Arena Group)은 해당 기사가 서드파티 업체인 자인 애드본 커머스(AdVon Commerce)로부터 제공받은 콘텐츠라고 해명했다.

아레나 그룹은 퓨처리즘에 보낸 성명에서 “파트너의 활동을 지속적으로 모니터링해 왔고, 관련 의혹이 제기됐을 당시에도 검토 중이었다”고 설명했다. 애드본은 “해당 기사는 모두 인간이 작성하고 편집한 것”이라고 해명했으며, 일부 기사에서 사용된 필명은 편집 방침에 위배된다는 이유로 아레나 그룹은 관련 콘텐츠를 사이트에서 삭제했다.

이에 대해 스포츠 일러스트레이티드 노동조합은 “사실이라면 저널리즘의 모든 가치를 훼손하는 일”이라며, 철저한 설명과 투명한 대응을 요구하는 성명을 발표했다. 노조는 “독자에게 매우 무례한 일이므로, 이런 행위에 연루되는 것을 매우 유감스럽게 생각한다”고 밝혔다.

나이 많은 지원자 자동 탈락시킨 AI 채용 시스템

2023년 8월, 미국 온라인 튜터링 기업 아이튜터그룹(iTutor Group)은 미국 고용평등위원회(EEOC)가 제기한 소송에서 36만 5,000달러의 합의금을 지급하기로 결정했다.

EEOC에 따르면, 아이튜터그룹은 중국 학생 대상 원격 교육 서비스를 제공하며, AI 기반 채용 시스템을 통해 55세 이상 여성과 60세 이상 남성을 자동으로 탈락시켰다. 이로 인해 자격을 갖춘 200명 이상의 지원자가 차별을 받았다.

샬럿 버로우스 전 EEOC 위원장은 “나이 차별은 부당하고 불법”이라며, “AI가 차별을 자동화했다 해도, 고용주는 그 책임에서 벗어날 수 없다”고 강조했다. 아이튜터그룹은 책임을 인정하지는 않았지만, 합의를 선택했고 새로운 차별 금지 정책을 수립하기로 약속했다.

챗GPT가 만들어낸 허위 판례로 변호사 징계

2023년 생성형 AI의 급속한 발전은 거의 모든 산업에서 혁신 가능성에 대한 관심을 불러일으켰다. 오픈AI의 챗GPT는 그 중심에 있었지만, 이 기술이 신뢰할 수 있는 수준으로 업무를 대체하기까지는 여전히 갈 길이 멀다는 점이 뉴욕 변호사 스티븐 슈워츠 사건에서 명확히 드러났다. 슈워츠는 콜롬비아 항공사 아비앙카를 상대로 한 소송에서 챗GPT를 활용해 판례를 검색했다가 미국 연방지방법원 판사 케빈 캐슬에게 강한 질책을 받았다.

슈워츠는 2019년 부상당한 아비앙카 직원 로베르토 마타를 대리해 소송을 제기했다. 하지만 슈워츠가 제출한 서면에는 존재하지 않는 판례가 최소 6건 포함돼 있었다. 2023년 5월 제출된 공식 문서에 따르면, 캐슬 판사는 슈워츠가 인용한 판례들이 가짜 사건명과 사건번호, 심지어 허위 인용문과 내부 참조까지 포함하고 있었다고 지적했다. 공식 서면에 서명한 마타의 담당 변호사는 슈워츠의 파트너인 피터 로두카였고, 이로 인해 로두카도 법적 위험에 처했다.

슈워츠는 법원에 제출한 진술서에서 챗GPT를 법률 조사에 사용한 것은 처음이라고 해명하며, 해당 AI가 허위 정보를 생성할 수 있다는 사실을 몰랐다고 밝혔다. 또한 AI가 제시한 정보를 검증하지 않았음을 인정하고, 향후에는 진위 여부를 반드시 확인하겠다고 다짐했다.

2023년 6월, 캐슬 판사는 슈워츠와 로두카에게 각각 5,000달러의 벌금을 부과했으며, 별도 판결에서 마타의 소송은 기각됐다.

코로나는 못 잡아낸 AI 의료 알고리즘

2020년 팬데믹 발생 이후, 많은 기관이 병원에서 진단 또는 환자 분류를 빠르게 수행할 수 있도록 머신러닝 알고리즘을 도입하려 했다. 하지만 영국 튜링 연구소(Turing Institute)에 따르면, 이런 예측 도구들은 거의 아무런 효과도 내지 못했다.

MIT 테크놀로지 리뷰(MIT Technology Review)는 이와 관련한 다양한 실패 사례를 정리했으며, 대부분의 문제는 도구를 훈련하거나 테스트하는 방식에 있었다. 라벨이 잘못된 데이터, 출처가 불명확한 데이터를 사용하는 것이 대표적 원인이었다.

케임브리지대학교의 머신러닝 연구자 데릭 드릭스는 동료들과 함께 딥러닝 모델을 이용한 코로나 진단 기술에 대한 논문을 네이처 머신 인텔리전스(Nature Machine Intelligence)에 발표했다. 그러나 해당 논문은 이 기술이 임상에 적용되기엔 부적합하다는 결론을 내렸다. 예를 들어, 드릭스의 팀이 훈련한 모델은 환자가 누워서 찍은 스캔 이미지와 서서 찍은 이미지가 혼합된 데이터셋에 기반했다. 문제는 누워서 촬영된 환자가 중증일 확률이 높기 때문에, 알고리즘이 환자의 자세로 코로나 위험을 판단하게 됐다는 점이다.

또 다른 사례에서는 건강한 어린이의 흉부 스캔 이미지로 훈련한 모델이 실제로는 어린이를 판별하게 되는 오류를 보였다. 결과적으로 모델은 코로나를 진단한 것이 아니라, 연령대나 자세 같은 주변 신호에 반응한 셈이다.

질로우, 주택값 예측 실패한 알고리즘으로 3억 달러 손실

2021년 11월, 미국 부동산 플랫폼 질로우(Zillow)는 주주들에게 질로우 오퍼스(Zillow Offers) 사업을 단계적으로 종료하고 전체 인력의 25%에 해당하는 약 2,000명 감원 계획을 발표했다. 주택 구매 후 리모델링해 되파는 이 사업 부문은 주택 가격 예측을 위한 머신러닝 알고리즘의 오류로 인해 큰 손실을 입었다.

질로우 오퍼스는 제스티메이트(Zestimate)라는 알고리즘 기반의 가격 예측 시스템을 활용해 주택을 현금으로 매입하고, 리노베이션 후 빠르게 되파는 전략이었다. 하지만 질로우 대변인은 CNN에 “해당 알고리즘의 중앙값 오차율은 1.9%였으며, 비공개 주택의 경우 최대 6.9%까지 높아질 수 있었다”고 설명했다.

CNN에 따르면, 질로우는 2018년 4월부터 해당 프로그램을 통해 2만 7,000채의 주택을 매입했지만, 2021년 9월까지 판매한 주택은 1만 7,000채에 불과했다. 여기에 팬데믹과 주택 리모델링 인력 부족이라는 예외 상황이 알고리즘의 정확도를 더욱 떨어뜨렸다.

질로우는 이 알고리즘이 오히려 미래 판매가보다 더 높은 가격에 주택을 매입하도록 작동해 2021년 3분기에만 3억 400만 달러의 재고 손실을 기록했다고 밝혔다. 발표 이후 진행된 투자자 대상 컨퍼런스콜에서 공동 창업자 겸 CEO 리치 바턴은 “알고리즘을 조정하는 것이 가능했을 수도 있지만, 결국 너무 위험한 선택이었다”고 말했다.

인종차별 트윗 쏟아낸 마이크로소프트 AI 챗봇

2016년 3월, 마이크로소프트는 트위터 상호작용 데이터를 머신러닝 훈련에 활용하면 어떤 결과를 초래할 수 있는지 뼈저리게 경험했다.

마이크로소프트는 챗봇 ‘테이(Tay)’를 트위터에 공개하며, 대화형 이해 능력을 실험하기 위한 프로젝트라고 소개했다. 테이는 10대 소녀의 인격을 부여받아 일반 사용자와 자연어 처리 및 머신러닝을 통해 대화를 나누는 구조였다. 이 챗봇은 익명화된 공개 데이터와 일부 코미디 작가의 사전 작성 문구를 바탕으로 훈련됐으며, 트위터 상호작용을 통해 스스로 진화하도록 설계됐다.

테이는 공개 후 16시간 만에 9만 5,000건 이상의 트윗을 게시했는데, 그 내용은 순식간에 인종차별, 여성혐오, 반유대주의적 발언으로 물들었다. 마이크로소프트는 즉시 서비스를 중단하고 수정에 들어갔지만, 결국 프로젝트를 완전히 종료했다.

당시 마이크로소프트 헬스케어 부문 부사장이었던 피터 리는 마이크로소프트 공식 블로그에서 “의도하지 않은 상처 주는 발언에 대해 깊이 사과한다”라며, “이것은 마이크로소프트가 지향하는 가치와 전혀 다르다”고 밝혔다.

리 부사장은 2014년 중국에서 먼저 출시된 유사 챗봇 ‘샤오이스(Xiaoice)’는 4,000만 명과 성공적으로 대화한 경험이 있었음을 언급했다. 하지만 마이크로소프트는 트위터 사용자들이 곧바로 부적절한 발언을 쏟아낼 수 있다는 점을 간과했다. 테이는 이 발언들을 학습한 뒤 그대로 자신의 트윗에 반영한 것이다.

여성 지원자 탈락시킨 아마존 AI 채용 시스템

아마존은 HR 업무를 자동화하기 위해 2014년부터 AI 기반 채용 시스템을 개발했다. 하지만 이 시스템은 남성 지원자를 지나치게 선호했고, 결국 2018년 로이터 보도를 통해 프로젝트가 폐기된 사실이 드러났다.

해당 시스템은 1~5점까지 별점을 부여하는 방식으로 작동했으며, 10년치 아마존 채용 이력서를 바탕으로 훈련됐다. 하지만 훈련 데이터 대부분이 남성 지원자 중심이었기 때문에, ‘여성’이라는 단어가 포함된 이력서는 감점 처리됐고, 여성대학 출신 지원자들도 불이익을 받았다.

아마존은 이 도구가 실제 채용 의사결정에 사용된 적은 없다고 해명했다. 이후 편향 제거를 시도했지만, 또 다른 차별 기준이 학습될 가능성을 배제할 수 없다고 판단해 프로젝트를 전면 종료했다.
dl-ciokorea@foundryco.com