従業員向けAIプロンプトの約1割が機密データを含む

従業員からのAIデータ漏えいは、企業の悪夢となっている。

HarmonicのAIデータ漏えいに関する最新レポートによると、人気のLLMに対する従業員のプロンプトの8.5%に機密データが含まれており、セキュリティ、コンプライアンス、プライバシー、法的な懸念がある。

2024年第4四半期にChatGPT、Copilot、Gemini、Claude、Perplexityに対する数万件のプロンプトを分析したHarmonicは、請求情報や認証データを含む顧客データが流出データの最大シェア46％を占めることを明らかにした。この中でHarmonicは、処理時間を短縮するために従業員がAIツールに頻繁に入力する顧客データが多く含まれる報告書の一種として、保険金請求を取り上げた。

給与データや個人を特定できる情報（PII）を含む従業員データは、機密性の高いプロンプトの27％を占め、次いで法務・財務データが15％だった。

「センシティブなプロンプトの6.88%を占めるセキュリティ関連情報は、特に懸念すべきものです。「例えば、侵入テストの結果、ネットワーク設定、インシデントレポートなどである。このようなデータは、脆弱性を悪用するための青写真を攻撃者に提供する可能性がある。

影からの脱出

ジェネレーティブAIのデータ漏えいは困難な問題であり、企業のジェネレーティブAI戦略がCISOをストレスフルな状況に追い込んでいる主な理由でもある。

企業におけるLLMの使用は、ライセンス供与や自社開発による実装を含む公認のデプロイメント、シャドーAI（通常、正当な理由によって企業によって禁止されている無料のコンシューマーグレードのアプリで構成）、セミシャドージェネレーティブAIの3つに大別される。

無許可のシャドーAIはCISOにとって主要な問題であるが、この最後のカテゴリーは、最もコントロールが難しいかもしれない成長中の問題である。事業部門の責任者によって開始されたセミシャドーAIには、IT部門の承認を得ていない有償のAIアプリが含まれる可能性があり、実験、便宜、生産性向上のために導入されている。このような場合、経営幹部はシャドーITに従事しているが、事業部門の従業員はAI戦略の一環として経営陣からツールを利用するよう指示されている。

シャドーまたはセミシャドーの無料生成AIアプリは、ライセンス条項が通常、すべてのクエリでトレーニングを許可しているため、最も問題がある。Harmonicの調査によると、機密データ漏えいの大部分を占めるのは、無料層のAI利用である。例えば、機密プロンプトの54%はChatGPTの無料層で入力されている。

しかし、ほとんどのデータスペシャリストは、有料のAIアプリの契約上の約束を信用することをCISOに勧めない。

Carstens, Allen & Gourley知的財産法律事務所の弁護士ロバート・テイラーは、企業秘密の例を挙げる。従業員が生成AIシステムに企業秘密を暴露するような質問をすると、様々な法的保護、特に企業秘密保護が失われる可能性がある、と彼は言う。知的財産を保護する弁護士は、禁止されているデータが発見されるかどうかを確認するために、チームメンバーに企業秘密について幅広いAIアプリに質問させることがよくあると付け加える。もしそうなら、誰かが漏らしたことになる。

競合他社がリークを知れば、リークによって営業秘密の法的保護が無効になると法廷で主張することができる。テイラーによれば、知的財産権所有者の弁護士は、企業が秘密を保護するために様々な仕組みを導入したことを証明しなければならない。生成的なAIクエリに関するトレーニングを行わないことを約束した契約条項に頼ることは、「十分なレベルの合理的努力とは言えない」とテイラーは言う。

「それは総合的な状況でしょう」と彼は言う。企業は、”データの使用に関して従業員を拘束するポリシー “を導入し、厳格に実施しなければならない。

データに配慮した実践

CISOはビジネスリーダーと協力し、保護されたデータを使用せずにLLMから同じ結果を得る方法を従業員に教育する必要がある、とForrester社の副社長兼主席アナリストであるジェフ・ポラードは言う。そうすることで、プロンプトをより繊細に扱う必要があるが、AIが生成した回答の有効性を薄めることなく、機密情報を保護することができる。

「しかし、クエリの言い回しを理解するようにユーザーを訓練する必要がある」とポラードは言う。

ロックダウンされた企業負担のアプリではなく、無料のAIツールを従業員が使用する場合、「従業員を取り締まることは最も明白なことですが、核心的な疑問は『なぜ従業員はそれをやっているのか』ということです」と、ガートナーの著名な副社長兼アナリストのアルン・チャンドラセカラン氏は指摘する。

「IT部門が従業員に必要なツールを提供していないために、従業員はそれを行っているのです」と彼は主張する。

CISOは、全社的なAIツールは「本当に使える」ものであるべきだということを徹底させるために、C-suiteの担当者にこのことを指摘すべきだと彼は言う。

残念なことに、ソフトウェア・ベンダーUnilyのシニア・コミュニティ＆パートナー・マーケティング・マネージャーであるカズ・ハッサン氏によれば、ジェネレーティブAIでは、すでに精霊は瓶の外に出ているという。

「従業員によるAIの利用は、ITチームが追いつく能力を凌駕しています。「ITチームは、状況が良くないことは分かっていても、影響を与えるためのコミュニケーション、文化、戦略の部分にまで手が回らないのです」

新たな青写真が必要であり、組織はリスクを減らすために今すぐ明確なAI戦略が必要であり、従業員の技術スタックにAIを織り込んですぐにフォローアップする必要がある” とハッサンは付け加えた。

典型的な監視・制御アプリは、データ漏洩のポイントを外していると彼は主張する。

「パワー・ユーザーが無許可のAIツールで機密データを処理しているのは、制御できないからではなく、スピードが落ちないからだ。制限して保護するという古いやり方は、単に失敗しているだけでなく、AIのイノベーションを積極的に陰に追いやろうとしているのです」とハッサンは言う。「CISOはこの現実を直視する必要がある。AIの変革をリードするか、セキュリティ境界が溶解していくのを見るかだ」

ハッサン氏は、ジェネレーティブAIによるデータ問題は2つの方向に向かうと指摘する。クエリによって機密データが流出することと、幻覚によって、あるいは誤った情報に基づいて訓練された欠陥のあるデータが、ジェネレーティブAIの回答を通じて企業に入ってくることだ。

「今日のCISOは、機密データの流出だけを心配するべきではありません。悪いデータが入ってくることも心配すべきです」とハッサンは言う。