テック業界でChatGPTのようなジェネレーティブAI（生成系AI）の可能性を追求する動きが進むなか、そうしたツールが抱えるセキュリティリスクに関する懸念も広がっている。その1つがIAM（ID・アクセス管理）の領域でサイバー攻撃に使われる恐れがあることだ。そうしたリスクを軽減するためには、API周りにCASB（Cloud Access Security Broker：キャスビー）と同様の高度な制御を構築することだと専門家が提案している。攻撃側と防御側の間で競争が激化するなか、ChatGPTのようなAIツールは双方にとって不可欠な武器として台頭し始めている。

ChatGPT使用に伴うIAM関連のリスクとしてセキュリティの専門家が注意を呼び掛けているものとしては、個人情報に関する懸念、機密データの漏洩、データの悪用、フィッシング攻撃、自然言語処理 (NLP) のバイアス等がある。

米OpenAIが定めるChatGPTの英語版プライバシーポリシーには、「当社が保有する情報は単独で、あるいは他の情報と組み合わせて個人を識別するために使用される可能性があります（以下、「個人情報」）」（抄訳）とある。

米調査会社ガートナーは最近発表した記事の中で、企業の従業員がChatGPTと対話するうちに、機密性の高い自社独自のデータを意図せずあっさりと公開してしまう可能性があると指摘している。一度投げた質問はOpenAIのインフラに無期限に保存されるため、サードパーティによるモデルの学習に使用されることで情報の機密性はさらに損なわれていく可能性もある。

ChatGPTによる盗聴の可能性

攻撃側の立場で考えると、「入力内容を盗聴するのはかなり簡単」だという。ガートナーのディスティングイッシュト バイスプレジデント アナリスト、Avivah Litan（アヴィーヴァ・ライタン）氏が米SDxCentralの取材で語った。ChatGPTに入力された質問にアクセス、リバースエンジニアリングすればユーザーを特定することが可能だという。「私たちには（OpenAIが）こうした製品のセキュリティをどの程度確保しているか分からないわけですから、なおさら注意が必要です」

もしセキュリティが不十分であれば、ChatGPTは攻撃者のターゲットとなり、ユーザー認証情報などの機密データを盗む場とされかねない。そうなればシステム全体や機密データへの不正アクセスにつながる可能性もある。ガートナーが指摘するのはAIチャットボットによって「これまで見たことがないような」規模でコンテンツの大波が発生し、オンライン上の不正行為や個人情報の盗難、誤情報、偏見などが増幅される可能性があることだ。

フィッシング攻撃はIAMに関わる主な脅威の1つになっているが、ChatGPTで自動化されることで激化しかねない。Litan氏によると、ChatGPTを使えば以前よりも洗練された、インテリジェントかつ標的を絞ったフィッシング攻撃が可能になるという。また、プロセスを自動化するとともに、偽のコンテンツ、悪意のコンテンツを正当なものに見せかけることもできる。

「標的型フィッシング攻撃で犯罪集団側が抱えていた問題の1つは、メールの文面がかなり馬鹿げていることでした」と氏は言う。「今後はこれまでよりもずっと説得力のあるものになるでしょう。ソーシャルエンジニアリングが大きな問題になります」

Litan氏の予測では、アカウント乗っ取りのうちジェネレーティブAIが利用される件数の割合は2024年までに少なくとも20%に達するという。「説得力のあるフェイクの文章や見栄えのする大きな動画を生成することがとても簡単になっていくでしょう。私がこれまで考えたこともないほど急速に変化が進みそうです」

米Oktaのエンジニアリング担当シニアバイスプレジデント、（バワナ・シン）氏も同意見だ。「以前のフィッシング攻撃キャンペーンは、お粗末な文法、スペル、言葉のおかしさ全般をチェックすれば阻止することができました。ロボットが人間のふりをしている証拠です」

しかし今では、ジェネレーティブAIを使えば人間が書いたようなコピーをレンダリングすることが可能だ。「これまでよりも信憑性のあるフィッシングキャンペーンが増加するかもしれません。メールやチャットの会話でユーザーをだましたり強要したりして、認証情報を引き出すものがあるでしょう。アカウントの乗っ取りリスクが高まることになりそうです」。SDxCentralのメール取材でシン氏が説明した。

さらに、NLPシステムというものは、偏った内容、差別的な内容、あるいは本人確認やアクセス制御の問題にもつながりかねない不正な内容の出力を生成することがある。しかし現在のところ、バイアスを取り除き、モデルの動作を監視してコンテンツをフィルタリングするような制御を追加できる企業向けツールは存在しない、とLitan氏は指摘する。

こうしたリスクについて、ChatGPTは何と答えるだろうか。

SDxCentral：ChatGPTはID・アクセス管理の面でどのようなリスクをもたらす可能性がありますか。また、攻撃者はChatGPTを利用してどのようにIDやアクセス権を盗むでしょうか。

ChatGPT：ChatGPTはAI言語モデルの1つであり、個人や組織に対してID・アクセス権に関わる潜在的なリスクをいくつかもたらします。攻撃者はChatGPTを使って説得力のあるフィッシングメッセージ／フィッシングメールを作成したり、信頼できる個人になりすましたり、モデルの学習データのバイアスを利用したり、悪意のあるコードを挿入したり、機密情報を侵害したりする可能性があります。

ChatGPTを使えば従来のフィッシング攻撃よりも説得力があり、パーソナライズされたメッセージを生成できるため、フィッシング攻撃は特に懸念されるところです。また、被害者が信頼している人物の口調やパーソナリティを模倣することができれば、ソーシャルエンジニアリングの手口は非常に効果的なものになり得ます。さらに、ChatGPTの学習データにはバイアスが含まれる可能性があり、攻撃者はこれを悪用してユーザーを操り、許可されていないアクションを実行させたり、機密情報を公開させたりする可能性があります。総括すると、こうしたリスクあることを個人や組織が認識し、考えられる攻撃から身を守るために対策を講じることが重要です。

ChatGPTに必要なもの＝CASBに似たセキュリティサービス

OpenAIは3月に「ChatGPT API」を公開、開発者がAPI経由でアプリケーションや製品に同モデルを組み込めるようにした。

APIのデータ利用ポリシーには、APIを介して顧客から送信されたデータをモデルの訓練や改良に使用することはないが、不正使用や誤用の監視を目的として最大30日間保持するとある。

米Salt SecurityのフィールドCTO、Nick Rago（ニック・ラーゴ）氏は、アプリケーションやサービスの提供者がOpenAIなどのサードパーティと何の情報を共有しているのか、ユーザーが知ることが可能でなくてはならないと指摘する。「新しく登場したChatGPT APIをサービス事業者が利用するのなら、統合する目的、APIで共有される情報の種類、機密データのセキュリティを守るためにどのような保護がなされているのかについて、顧客に対する透明性を確保するべきです」

AmazonやJPモルガンなど一部の企業では、すでに従業員が社内でChatGPTを利用することを制限している。しかし、「社員を管理することや、従業員がやりたいことを止めることは不可能」であり、こうした施策は効果を発揮しないかもしれないというのがLitan氏の見解だ。

それよりも、組織とAIモデルとの間にCASBと同様の制御を実装することが重要だと強調している。

ガートナーの定義によると、CASBとは「利用者とクラウドサービス事業者の間に設けたオンプレミスまたはクラウドベースのセキュリティポリシー実行ポイントであり、企業の各種セキュリティポリシーを統合、クラウドベースのリソースにアクセスがあった際に適用する」ものだという。CASBでは、認証、認可、ロギング、アラート、マルウェアの検出、防止などのセキュリティポリシーを一元的に実施することが可能だ。

「CASBが各サーバーへのプロキシを通じて制御するのと同じように、APIのデータ入出力周りに制御を入れるのはどうでしょう」。Litan氏は言う。

現在のところ企業ができるのは、人間かロボットかの判定、デジタル証明書、コンテンツの監視・分析、認証などのさまざまなセキュリティサービス／ツールを調達して組み合わせることだ。「現時点では、こうしたツールのうち大規模言語モデルの出力に対応するパッケージが提供されているものはありません。私としては、当然登場するものと考えています」と語った。

攻撃者と防御側によるAIボット戦争

脅威アクターがアクセス権を手に入れる革新的な方法を探している一方で、IAMシステム側もそうした攻撃を最も効果的に阻止する方法や、AI技術の組み込み方を模索している。

「ChatGPTは、こうしたフィッシングや詐欺攻撃のユースケースを確実に考慮に入れたシミュレーションをするのに役立ちます」とシン氏。ジェネレーティブAIソリューションは脅威インサイトを誰にでも分かりやすい、有用な文章に変換するのにも役立つと語った。

フィッシングや詐欺を防ぐ以外にも、アクセス承認のエクスペリエンスを向上させたり、ユーザーの応答に基づいて次の質問を微調整したりする等にも利用可能だ。さらに、セルフサービスの顧客体験の向上、ID領域の意識向上トレーニングにも利用できるとした。

Litan氏の結論は、今後IAMが発展していけば、最も優れたAIを持つ組織が有利になるというものだ。

「今後について考えた時、最も優れたAIを持っているところが勝者になると推定することができます」と氏。「もしハッカー側のAIの方が優れていれば、こちらのIAMシステムの仕組みを把握し、どこに脆弱性があるか、特権アクセスがどうなっているかを把握し、全てのユーザー情報を手に入れて侵入してくるでしょう。こちらのAIの方が優れていれば、このような事態を察知、攻撃者を締め出すことが可能です」

「AIボット戦争のようなことになるでしょう」と付け加えた。

ChatGPTの回答はこうだ。

SDxCentral：今後、ChatGPTはIAMでどのような役割を果たすと思いますか。

ChatGPT：AI言語モデルとして、今後のIAMに大きな貢献ができると思います。人々の生活がますますオンライン化していくなか、IAMの重要性は増しています。IAMはデジタルリソースやデジタルサービスへのアクセスを管理し、安全なものにすることに役立っています。

多要素認証の提供や本人確認プロセスの精度向上など、IAMシステムのセキュリティやプライバシーの強化に私がお役に立てるでしょう。さらに、自然言語処理によってユーザーフレンドリーかつ分かりやすいインターフェイスをIAMシステムに提供することが可能です。総合すると、私のような言語モデルは将来のIAMシステムの安全性、効率性、使いやすさを向上させる上で重要な役割を果たすことができると考えています。

Is ChatGPT a Friend or Foe to Identity and Access Management?