企業 がサイバーセキュリティ戦略に生成AIを組み込む動きが強まるなか、導入時に考慮すべき利点や潜在するリスク、確認しておくべき必須の質問について、米クラウドストライクのCTO、Elia Zaitsev （エリア・ザイツェフ）氏が知見を提供している。

同氏の説明によると、生成AIは現在サイバーセキュリティを強化するために、さまざまな面で活用されているという。例えば、経験の浅いアナリストや技術的に未熟なユーザーでも（システムに対する）リクエストやタスクを自由に記述できる自然言語処理（NLP）機能、大規模なデータセットから抽出した内容を簡潔で関連性の高い情報にまとめる要約機能、複雑なセキュリティのトピックを簡単に説明してアナリストの理解や対応を助ける機能、応答スクリプトの作成を支援したり、ガイダンスを提供したりするコンテンツ作成機能などがある。

「このテクノロジーにはさまざまなエキサイティングなアプリケーションがあります。それをすべて組み合わせた手順を生成ワークフローと呼んでいます」。同氏はSDxCentralの取材で語った。「つまり、質問して回答を得るのではなく、1つのタスクを依頼して出力を取得し、それを繰り返していくのです」

高度な生成AIプラットフォームがあれば、アナリストが1つのケースに対して行うすべての手順、つまりデータ分析から状況の把握、対策を実施するまでの手順をこれまで何時間もかかっていたのが、数秒あるいは数分で行うことが可能になるという。

サイバーセキュリティにおける生成AIのリスク

とはいえ、氏は生成AIをサイバーセキュリティのインフラに適用する場合、潜在的なリスクがあることに注意すべきだという指摘もしている。

「技術的な面に関して言えば、生成AIをセキュリティに利用する場合にも、他の領域に適用する場合とまったく同じリスクが伴います」と同氏は述べている。「結局、ユーザーがAIシステムに話しかけて献立を作ってもらうような使い方ではなく、セキュリティのユースケースを扱う場合に、こうしたリスクの影響がどのようなものになるかということが重要です」

「セキュリティに関する意思決定、自社の環境全体のポリシー実装、アクションの実行をAIシステムに依頼している状況で、ハルシネーションが発生したとします。これはちょっと困ったことになります」と氏。「（生成AIシステムは）間違えることがあるだけでなく、確信を持って間違えるのです」

同氏は企業等に対し、ハルシネーションへの対処、AIシステムの監査、AIシステムによるアクションの把握が可能な状態に保てるよう、非常に注意深く対処を講じることを勧めている。ただし、「正しく設計されていないブラックボックスソリューションに依存した場合、そのような可視性は得られません」と補足している。

Zaitsev氏はさらに次の2つの潜在的なリスクに注意するよう促している。1つ目は情報やデータが漏洩して不正なサービスに渡ったり、サードパーティによるAIモデルのトレーニングに悪用されたりするリスクだ。2つ目は（SQLインジェクションやデータベースインジェクションに似た）プロンプトインジェクションという攻撃で、AIシステムに悪意のある入力がされると、不正なアクションや意図しないアクションが引き起こされる可能性がある。

顧客が質問するべき重要事項

サイバーセキュリティベンダーが大規模言語モデル（LLM）や生成AI機能を製品に組み込む動きが進んでいることから、Zaitsev氏は顧客企業に対し、ベンダーに次のような質問を投げかけるように勧めている。

1. AIシステムの可視性について
このAIシステムに入力した質問はどこに送られるのか。どこでどのように処理されるのか。
2. データのセキュリティとプライバシーについて
誰がデータにアクセスできるのか。サードパーティのサービスが関与しているか。ベンダーがサードパーティのサービスを利用する場合、どのような契約と管理が行われているか。
3. ハルシネーションへの対処について
誤検知などのハルシネーションを発見し、修正するための対策や管理はどのようになっているか。
4. システムの監査可能性と透明性について
入力と出力の検証はあるのか。AIの意思決定の追跡はどの程度可能か。AIシステムは、意思決定や出力、レコメンデーションをする際にどのような手順を踏んでいるのか。その過程について、ユーザーはどの程度の検査ができるのか。
5. データの使用について
AIモデルのトレーニングに顧客のデータはどのように使われるのか。エンドユーザーからの質問データはどのように使われているのか。質問は非公開になるのか。ベンダーはそうしたデータで新しいモデルをトレーニングするのか。
6. セキュリティ制御の回避について
この生成AIシステムはサイバーセキュリティ制御を回避しているか。エンドユーザーと同じレベルの権限、機密データへのアクセス権で運用されているのか。あるいは、スーパーユーザー権限を持っていて、実行されている制御を意図せず回避しているのか。

CrowdStrike CTO: 6 questions to ask before using generative AI for security