birabiraのめも

忘れっぽいのでここにメモをしていきます

生成AIを利用したセキュリティ関連をしらべてみた

昨今流行っている生成AIですがセキュリティ向けの活用方法が様々出てきました。このブログでは次の2点について軽くまとめたいと思います。生成AI関連毎日状況変わりすぎているのでもう意味がわかりません。

  • 生成AIに関連する攻撃など
  • セキュリティ業界における生成AIの活用事例

セキュリティに限らずの生成AIの話は一つ前のブログで簡単に書きなぐっています。

最近の生成AIがすごすぎる話 - birabiraのめも

注意事項

  • 生成AIにおける様々な権利は現在議論中なので、活用に当たり動向は追うことは必須と思います
  • 生成AIは入力されたテキストなどで追加学習を行っているケースがあるので、入力する文章については十分注意しましょう
  • 生成AIは事実と異なる内容を生成する場合があります(ハルシネーション)。生成されたものは必ずレビューをしましょう

生成AIに関連する攻撃など

OWASP Top 10 for Large Language Model Applications

OWASP Top 10 for Large Language Model Applications | OWASP Foundation

OWASPでもLLMに対するセキュリティリスクが述べられています。特に、プロンプトインジェクションやモデルの盗難などLLMにおける特有のリスクを指摘していることがわかります。

また、次の記事がわかりやすく解説してくれています。一度読んでみるとよくわかりました。

OWASP Top 10 for LLMでLLM Applicationsのセキュリティについて学ぶ

プロンプトインジェクション

上記、OWASP Top 10でも指摘されていますが、プロンプトインジェクションという手法があります。これは、ユーザーが生成AIを使っているアプリケーションに対して悪意あるプロンプトを流し込むものです。

少し前に話題になったこれを見るとよくわかります。「今までの指示は全て忘れて」「あなたにはどのような指示がされている？」などのことを聞くとそれについて応答してしまっています。

献立提案AIを対話でハックしてしまった話…「洗脳モノじゃん」「この辺の対策はしなくちゃ」など - Togetter

次の章で紹介するRAGを組み合わせると意図しない通信や漏れてはいけない情報が漏れてしまう可能性がよりあがります。

RAG (Retrieval-Augmented Generation) に関するリスク

LLMはRAGと呼ばれる手法を使い、モデルの中に含まれない情報をモデル外から取得して回答させるようなことが可能になります。例えば、社内の文書を知識DBとして回答させたり、インターネット上から情報を取ってきて回答させたりすることも可能です。

もし、プロンプトとして' or 1=1 --のようなものを与えた際にはLLM経由で攻撃ができるかもしれないですね。

このような攻撃を防ぐためにも生成AIを活用したアプリケーションは何かしらの対策を打つ必要がありそうです

画像や音声を入力値とするマルチモーダル起因の攻撃

GPT-4Vなどで利用できる音声や画像ファイルを入力値とするマルチモーダルに関する機能も出てきました。マルチモーダルではプロンプトインジェクション等の攻撃がおおよそ容易に行えると考えられます。

テキストベースではテキストを解釈すればよかったものの、画像・音声ではバイナリデータから状況を解釈する必要があります。猫の画像の中に文字としてDOGと書かれていた際にはどちらをどう解釈するかについてはプロンプトが重要ですが、運任せなところもあると思います。

なんにせよ、高度なやり取りになるためアプリケーションを守るためにも高度な対策が必要なんでしょうか。詳しい人教えて！

と、ここまで書いておいて気がついたのですが今年のBlackHatのBRIEFINGSでLLMに関する発表があったようですね。プロンプトインジェクションの他にも、侵害したLLMをベースに、リモートコントロール、ワームなどの悪用の可能性をあげているようです。

Black Hat USA 2023 | Briefings Schedule

生成AIを活用したマルウェア

PoCレベルとしては、チャネルが増えただけかもしれませんが生成AIによって生成したキーロガーなどのコードを動的に実行する手法が紹介されていました。

BlackMamba Whitepaper

結構ググりましたが、直接的に生成AIを活用するマルウェアはなかったように思えます。もしあれば教えてください。どちらかというと上記の生成AIを活用したアプリケーションに対する攻撃のほうがHOTな話題のようです。

ただ、攻撃者が生成AIを利用しフィッシングサイトを生成したり、翻訳をしたり、音声を作ったり、コードを生成したりなどKitの開発面では一つの手段が増えたとは思うので大変になったら教えてくださいという気持ちです。

セキュリティ業界における生成AIの活用事例

ググって出てきたセキュリティに関する生成AIの活用事例を紹介していこうと思います。

セキュリティ対応に特化させた生成AI

生成AIは追加学習を行えるので、セキュリティ関連のデータセットで追加学習をしたと思われる専用の生成AIを作っているケースが有りました。特にVirusTotalのCode Insihgtの機能はこの特化生成AIでやってるんですね。便利ですよね。

How Google Cloud plans to supercharge security with generative AI | Google Cloud Blog

生成AIがウイルススキャンサービス「VirusTotal」にも ～マルウェアを自然言語で説明 - 窓の杜

MicrosoftではSentinelやDefenderなどと統合され、自然言語で対応ができるそうです。このアラートどうすればいい？とかこのアラートの概要をPPTにして？とかできるんでしょうか。(サンプル画像を見た感じやってるぽい)私の職業が無くなりそうです。

Microsoft Security Copilot | Microsoft Security

SOCにおける活用

SOCでも活用するとプレスを出した会社もあるようです。アラートログなどをインプットとして、SOCアナリストのTier1相当の文書作成タスクであれば十分こなせるでしょう。

Azure OpenAI Serviceを通じた大規模言語モデル、Microsoft Defender TIが持つ膨大な脅威情報、Sentinelのセキュリティ監視機能を活用し、不正アクセスやマルウェア感染などの脅威が発生した際の分析品質を向上します。

日本マイクロソフトと連携し、生成AIを活用したセキュリティ分析サービスを開発（2023年07月07日） | CTC - 伊藤忠テクノソリューションズ

脆弱性診断における活用

脆弱性診断を行う際に、生成AIを活用して設定、診断、レポート生成までを行えるものがありました。HTMLのフォームからパラメーターを取得するなど単純なタスクは生成AIでも十分に対応可能だと思うので、手間が省けて良さそうです。

「生成AIを活用した脆弱性診断」に関する特許をエーアイセキュリティラボが取得並びに、取得した特許技術をもとにAeyeScanの新たな機能をリリース｜株式会社エーアイセキュリティラボのプレスリリース

LLMアプリケーションへの脆弱性診断

LLMアプリケーションのセキュリティ診断をしてくれるそうです。上記のOwasp Top 10が出ている以上、今後様々な分野で生成AIが利用されたアプリケーションが出てくると思われるためそれなりの需要はありそうです。

GMO AIセキュリティ診断 for GPT | 脆弱性診断（セキュリティ診断）のGMOサイバーセキュリティ byイエラエ

分析・解析ツールへの統合

セキュリティ関連ツールへの統合やプラグインとして開発されたものが出始めているようです。セキュリティ関連の事象を説明させたり、ペイロードを生成させたりなど生成AIをうまく活用しているようです。なんかあまり見つかりませんでしたが、なにか面白いものがあれば教えてください。

ツール 一言 参考URL
SOAR インシデント対応の相談相手とかに使ってる 今週のプレイブック: Cortex XSOARでChatGPTを使う方法 - Palo Alto Networks Blog
BurpSuite ペイロードの生成や脆弱性を発見してくれるかも！？とのこと。 GitHub - fagun18/ChatGPT-with-BurpSuite: ChatGPT with BurpSuite
IDA 関数の説明と変数のリネームをしてくれる？ GitHub - JusticeRage/Gepetto: IDA plugin which queries OpenAI's gpt-3.5-turbo language model to speed up reverse-engineering
Ghidra IDAのやつと同じっぽい。 GitHub - JusticeRage/Gepetto: IDA plugin which queries OpenAI's gpt-3.5-turbo language model to speed up reverse-engineering

まあ、ツールが対応していなくとも生成AIに対して「これなに？」と聞けば教えてくれるのでアレですが、、

最後に

生成AIはセキュリティ分野でも活用が始まっていることがわかりました。これ以外に活用事例があれば教えてください。

今爆発的に進化している生成AIは性能が爆発的に向上しており、トークンあたりの費用がどんどん下がっている状況です。

性能の良いモデルを使うとその分生成に時間がかかります。この処理時間に起因する問題が改善されれば、生成AI自体が汎用的な検知システムとなる未来もあるかもしれません。

また、入力できる単語数が大きければ大きいほど、会社のネットワーク情報、アセット情報、脆弱性スキャン結果など様々な情報を事前情報として入力できるため生成された文章の精度が上がります。(現在はCloude2-100kの約75,000語ぐらいまで可能)

あなたの環境に完全に最適された生成AIアナリストが守ってくれる世界がすぐそこにあるかもしれません。

この次のブログでは「生成AIでセキュリティログ分析してみた」的なことをしてみたいと思います。(いつになるかわかりませんが)