セキュリティ

センター長 園田道夫のセキュリティコラム

第11回 サイバー攻撃現場における生成AIの活用について

ChatGPTやStable Diffusionを始めとするAIが衝撃的な登場をしてから、短期間にもかかわらず非常な勢いで活用が進んでいます。日本の企業での活用は残念ながらまだまだのようですが、 新しいものをいち早く現場に投入する文化のアメリカでは、人間の代わりとして健康相談に応じさせ、人間の相談員を大量にレイオフしたのは良いけど実は危険なダイエットを指示していてAIによる相談システムを停止した、 というような事例まであるようです。
機械学習や深層学習(ディープ・ラーニング)という、AIとされる領域を拡張するものが登場したときもそうでしたが、大量にデータを集めてアルゴリズムに処理させる仕組みがカジュアルになったことで、 「データを集めさえすれば」誰でもおもしろいことができる=悪用もされるのではないか、という懸念を抱きました。

しかし、「データを集めさえすれば」というところが悪用にとってもネックになるだろうと思っていたので(つまり、誰でもGAFAと張り合えるようになった訳ではない、という事)、 そこが安全弁になり得ているうちは大丈夫だろうと安心、いや油断していました。あれだけ悪い人たちの組織化やXaaSについて語っていたのに(笑)。

国というものが背後にチラつき始めている現在、悪い人たちであっても本気になれば大量にデータを集められるし、普通に論文発表などされているのでアルゴリズムも活用できる。 何ならコードだってある。となるとあとは本気になるかどうかにかかっているというわけで、安全弁もかなり危うい状態だったと今は思います。

新たな深層学習の仕組みであるトランスフォーマーを根っこに持つ生成AIが登場し、当然悪い人たちも活用を考えます。むしろ、悪い人たちの方がテクノロジーの進化には敏感で、 腰が重い表の組織よりも遥かにスピーディーに新しいものを咀嚼しようとします。
生成AIを開発する側は悪用させないような機能やフィルタを実装して防御に努めていますが、悪用側が負け戦になる図式=悪用側の工夫コストが爆上がり状態、にうまいこともっていけるかどうか。

そして悪い人たちは一切の倫理的・道徳的フィルタが無い生成AIの独自構築を始めているようです。材料や文献は揃っていますし、この流れは当然でしょう。
悪い人たちはそのような無制約生成AIをどう使うのでしょうか?文章生成という側面を見ると、言葉の壁を超えることはすでに自動翻訳の質的向上で果たしていますし、 言葉の違和感のような特徴で真偽を見極めることは難しい状況になりつつあります。

さらにそこで生成AIが違和感の極めて少ない、洗練された詐欺的文章を生み出せるようになったとしたら?
それは悪の進歩と言えるかも知れませんが、 その進歩によって新たに増える騙される人はどれだけ増えるのか、というと、増えても微増程度じゃないかと(またしても楽観的に(笑))思っているところです。

そもそも従来の粗がある文章であっても違和感を覚えることすらなく、騙されてしまう人の方が遥かに多いような気がします。文章自体の粗はともかく、心理的な騙しの構成は洗練されてきていますし。
コード生成という側面ではどうでしょうか。例えばマルウェアのコードを書くツールとして、悪の生産性向上や悪の組織のコストダウンにつながるのか。
まぁつながるかも知れませんが、これまでも例えばMalware as a Serviceのようなプロフェッショナルサービスの充実によってコストは下がっていますし、生産性も品質も向上していますし、 そこに+αとして大きなものを追加できるようになるとも思えない。
画像や映像の生成はどうでしょう?この領域は偽造コストがまぁまぁかかる感覚があるので、コストダウンの効果は大きいと言えるかもしれません。

これまでフェイクというと元々存在する画像や映像を部分的に細工する、というようなものが多かったと思いますが、生成AIを使えば1から作れちゃう。
検知逃れとしてこの1から、というのがポイントですね。生成AIが悪の世界に最も貢献するのは画像・映像の領域であるような気がします。
技術的なものばかりでなく、例えば本物の認証などの制度的な仕組みも含め、フェイク検知というところを社会として頑張っていく必要がありそうです。

悪の世界ではない方の世界でも活用の幅が急速に拡がり続けていますし、その拡がり方やこれから出現するであろう新たな活用・工夫を見て悪用方法を思いつく悪人も居るでしょう。
とはいえ当面は、画像映像に関しては注目度を高めていきつつも、怪しい文章にも違和感すら抱かずに騙される人たちをいかに減らすか、こちらに注力していくことが大事であると思います。
新しい何かが出てきたらまたそのときに考えます(笑)。