検索
AIが擁する【悪用可能性の問題】
1. 脱獄の問題
生成AIの多くは、回答としてふさわしくないものを出力しないフィルタリングや、悪意のあるプロンプトに応じないガードレールを備えることで、悪用されないようにしていますが、こうした対策をすり抜けてサイバー攻撃などに利用されてしまうことが懸念されています。
2. サイバー攻撃への悪用の問題
生成AIがサイバー攻撃で悪用されるケースはいくつか考えられますが、ここでは2つを紹介します。
1つは、自然言語テキストの生成による悪用です。たとえば、フィッシングメールの作成、相手をだますようなメールのやり取り、偽のチャットボットに組み込んで機密情報やクレジットカード番号を聞き出す行為などに使用される懸念があります。
また、フェイクニュースなどの偽情報の拡散や、企業ブランドを毀損する情報をSNSで発信するような悪用も想定されます。
もう1つは、攻撃コードの自動生成による悪用です。AIによるコード生成の技術が高度化しており、これを応用することによりマルウェアなど悪意のあるプログラムを自動的につくることも可能です。
3. 勝手LLM（ガードレールやフィルターなし）の問題
LLMは独自に作成することもでき、オープンソースのものも存在しています。真っ当なサービス提供者なら、悪用をできるだけ防ぐためにガードレールやフィルタリングなどの仕組みを搭載するでしょう。
しかし、こうした悪用防止の仕組みを入れずにLLMを作成して提供するケースもあり、そのような生成AIの存在を前提に対策を講じたり、怪しいサービスは使わないように周知したりすることが必要です。
4. 間接的に悪用する問題
個人情報や機密情報などを窃取する目的で新サービスを立ち上げ、生成AIという話題性でユーザーを獲得しようとするケースにも警戒が必要です。
また、ソフトウェア開発の現場におけるリスクが懸念されています。昨今ではオープンソースの部品やサービスを組み合わせて開発することが一般的となっており、エンジニアはWeb上で公開されている既存のプログラムコードを利用します。
ライブラリなどを探すために対話型生成AIを使用した結果、ハルシネーションによって本来存在しない架空のものを推奨してくる可能性があります。そのことを知った攻撃者は、架空のものと同名のライブラリを後から作成して実在させることで開発中のソフトウェアにマルウェアを潜入させるサイバー攻撃が可能なのではないかという仮説が立てられているのです。
淵上 真一
日本電気株式会社（NEC）
Corporate Executive CISO兼サイバーセキュリティ戦略統括部長
NECセキュリティ取締役
杉原 杏璃 氏登壇！
「THE GOLD ONLINE フェス 2025 ＠東京国際フォーラム」
（入場無料）今すぐ申し込む＞＞
注目のセミナー情報
【海外活用】12月7日（土）開催
従来の分散投資で資産を守れるのか？
新時代の富裕層が実践する
金融大国「シンガポール」や「フィリピン永住権」を活用した新・資産防衛法
【国内不動産】12月7日（土）開催
元サラリーマン大家の現役投資家社長が伝授…
インバウンド需要を逃すな！
《札幌・民泊投資》で勝ち組になる方法
【国内不動産】12月7日（土）開催
超・減価償却「築古アパート投資」の新発想！
〈節税+家賃収入+売却益〉投資元本2倍のしくみを大公開！
【関連記事】
■税務調査官「出身はどちらですか？」の真意…税務調査で“やり手の調査官”が聞いてくる「3つの質問」【税理士が解説】
■月22万円もらえるはずが…65歳・元会社員夫婦「年金ルール」知らず、想定外の年金減額「何かの間違いでは？」
■「もはや無法地帯」2億円・港区の超高級タワマンで起きている異変…世帯年収2000万円の男性が〈豊洲タワマンからの転居〉を大後悔するワケ
■「NISAで1,300万円消えた…。」銀行員のアドバイスで、退職金運用を始めた“年金25万円の60代夫婦”…年金に上乗せでゆとりの老後のはずが、一転、破産危機【FPが解説】
■「銀行員の助言どおり、祖母から年100万円ずつ生前贈与を受けました」→税務調査官「これは贈与になりません」…否認されないための4つのポイント【税理士が解説】
