検索
AIが擁する【悪用可能性の問題】
1. 脱獄の問題
生成AIの多くは、回答としてふさわしくないものを出力しないフィルタリングや、悪意のあるプロンプトに応じないガードレールを備えることで、悪用されないようにしていますが、こうした対策をすり抜けてサイバー攻撃などに利用されてしまうことが懸念されています。
2. サイバー攻撃への悪用の問題
生成AIがサイバー攻撃で悪用されるケースはいくつか考えられますが、ここでは2つを紹介します。
1つは、自然言語テキストの生成による悪用です。たとえば、フィッシングメールの作成、相手をだますようなメールのやり取り、偽のチャットボットに組み込んで機密情報やクレジットカード番号を聞き出す行為などに使用される懸念があります。
また、フェイクニュースなどの偽情報の拡散や、企業ブランドを毀損する情報をSNSで発信するような悪用も想定されます。
もう1つは、攻撃コードの自動生成による悪用です。AIによるコード生成の技術が高度化しており、これを応用することによりマルウェアなど悪意のあるプログラムを自動的につくることも可能です。
3. 勝手LLM（ガードレールやフィルターなし）の問題
LLMは独自に作成することもでき、オープンソースのものも存在しています。真っ当なサービス提供者なら、悪用をできるだけ防ぐためにガードレールやフィルタリングなどの仕組みを搭載するでしょう。
しかし、こうした悪用防止の仕組みを入れずにLLMを作成して提供するケースもあり、そのような生成AIの存在を前提に対策を講じたり、怪しいサービスは使わないように周知したりすることが必要です。
4. 間接的に悪用する問題
個人情報や機密情報などを窃取する目的で新サービスを立ち上げ、生成AIという話題性でユーザーを獲得しようとするケースにも警戒が必要です。
また、ソフトウェア開発の現場におけるリスクが懸念されています。昨今ではオープンソースの部品やサービスを組み合わせて開発することが一般的となっており、エンジニアはWeb上で公開されている既存のプログラムコードを利用します。
ライブラリなどを探すために対話型生成AIを使用した結果、ハルシネーションによって本来存在しない架空のものを推奨してくる可能性があります。そのことを知った攻撃者は、架空のものと同名のライブラリを後から作成して実在させることで開発中のソフトウェアにマルウェアを潜入させるサイバー攻撃が可能なのではないかという仮説が立てられているのです。
淵上 真一
日本電気株式会社（NEC）
Corporate Executive CISO兼サイバーセキュリティ戦略統括部長
NECセキュリティ取締役
注目のセミナー情報
【医院開業】9月26日（木）開催
【医師限定】人生設計から考える！
医療業界に精通したFPが語る〈医院開業資金〉のリスクと備え
【国内不動産】9月28日（土）開催
日本製鉄独自技術「NSスーパーフレーム工法」で実現する
長期的に資産価値が落ちない新発想の〈高気密〉〈高断熱〉賃貸マンション経営
【海外不動産】9月28日（土）開催
海外不動産の投資手法をアップデート！
日本国内の銀行融資を活用した「最新・ベトナム不動産投資戦略」
【関連記事】
■税務調査官「出身はどちらですか？」の真意…税務調査で“やり手の調査官”が聞いてくる「3つの質問」【税理士が解説】
■月22万円もらえるはずが…65歳・元会社員夫婦「年金ルール」知らず、想定外の年金減額「何かの間違いでは？」
■「もはや無法地帯」2億円・港区の超高級タワマンで起きている異変…世帯年収2000万円の男性が〈豊洲タワマンからの転居〉を大後悔するワケ
■「NISAで1,300万円消えた…。」銀行員のアドバイスで、退職金運用を始めた“年金25万円の60代夫婦”…年金に上乗せでゆとりの老後のはずが、一転、破産危機【FPが解説】
■「銀行員の助言どおり、祖母から年100万円ずつ生前贈与を受けました」→税務調査官「これは贈与になりません」…否認されないための4つのポイント【税理士が解説】
