画像生成の分野にもブレインテックを活用
量子科学技術研究開発機構（QST）は2023年、画像の線や色、形、質感、概念などの視覚的な特徴を人の脳信号から数値データ化できる「脳信号翻訳機」を構築。
人が心に思い浮かべた画像を、ディスプレイ上に再現することに世界で初めて成功しました。翻訳機を作るにはまず、被験者に計1,200枚におよぶ画像を見せて、画像を見ているときの脳波を取得します。同じ画像をAIで数値データ化し、脳信号データとAIの数値データを結びつけることで、脳信号を画像の数値データに変換する翻訳機となるのです。
心に描いた画像を再現するには、この翻訳機を使って被験者が画像を心に思い浮かべたときの脳信号から視覚的特徴を割り出します。その特徴を、生成AIに自然な画像に近づくように描画させます。この技術を応用すれば、病気や怪我などで発話や執筆ができない患者との意思疎通を、頭の中のイメージで行えるようになるのではないでしょうか。
QSTの研究と同じように、脳波から画像を生成するAIが中国の清華大学深セン国際研究生院の研究者によって開発されています。「Dream Diffusion」は、ハイクオリティな画像が作れる画像生成AI「Stable Diffusion」の技術を応用して作られました。従来の画像生成AIは「テキストから画像へ」「画像から画像へ」といった手法が主流でしたが、Dream Diffusionは「思考から画像へ」を目指しています。
これまでも医療などに使うMRIを応用して、fMRI（機能的磁気共鳴画像）信号から視覚情報を再現する取り組みは行われてきました。しかしfMRI装置は持ち運びが難しい場合が多く、専門家が操作する必要などを考えるとコストが高くなってしまいます。一方Dream Diffusionで使用するような脳波を読み取る装置なら、コンパクトに持ち運びができる市販品も登場しているため、より実用的だと期待されています。
とはいえ、脳波から画像を生成するには、脳波を読み取るうえで生じるノイズや限定的な脳波データによる個人差の有無などまだ課題があります。Dream Diffusionは脳波と画像をペアにしたデータに加えて、大量の脳波データから脳波の表現を学習したEEGエンコーダー（脳波符号化器）の仕組みを活用。
さらに、画像生成AI、Stable Diffusionを組み合わせて課題の克服を図っています。現在の画像生成精度は45.8％ですが、将来的には神経科学やコンピュータービジョンなどへの応用も見込まれています。
