ディープフェイク

Deepfake

security ai beginner

実在の人物に似せた偽の音声や映像を、人工知能で作り本人になりすます技術。

概要（サマリー）

ディープフェイクとは、実在の人物に似せた偽の音声や映像を、人工知能で作り本人になりすます技術である。
顔写真や声の録音を材料に、本人が言っていない言葉を、本人の口と声で話しているように見せる。
詐欺では、家族、経営者、担当者の「本人」に見える通話として使われる。
ソーシャルエンジニアリングの説得力を、合成メディアで上げる手法である。

詳細解説

本物の記録から、偽の発言を作る

材料になるのは、公開された動画、会議の録音、SNS の声などである。
技術は、その人の顔の動きや声の特徴を学び、別のセリフを重ねる。
娯楽や風刺の文脈で語られることもあるが、セキュリティでは「本人が指示した」と誤認させる用途が問題になる。

FBI の IC3 は、犯罪者が合成した音声や映像で、実在の人物になりすまし、フィッシングを補強している、と注意を呼びかけている。
文章が上手なだけでは足りなかった詐欺に、声と顔が加わる。

送金や採用の場面で使われる

ビジネスメール詐欺では、メールのあとに経営者本人の声で「今日中に振り込め」と電話がかかることがある。
ビッシングの電話が、知っている人の声そのものに聞こえる場合がある。

大きく報じられた例に、2024年に香港で起きた事件がある。
英国の設計会社 Arup の香港拠点の社員が、本社の財務責任者を名乗るメッセージを受け取り、ビデオ会議に参加した。
会議に映っていた財務責任者や同僚は全員が合成で、社員は計約2億香港ドル（約2,500万米ドル）を送金した。
Arup は、偽の声と映像が使われたことを認めている。
最初のメッセージを疑っていた社員が、複数の「同僚」が映る会議で信じてしまった点が、この手口の怖さである。

採用の場面でも、FBI は2022年に、盗んだ個人情報とディープフェイクを使って在宅勤務の求人へ応募する事例を報告している。
面接の相手が画面越しに話していても、その顔が本人とは限らない。

声が家族に似ていても、お金や認証コードを求められたら、その通話の中では実行しない。
いったん切り、自分の連絡先リストにある番号や、いつものチャットで本人に確認する。
かかってきた側が指定する番号へ、確認の電話をかけ直さない。

ハルシネーションとは別の問題

LLMが、事実と違う文章をもっともらしく出す現象はハルシネーションと呼ぶ。
ディープフェイクは、実在の人物の見た目や声を模倣したメディアである。
両方が生成 AI の出力でも、確認の仕方が違う。

文章のハルシネーションは、出典や公式情報と照合する。
ディープフェイクが疑わしい通話は、その映像の中で判断を終えず、別の連絡手段で本人に戻る。
「AI が作った文章」と「AI が作った本人の顔」を、同じ注意で済ませない。

不自然な顔だけを探しても追いつかない

初期の合成映像は、まばたきや輪郭の違和感が手がかりになった。
品質が上がると、画面のぎこちなさだけでは判別しにくい。
FBI は、生成 AI であることを示す表示や電子透かしがある場合はそれを確認するよう触れている。ただし、表示がないことが本物の証明にはならない。

判断の中心は、画質の鑑定ではない。
求められている行動が、お金、秘密の番号、急ぎの設定変更かどうかである。
内容が急な利益や恐怖で、いつもの手続きと違うなら、メディアの上手さに関わらず止める。

文章の上手さと、セットで届く

同じ犯罪者は、自然な文章のメッセージと、合成した声を組み合わせる。
文法の誤りがないことと、送り主が本人であることは別である。
組織では、高額の支払いや、見知らぬ口座への変更を、一回の通話や一通のメッセージで確定しない。
金額や相手に応じて、別の担当者が別の経路で確認する。

公開した自分の声も、材料になりうる

会議の録画、配信、SNS の音声は、その人の声の特徴を学ぶ材料になりうる。
公開自体が悪いわけではない。問題は、その声に似た通話が、あとからお金や秘密を求めてくることである。
有名でなくても、取引先と何度もオンライン会議をしていれば、声の材料は十分にある。

対策は、録画をすべて非公開にすることだけではない。
声が似ている通話でも、支払いや認証情報は別の経路で確認する、と決めておく。
自分のサービスで利用者の顔や声を扱うなら、本人確認の根拠を映像の似ていることに置かない。

AIコーディングとの関係

AI でナレーションや説明動画を作るとき、実在の人物の声や顔を、許可なく学習材料にしない。
自分のサービスが「本人確認にビデオ通話を使う」なら、映像の自然さを唯一の根拠にしない。
AI には「ビデオ通話だけで本人と断定しない、追加の確認手順を設計してください」と頼む。

実在の経営者や家族の音声を、なりすましの実験として AI に生成させない。
確認手順の相談なら、架空の役職名だけで足りる。
他人の顔写真や通話録音を、同意なく会話へアップロードしない。

よくある勘違い

映像で顔が見えれば本人？

顔と声は合成できる。
香港の事例では、だまされた社員以外の参加者が全員合成だった。
見えることと、その人が今その指示を出していることは別である。
お金や秘密に関する指示は、別の連絡手段で確認する。

不自然な口元なら、必ず見破れる？

品質の低い合成には違和感が残ることがある。
違和感がないことを、本物の保証にはできない。
画面の鑑定より、求められている行動の異常さを優先して止める。

ハルシネーションと同じ意味？

ハルシネーションは、モデルが事実と違う内容を、事実のように文章で出す現象である。
ディープフェイクは、人物の音声や映像のなりすましである。
どちらも疑って確認するが、照合する先が違う。

まとめ

ディープフェイクは、実在の人物に似せた偽の音声や映像を作る技術である。
詐欺では、経営者や家族の電話・ビデオ通話として送金や秘密の提供を急がせる。
文章のハルシネーションとは別の問題である。
声や顔が似ていても、お金と認証情報の指示は、自分で選んだ連絡手段で確認する。

情報ソース

より詳しくAIに聞いてみよう

ディープフェイクを、知っている人の声で急ぎの振込を頼む電話の例で説明してください。
ハルシネーションとディープフェイクの違いを、確認方法の違いとともに整理してください。
ビデオ通話の相手が本物に見えても、送金前に別経路で確認する理由を教えてください。
本人確認をビデオ通話だけに依存しない設計を、AI に相談する指示文を書いてください。
他人の顔や声を使わずに、なりすまし対策の手順だけを AI に聞く方法を教えてください。