マルチモーダル
Multimodal
概要（サマリー）
マルチモーダルとは、文章だけでなく、画像・音声・動画など複数の種類の情報をまとめて扱えることを指す言葉である。「モーダル（modal）」は情報の種類・様式を意味し、それが複数（マルチ）あるという意味になる。
人間は、相手の言葉を聞きながら表情を見て、資料の図も同時に理解している。目・耳・言葉を別々に使っているのではなく、まとめて1つの理解にしている。マルチモーダルなAIは、これに近いことをする。
以前のAIは「文章を扱うAI」「画像を判別するAI」と役割が分かれていたが、いまの主要なLLMの多くは、スクリーンショットを見せながら質問する、といった使い方ができる。
詳細解説
モーダルの種類
AIが扱う情報の種類には、主に次のものがある。
- テキスト: 文章・コード
- 画像: 写真・図・スクリーンショット・手書きのメモ
- 音声: 話し声・環境音
- 動画: 画像と音声が時間軸で連なったもの
- その他: 表形式のデータ、3Dの形状、センサーの値など
「入力として何を受け取れるか」と「出力として何を出せるか」は別々に考える必要がある。画像を読めるが、出力は文章だけというモデルは多い。画像を読める＝画像を作れる、ではない。
従来の組み合わせ方式との違い
複数の種類を扱う方法は、大きく2通りある。
別々のAIをつなぐ方式（従来）
- 音声を文字起こしするAIで、音声を文章にする
- その文章を言語AIに渡す
- 言語AIが文章で答える
ひとつのモデルで扱う方式（マルチモーダル）
- 音声をそのままモデルに渡す
- モデルが直接理解して答える
違いは「途中で情報が落ちるかどうか」である。前者では、音声を文字にした時点で話し方の抑揚、口ごもり、背後の物音といった情報が消える。後者ならそれらも判断材料にできる。
画像でも同じことが起きる。「画像の説明文を作ってから言語AIに渡す」方式では、説明文に書かれなかった細部は失われる。図の細かい位置関係や、表の罫線の意味などは説明文に落としきれない。
何ができるようになるか
- 画面のスクリーンショットを見せて質問する: エラー画面を見せて「これは何が起きている？」と聞く
- 手書きのメモや図から作る: 紙に描いたワイヤーフレームを渡してHTMLにしてもらう
- 図やグラフを読み取る: 論文の図、ダッシュボードの数値を読ませる
- 写真から情報を取り出す: レシート、名刺、看板の文字
- 動画の内容を要約する: 操作手順の動画から手順書を作る
とくに1つ目は、日常的に効く。文章で説明しづらい表示崩れやエラー画面を、画像1枚で伝えられるのは大きい。
苦手なこと・注意点
万能ではない。次のような弱点がある。
- 細かい文字の読み取り: 解像度が低い画像や、小さく詰まった文字は誤読しやすい
- 正確な位置・寸法: 「左から3番目」「幅は何ピクセル」といった厳密な判断はぶれる
- 数字の読み取り: グラフの目盛りや表の数値を誤って読むことがある。金額など重要な数字は必ず人が確認する
- 入力量が大きい: 画像1枚が文章数百〜数千語ぶんに換算されることがあり、費用と処理時間が増える
- 見えないものは答えられない: 画像に写っていない部分を推測で補ってしまうことがある
3つ目は特に注意したい。「レシートの金額を読み取って集計して」という使い方は便利だが、桁の読み違いは起こりうる。金額や日付のように間違いが許されない情報は、必ず目視で確かめる前提にしておきたい。
代表的なモデル
現在の主要なモデルは、多くがマルチモーダルに対応している。
ただし対応範囲はモデルごとに異なり、更新も速い。「このモデルは動画を扱えるか」は、使う時点で公式ドキュメントを確認するのが確実である。
AIコーディングとの関係
Web制作やアプリ開発では、マルチモーダルが実務でそのまま役に立つ。
表示崩れの相談は画像が速い。 「スマホで見たときにボタンがはみ出す」と文章で説明するより、スクリーンショットを1枚渡すほうが正確に伝わる。該当箇所を赤枠で囲んでおくと、さらに精度が上がる。
デザイン案からの実装。 手描きのラフやデザインツールの画面を渡して、HTMLとCSSの下書きを作らせる使い方ができる。完成品にはならないが、たたき台としては十分に速い。
エラー画面をそのまま見せる。 ターミナルの出力やブラウザのコンソールを、文字に起こさず画像のまま渡せる。書き写すときの転記ミスも防げる。
渡し方のコツ。
- 必要な部分だけ切り取る。画面全体より、該当箇所を拡大したほうが精度が高い
- 何を見てほしいかを言葉でも添える。「このボタンの右余白について」と書く
- 文字が小さいときは拡大してから渡す
- 画像だけで済ませず、期待する結果も文章で書く
確認すべき点。 画像から読み取った数値やクラス名をAIが誤読していることがある。生成されたコードの中に、画像に写っていたはずの値が微妙に違う形で入っていないか、目で追っておきたい。
よくある勘違い
画像を読めるAIは画像も作れる？
別の能力である。画像を読み取れても、出力は文章だけというモデルは多い。逆に、画像生成に特化していて読み取りは苦手なモデルもある。入力と出力は分けて確認する必要がある。
マルチモーダルなら音声も動画も必ず扱える？
対応する種類はモデルごとに違う。画像には対応していても音声には対応していない、といったことは普通にある。「マルチモーダル」は「複数扱える」という意味であって、「すべて扱える」という意味ではない。
画像を渡せば文章の説明は要らない？
画像だけだと、何について答えてほしいのかが伝わらない。「この画面のどこを見て、何を判断してほしいのか」を文章で添えると精度が上がる。画像は説明を補うものであって、置き換えるものではない。
画像の読み取りは正確？
全体の把握は得意だが、細かい数字や小さな文字は誤読する。グラフの目盛り、金額、型番のような間違いが許されない情報は必ず人が確認する前提で使いたい。
まとめ
- マルチモーダルは、文章に加えて画像・音声・動画など複数の種類の情報を扱えることを指す
- 別々のAIをつなぐ方式と違い、変換の途中で情報が落ちないのが利点である
- 入力として扱える種類と、出力として出せる種類は別である
- 細かい文字や数値の読み取りは誤ることがあり、重要な情報は人の確認が要る
- Web制作では、表示崩れやエラー画面を画像で渡せることが実務上とくに効く
情報ソース
より詳しくAIに聞いてみよう
- マルチモーダルAIと、従来の「音声認識＋言語AI」の組み合わせは何が違うのか教えてください。
- AIに画像を渡すとき、読み取り精度を上げるための工夫を教えてください。
- 画像の読み取りが苦手なケースを、具体例つきで挙げてください。
- 画像を入力に使うと費用や処理時間がどう変わるのか教えてください。
- 表示崩れの相談をAIにするとき、スクリーンショットと文章をどう組み合わせるとよいですか。