← PC・IT用語集へ戻る

文字化け

Mojibake / Character Encoding Issues
environment programming data beginner
ファイルや通信の「文字コード」が一致しないために、文字が奇妙な記号や別の文字になって表示される現象。
文字化け (Mojibake / Character Encoding Issues)

概要（サマリー）

文字化け（英: Mojibake）とは、コンピュータやソフトウェアがテキストを表示する際、送り手（保存時）の「文字コード」と受け手（表示時）の「文字コード」の設定が一致しないため、本来の文字が奇妙な記号や別の無意味な漢字の羅列になって正しく読めなくなってしまう現象である。

日本語の「文字化け」という言葉は、世界中の開発者の間でもそのまま「Mojibake」という共通語として定着しており、Web開発やファイル連携において古くから頻発する厄介なトラブルの一つである。

詳細解説

なぜ文字化けは起こるのか

コンピュータは内部的には「0 と 1」のデジタルデータしか扱うことができない。そのため、画面に文字を表示するときは、「この数字が届いたら、この文字を表示する」というあらかじめ決められた「番号と文字の対応表」を使っている。この対応表のことを「文字コード（キャラクターセット）」と呼び、文字を数値データに変換する処理を「エンコード」、数値データを文字に戻す処理を「デコード」と呼ぶ。

文字化けは、送り手が「対応表A」を使って文字を数字に変換して送ったのに対し、受け手が「対応表B」を使って数字を文字に戻そうとしたときに発生する。別の辞書で暗号を解読してしまい、全く異なるデタラメな文字が表示されてしまう状態である。

日本語でよく起こる文字化けの原因

日本語は英語に比べて文字数が非常に多いため、歴史的に複数の文字コードが並存してきた。これが文字化けの最大の原因である。

  • UTF-8: 世界標準の文字コード。現在のWebサイトや多くのプログラミング環境、モダンなOSでデフォルトとして使われている。
  • Shift_JIS（シフトジス）: Windowsの古いファイルや、Excelで出力するCSVファイルなどで長年使われてきた日本語用文字コード。
  • EUC-JP: 古いLinuxサーバーやデータベースなどで使われていた文字コード。

例えば、Shift_JISで保存されたCSVファイルを、UTF-8として読み込もうとすると、「縺ゅ＞縺」のような奇妙な漢字の羅列（いわゆる「UTF-8でShift_JISを読み込んだときの化け方」）になってしまう。

文字化けの代表的な「化け方パターン」

文字化けの見た目から、どの文字コード同士が衝突しているかをある程度推測できる。

  • 縺ゅ＞縺（漢字だらけの羅列）:
  • 原因: 本来は UTF-8 で書かれたデータを、Shift_JIS として無理やり読み込んだ場合に発生する。
  • （ひし形にクエスチョンマーク、または黒い四角）:
  • 原因: 本来は Shift_JIS や他の形式で書かれたデータを、UTF-8 として読み込んだが、UTF-8の対応表にない不正な数値データだったため、代替文字（）に置き換わって表示されている状態。

このような文字化けが発生してしまった場合には、以下のツールを使って元のテキストへ復元できるか試すことができる。

HTMLで文字コードを明示する基本例

以下は、WebサイトのHTMLファイルにおいて、ブラウザに対して文字コードを明示し、文字化けを未然に防止するためのメタタグの指定方法である。

HTMLにおける文字化け防止タグ（推奨）

<!DOCTYPE html>
<html lang="ja">
<head>
  <!-- ブラウザに対して、このファイルがUTF-8で記述されていることを指示する -->
  <meta charset="UTF-8">
  <title>文字化けのない正しいページ</title>
</head>
<body>
  <p>こんにちは！この日本語は文字化けせずに正しく表示されます。</p>
</body>
</html>

この <meta charset="UTF-8"> タグは、HTMLドキュメントの <head> 内のできるだけ先頭（<title>タグよりも前）に記述することが推奨される。ブラウザがタイトルを読み込む前に正しい対応表を確定させるためである。

AIコーディングとの関係

AIを使ってプログラムを書いたり、データベースからデータを取得したりする際、異なるシステム間でテキストを連携させると高確率で文字化けが発生する。AIにエラーの解決方法を相談する際は、元のファイルの文字コードと、表示側の環境を詳しく伝えることが重要である。

例えば、文字化けしたテキストから元の文言を解読したい、またはプログラム内で正しくデコードしたい場合は、以下のようにAIに質問するとよい。

CSVファイルを読み込んでデータベースに保存するJavaScriptコードを書いています。
日本語のデータが「縺薙ｓ縺ｫ縺｡縺ｯ」のように文字化けしてしまいます。
おそらく入力ファイルが Shift_JIS で、Node.js側が UTF-8 として読み込んでいるのが原因だと思います。
`fs` モジュールや外部ライブラリ（iconv-liteなど）を使って、Shift_JIS のファイルを文字化けさせずに UTF-8 の文字列に変換して読み込むプログラムを教えてください。

AIは、Shift_JISからUTF-8への正しいデコード（復元）処理を行うためのコード例を提示し、設定方法を解説してくれる。

よくある勘違い

文字化けしたファイルは上書き保存しても元に戻せる？

絶対に保存してはならない。 文字化けして表示されている画面を、そのまま「上書き保存」してしまうと、文字コードの辻褄が合わなくなったデタラメなデータの状態でファイルが固定され、中身が破壊されてしまう。文字化けが発生した場合は、保存せずにエディタを閉じ、エディタの文字コード設定を「Shift_JIS」や「UTF-8」に変更してからファイルを「開き直す」のが正しい手順である。

WindowsのExcelでCSVを開くと必ず文字化けするのはPCが壊れている？

パソコンの故障ではない。Excelは、CSVファイルを開く際にデフォルトで「Shift_JIS（またはCP932）」という文字コードを想定して処理する。しかし、多くの最新ツールが書き出すCSVは「UTF-8」でエンコードされているため、対応表が合わずに文字化けする。これを防ぐには、Excelで開く前にCSVファイルの先頭に「BOM（Byte Order Mark）」というUTF-8の目印を付与するか、Excelの「データ」タブにある「テキストファイルからインポート」機能を使って明示的に文字コードを指定して読み込む必要がある。

文字コードをUTF-8に変換すれば必ず直る？

元のデータが正しく残っているなら、正しい文字コードで読み直してからUTF-8へ変換すれば直せることが多い。

ただし、文字化けした状態のまま上書き保存してしまった場合は、元のバイト列が失われていることがある。その場合は、後からUTF-8へ変換しても本来の文字に戻せないため、変換前の元ファイルやバックアップを使ってやり直す必要がある。

まとめ

  • 文字化けは、データの保存時と表示時の「文字コード（対応表）」のズレによって発生する。
  • 日本語では、主に UTF-8 と Shift_JIS の対立が文字化けの原因になりやすい。
  • HTMLを作成する際は <meta charset="UTF-8"> を必ず記述し、ファイル自体もUTF-8形式で保存する。
  • 文字化けが起きたデータは、そのまま上書き保存するとデータが壊れるため、設定を変えて開き直す。

情報ソース

より詳しくAIに聞いてみよう

  • UTF-8で書かれたファイルをExcelで文字化けせずに開くための「BOM（Byte Order Mark）」の仕組みと、PythonなどでBOM付きのCSVファイルを書き出すコードを教えてください。
  • 文字化けした文字列（例：「縺薙ｓ縺ｫ縺｡縺ｯ」や「」）を入力すると、元の正しい日本語に解読（デコード）してくれるツールやスクリプトの仕組みを教えてください。
  • Webサーバー（ApacheやNginx）で、HTMLやCSSファイルを配信する際に適切な文字コード（charset=utf-8）をHTTPヘッダーに自動付与するための設定方法を教えてください。
  • データベース（MySQLなど）に日本語データを保存した際に文字化けが起きる原因と、接続文字列やテーブルの照合順序（collation）の正しい設定方法を教えてください。
  • AIに「異なるシステムから連携される様々な文字コード（UTF-8, Shift_JIS, EUC-JP）のテキストファイルを、自動で文字コード判別してUTF-8に統一して保存し直すツール」のコードを書いてもらうためのプロンプトを教えてください。