← PC・IT用語集へ戻る

文字コード

Character Encoding
data development beginner
コンピュータが文字を保存・表示するために、文字と数値やバイト列を対応させる仕組み。
文字コード (Character Encoding)

概要（サマリー）

文字コード（Character Encoding）は、コンピュータが文字（ひらがな、漢字、アルファベット、記号など）を扱うために、文字と数値やバイト列を対応させる仕組みである。

コンピュータは本来、数値（0と1の組み合わせ）しか処理できない。そのため、「あ」という文字を表示したり保存したりするには、あらかじめ「この文字はこの番号として扱う」「この番号をこのバイト列で保存する」という共通の約束事が必要となる。大まかにはこのルールが文字コードであり、保存時と読み込み時のルールが合っていないと、文字が意味不明な記号の羅列になる「文字化け」が発生する。

詳細解説

文字コードとは何か（数字と文字の対応表）

コンピュータの内部では、すべての情報が電気のオン・オフ（0と1）で処理されている。文字データを扱う際も同様で、あらかじめ定められた「対応表」に従って文字を数値に変換している。

この対応表における個々の文字に割り当てられた番号を「文字コード（文字の符号）」と呼ぶ。厳密には、文字そのものの対応表である「文字集合」と、文字をバイト列として保存する「エンコード方式」は分けて考えるが、初心者向けの会話ではまとめて「文字コード」と呼ばれることも多い。文字をバイト列に変換する処理を「エンコード（符号化）」、逆にバイト列を元の文字に戻す処理を「デコード（復号）」と呼ぶ。

代表的な文字コード規格とエンコード方式

歴史的・用途的な背景から、世界にはいくつかの文字コード規格が存在している。

  • ASCII（アスキー）：最も基本的な文字コード。英語のアルファベット、数字、記号のみを収録しており、わずか7ビット（128通り）の数値で表現される。日本語などの多言語は収録されていない。
  • Unicode（ユニコード）：世界中の多くの言語の文字を1つの体系で管理することを目指して作られた世界共通の規格。このUnicodeで定義された文字を、実際にコンピュータ上で表現するためのエンコード方式として広く普及しているのが「UTF-8（ユーティーエフエイト）」である。現在のインターネットのWebサイトや多くのプログラムファイルでは、UTF-8が標準的に使われている。
  • Shift_JIS（シフトジス）：日本のパソコン（特に古いWindows環境）で標準的に使われてきた日本語専用の文字コード。日本語の漢字やひらがなを効率よく扱えるが、海外の環境や他の文字コード規格と混ぜると文字化けの原因になりやすい。
  • EUC-JP（イーユーシージェーピー）：古いUNIX/Linux環境の日本語システムでよく使われていた文字コード。

プログラミング言語での文字コード変換コード例

現代のプログラミングにおいて、文字列を別の文字コード（バイト列）にエンコード・デコードする処理は頻出する。

以下は、Pythonを使って文字コードの変換と文字化けのシミュレーションを行うコード例である。

Pythonの場合

# 元の日本語文字列
text = "こんにちは"

# 1. 文字列を「UTF-8」形式のバイトデータに変換（エンコード）
utf8_data = text.encode('utf-8')
print("UTF-8バイト列:", utf8_data)
# 2. バイトデータを文字列に復元（デコード）
decoded_text = utf8_data.decode('utf-8')
print("デコードした結果:", decoded_text)
# UTF-8でエンコードしたデータを、無理やり日本語Windowsの古い規格「Shift_JIS」で解釈しようとする
try:
    bad_decoded = utf8_data.decode('shift_jis')
    print("間違ったデコード結果:", bad_decoded)
except Exception as e:
    print("デコードエラーが発生しました:", e)
    # 実際には対応する文字が見つからないためエラー（UnicodeDecodeError）になるか、
    # 異なる文字が割り当てられて文字化けした文字列が表示される。

このコードを実行すると、正しいルール（UTF-8）でデコードした場合は元の日本語が表示されるが、ルールを誤ると解釈エラーが発生したり、文字化けが起きたりすることがプログラム上で確認できる。

「文字化け」が起きる仕組みと原因

文字化け（Mojibake）は、「保存（エンコード）したときのエンコード方式」と「読み出す（デコード）ときのエンコード方式」が一致していないことで発生する。

例えば、Webサイトの作成者が「UTF-8」でHTMLファイルを作成して保存したとする。しかし、そのページを閲覧するユーザーのブラウザが「このファイルはShift_JISで書かれている」と勘違いして読み込んでしまうと、対応表がずれているため、画面上に「ãã«ã¡ã¯」のような意味不明な記号が表示されてしまう。

これを防ぐため、HTMLファイル内には <meta charset="utf-8"> というタグを必ず記述し、ブラウザに対して「このファイルはUTF-8で読みなさい」と事前に指示を出しておくのがWeb制作の基本ルールとなっている。

AIコーディングとの関係

AIはコードを生成する際、多くの場合、テキストファイル（HTML、CSS、JavaScript、Pythonコードなど）をUTF-8前提で扱う。しかし、日本の開発者がCSVファイルなどを扱う場合、依然として「Shift_JIS」や「CP932」で保存されたデータを読み込む必要に迫られることが多いため、AIに読み込みプログラムを書かせる際には文字コードの指定が必要になる。

例えば、AIに「PythonでCSVファイルを読み込むコードを書いて」と頼むと、標準的な utf-8 前提のコードを生成することがある。もし読み込むCSVがExcelや古い業務システムから出力された日本語CSV（Shift_JISまたはCP932形式）である場合、そのままではエラーになったり文字化けしたりする。

このような場合、「Excelで出力された日本語のCSVファイルを文字化けさせずに読み込めるように、文字コードに shift_jis（または cp932）を指定したPythonコードを作成して」と具体的に文字コードを指示することで、文字化けを防ぐ正しい例外処理を含んだコードを生成させることができる。

よくある勘違い

文字コードは世界共通で「UTF-8」だけ使っていればトラブルは起きない？

新規のWeb開発や最新のプログラミング環境においては「UTF-8」に統一するのが鉄則だが、古いシステムや他のソフトウェアとの連携時には依然としてトラブルが発生する。

代表的な例が、Microsoft Excelや古い業務システムとのCSV連携である。環境や開き方によっては、UTF-8で保存したCSVが正しく判定されず、日本語部分が文字化けすることがある。これを回避するために、UTF-8ファイルに「BOM（バイト順マーク）」という識別情報を付けて保存したり、最初からCP932で出力したりするなど、相手側の環境に合わせた対策が必要になる。

UTF-8とUnicodeは完全に同じ意味？

「Unicode」は文字の対応表（どの文字にどの番号を割り当てるかという『規格』）そのものであり、「UTF-8」はその番号をコンピュータが理解しやすいデータ配列に変換する『エンコード方式（実装規格）』である。

書籍でたとえるなら、Unicodeは「世界のあらゆる文字を集めた辞書（インデックス）」であり、UTF-8はその辞書を「どのようなデジタルデータとして符号化して保存するかというルール」である。Unicodeという共通の辞書をベースにしたエンコード方式には、UTF-8のほかに、主にWindowsの内部処理などで使われる「UTF-16」や「UTF-32」などもある。

文字化けしたファイルは上書き保存しても元に戻せる？

文字化けは「表示（解釈）のズレ」である段階なら、表示設定（エンコード）を正しいものに切り替えるだけで元通りに表示できる。

しかし、文字化けした状態のテキストファイルをエディタで開き、そのまま「上書き保存」を行ってしまうと、文字化けした記号としてのデータが新しく保存されてしまい、元の文字データ自体が完全に破壊されて修復不可能になってしまう。文字化けしたファイルを見つけた際は、決して上書き保存をせず、まずはテキストエディタの「エンコードを指定して開き直す」機能を使用するのが鉄則である。

まとめ

  • 文字コードは、コンピュータが文字を表現するために文字ごとに割り当てた数値（対応表）である。
  • 現在の世界共通の標準文字コードは「Unicode」であり、その代表的な形式が「UTF-8」である。
  • 保存した時と読み出す時のエンコード方式が食い違うことで、「文字化け」が発生する。
  • HTMLには <meta charset="utf-8"> を記述して、ブラウザに正しい文字コードを伝える。
  • AIにCSV等の読み込み処理を作らせる際は、Excel連携などを考慮して shift_jis などの指定を行う必要がある。

情報ソース

より詳しくAIに聞いてみよう

  • 文字コードにおける「Unicode（規格）」と「UTF-8（エンコード方式）」の違いを、初心者向けに辞書と文字データの例えを使ってわかりやすく説明してください。
  • 日本語Windowsの古いパソコンでよく使われていた「Shift_JIS」と、現代の標準である「UTF-8」の違い、なぜShift_JISがまだ必要なのかを教えてください。
  • UTF-8で保存したCSVファイルをExcelで開くと日本語が文字化けする理由と、それを防ぐ「BOM（Byte Order Mark）」の仕組みを教えてください。
  • Web制作において、HTMLファイルに <meta charset="utf-8"> を記述し忘れるとどのようなトラブルが発生するか、具体例を挙げて教えてください。
  • AIにプログラムのCSVファイル読み書き処理を依頼する際、文字コードによるエラー（UnicodeDecodeErrorなど）を事前に防ぐための最適な指示の出し方を教えてください。