Human-in-the-Loop

ai security development beginner

AIの自動処理の途中に、人間による確認や承認の手順を組み込む考え方。

概要（サマリー）

Human-in-the-Loop（HITL、ヒューマン・イン・ザ・ループ）とは、AIの自動処理の途中に、人間による確認や承認の手順を組み込む考え方である。日本語では「人間参加型」とも呼ばれる。

会社の稟議にたとえるとわかりやすい。担当者（AI）が調査して提案書を作るところまでは任せるが、お金を払う・契約を結ぶといった最終決定には上司（人間）のハンコが必要になる。

AIエージェントに「不要なファイルを整理して」と頼んだとき、AIが勝手に大事なファイルまで消してしまっては取り返しがつかない。そこで、ファイルの削除、本番環境への反映、メール送信、課金などの操作の直前で止まり、「この操作を実行してよいですか？」と人間に確認を求める。これがHuman-in-the-Loopの代表的な形である。

詳細解説

なぜ人間の確認を挟むのか

AIの能力は年々上がっているが、次のリスクはゼロにならない。

取り返しのつかない操作: ファイルの削除、データベースの初期化、メールやSNSへの投稿などは、一度実行すると元に戻せないことが多い。
もっともらしい間違い: AIが自信ありげに誤った判断をすること（ハルシネーション）がある。存在しない仕様を前提に危険なコマンドを組み立てることもある。
外部からの乗っ取り: 読み込んだWebページやファイルに仕込まれた指示に、AIが従ってしまうことがある（プロンプトインジェクション）。

こうしたリスクに備えて、「重要な操作の最後の判断は人間が下す」という安全弁を設ける。

HITLが使われる主な場面

場面	人間の役割	具体例
エージェントの操作承認	実行前のチェック	コマンド実行の許可、ファイル変更の差分確認
生成物のレビュー	品質・事実の確認	AIが書いた記事や契約書の下書きを公開前に読む
AIの学習・改善	良し悪しの判定	人間が回答を評価し、その結果をモデルの改善に使う

AIコーディングツールでは、AIが出した修正案を人間が差分で確認し、適用するか却下するかを選ぶ操作そのものが、身近なHITLの例である。

承認ステップの実装例

自分でエージェントを作る場合も、危険な操作の前に確認を挟むのは難しくない。以下は、ファイル削除の前に人間の承認を求めるPythonの簡単な例である。

import os

def delete_file_with_approval(path):
    print(f"AIが次のファイルの削除を提案しています: {path}")
    answer = input("実行してよいですか？ (y/N): ")
    if answer.strip().lower() != "y":
        print("削除を取りやめました。")
        return False
    os.remove(path)
    print("削除しました。")
    return True

ポイントは、何も入力されなかったときの初期値を「実行しない」側にしていることである。うっかりEnterキーを押しただけで削除が進まないようにしておくと、安全側に倒れる。

ガードレールとの関係

似た言葉にガードレールがある。ガードレールは、入力や出力の検査、ツール実行前の許可など、アプリ側のルールでAIの危険な動作を止める仕組み全般を指す。

Human-in-the-Loopは、その止め方のうち「最終判断を人間に委ねる」部分にあたる。明らかに危険なものはルールで機械的に止め、ルールでは判断しきれない重要な操作は人間が確認する。この2つを組み合わせるのが実務での定番である。

AIコーディングとの関係

AIエージェントにコードの作成や修正を任せるとき、どこまで自動で進め、どこで人間が確認するかの線引きが重要になる。

読み取りは自動でよい: ファイルの検索や閲覧、Web検索は、自動で進めても被害が出にくい
書き込みは確認する: 既存コードの変更は、差分を見てから適用する
外に出る操作は必ず止める: git push、本番環境への反映、外部へのデータ送信などは、実行前に必ず人間が承認する

多くのAIコーディングツールには、コマンドを自動で許可する範囲を設定する機能がある。便利だからといって何でも自動許可にすると、承認のステップがなくなってしまう。触る権限の範囲と自動許可の範囲は、作業内容に合わせて最小限にしておきたい。

よくある勘違い

人間が確認するなら、自動化の意味がないのでは？

そんなことはない。調査、下書き、エラーの自己修正といった手間のかかる部分はAIが進めてくれるので、人間は要所の確認だけで済む。すべてを手作業でやるのに比べれば、作業時間は大きく減る。

一度「すべて許可」にすれば、あとは放置してよい？

危険である。自動許可を広く設定したまま放置すると、AIが意図しない場所のファイルを書き換えたり、同じ処理を延々と繰り返したりしても止める人がいない。初めて触るプロジェクトや、席を離れるときほど、承認のステップを残しておくべきである。

承認ボタンさえあれば安全？

確認画面があっても、人間が中身を読まずに「はい」を押し続けていれば意味がない。承認が形だけにならないよう、AIに「何を変えるのか」「どこに影響するのか」を短く説明させ、人間が判断しやすい形で示すことが大切である。

まとめ

Human-in-the-Loopは、AIの自動処理の途中に人間の確認や承認を組み込む考え方である
削除、送信、公開、課金など、取り返しのつかない操作の前に置くのが基本である
ルールで止めるガードレールと組み合わせ、人間が中身を見て判断できる形にすることが重要である

情報ソース

より詳しくAIに聞いてみよう

AIエージェントを運用するとき、どの操作に人間の承認を挟むべきか、判断基準を教えてください。
AIコーディングツールで、コマンドの自動許可の範囲を安全に設定する方法を教えてください。
ガードレールとHuman-in-the-Loopを組み合わせた安全対策の具体例を教えてください。
承認画面が形だけにならないように、AIに変更内容をわかりやすく説明させる工夫を教えてください。
人間のフィードバックをAIの改善に使う仕組み（RLHFなど）を、初心者向けに説明してください。