予測符号化入門

2026年9月26日

1. 予測符号化とは

予測符号化（predictive coding）は、脳の働きを説明する計算フレームワークである。一言で言えば、脳は常に感覚入力を予測し、予測と現実のズレ——予測誤差（prediction error）——だけが階層構造を伝わっていく、という考え方である。

この考え方は、知覚についての鮮烈なイメージへと導く。知覚とは「制御された幻覚」（controlled hallucination）である。脳はトップダウンで予測を生み出すが、それ単体では純粋な想像（幻覚）にすぎない。感覚による予測誤差がそれを現実に向かって引き戻し、知覚は予測と誤差の間の動的平衡として成立する。

本稿は、予測符号化の入門として書かれたものである。内容は以下の3本の記事に基づく。

  1. 理論的・実験的レビュー（Millidge, Seth & Buckley, 2022）
  2. 聴覚処理における階層的予測符号化のfMRIによる証拠（Caucheteux, Gramfort & King, 2023）
  3. 単一ニューロン記録による古典モデルへの挑戦（Gabhart, Xiong & Bastos, 2025）

2. 注目される背景

2.1 統一理論としての野心

予測符号化は、知覚・学習・行動を一つの枠組みで説明しようとする試みである。脳は予測誤差を最小化する。この一つの目標から以下のものが導出される。

  • 知覚：現在の感覚入力に対応させるよう、内部推定を急速に調整する
  • 学習：より良い予測を作るよう、生成モデルをゆっくりと更新する
  • 行動：予測に適合する感覚データを獲得する（能動的推論）

この枠組みが特筆される理由は、Marrの3層（計算・アルゴリズム・実装）すべてをカバーする点にある。脳が何を計算するか（予測誤差の最小化）、どのように計算するか（階層的変分推論）、どこで実装されるか（皮質のミクロ回路）——これらすべてを一つの理論で記述できる神経科学の理論は、ほぼ存在しない。

知的源泉は情報理論にある。バロウの最小冗長性原則は、効率的な神経符号は、可能な限り少ない冗長情報を送るべき、と述べる。予測符号化はまさにこれを実現する。各層は、上位からの予測が説明できない残りのみを伝播させ、階層の各レベルで冗長性を除去する。

2.2 機械学習との意外な類似性

GPTのような大規模言語モデル（LLM）は、単純な目標——与えられた文脈から次の単語を予測する——で訓練されている。これは本質的に自己回帰的予測符号化である。

このアプローチが機械学習で成功している——次のトークンを予測する目標だけで、洗練された言語表現が形成される——という事実は、予測符号化仮説の実験的裏付けとなる。人工ネットワークで単純な予測目標が十分に強力な内部モデルを構築できるなら、脳が同様の戦略を使っていることは十分あり得る。

さらに深い数学的接続がある。特定の条件下で、予測符号化ネットワークの予測誤差ユニットは、バックプロパゲーションが計算する勾配に正確に収束することが示されている。つまり予測符号化は、すべての現代的深層ニューロンネットワークを訓練するアルゴリズムを再現できるが、それを局所的で生物学的に妥当な更新ルールだけで行える。

2.3 LLMの限界と脳の優位性

LLMは成功しているが、人間の言語能力にはまだ届いていない（2023年時点）。長文生成・要約・一貫した対話や情報検索で苦戦し、特定の統制構造や意味的特徴を捉えられず、言語理解が表面的にとどまっている。

予測符号化理論はこのギャップを説明する。LLMは直後の次の単語を予測するように最適化されている。一方、人間の脳は複数の時間スケールと複数の抽象化レベルで同時に予測を行う——次の音素、次の単語、次の句、次の文、全体の物語構造を、すべて同時に予測している。

この多時間スケール・多階層の予測こそが、予測符号化が記述するものである。そして後に述べるが、これを直接支持する実験的証拠が存在する。

3. 予測符号化の基礎

3.1 基本の考え方

基本構造は層の階層である。各層は、その下層の活動を予測する。下層の実際の活動は予測と比較され、その差——予測誤差——が上層に送られる。

重要な性質は以下の通り。

  • 予測は下へ、誤差は上へ。 これが系の方向性を定める。
  • 感覚入力は直接上へ伝播しない。 予測で説明できない部分だけが伝わる。これが冗長性除去の実践的実装である。
  • 各層は局所的に計算する。 全局的な損失関数へのアクセスは不要で、自分の誤差と下層からの誤差だけで済む。

具体例を視神経科学から挙げる。「端止まり（end-stopping）」ニューロンは、線が感受野のすぐ外側で終わると発火するが、線がずっと先まで続くと発火しない。純粋な前方向（feedforward）モデルではこれは不可能である——ニューロンは感受野の外の情報にアクセスできないからである。予測符号化モデルでは、上位からの予測が「線は続く」であり、予測が破られる（線が終わる）まさにそのときに予測誤差が発生し、誤差ニューロンが発火する。これで端止まり応答が説明される。

3.2 数学的枠組み：変分推論

予測符号化の形式的基盤は変分推論——近似ベイズ推論の一族——である。

設定は次の通り。観測 o が与えられ、それを生成した潜在状態 x を推定したい。生成モデル p(o, x) = p(o|x)p(x) を仮定し、事後確率 p(x|o) を求める。

事後確率の直接計算は困難である。変分推論は、扱いやすい分布族（例えばガウス分布）から近似分布 q(x) を選び、真の事後確率とのダイバージェンスを最小化する。

最小化される量——変分自由エネルギー——は2項に分解される。

  • 精度項：モデルがデータをどれだけよく説明するか（期待対数尤度）
  • 複雑性項：事後確率が事前分布からどれだけ逸脱しているか（モデル複雑性のペナルティ）

この分解は機械学習で馴染みのあるもので、変分オートエンコーダや正則化におけるトレードオフと本質的に同じである。

自由エネルギーから導出される更新ルールは、2つの時間スケールで働く。

  • 速い（知覚）：現在のモデルが固定された状態で予測誤差を最小化するよう潜在状態推定を更新する。ニューロンの活動がミリ秒スケールで変化するのに相当する。
  • 遅い（学習）：将来の予測を改善するようモデルパラメータを更新する。シナプス重みの変化が分〜年スケールで起こるのに相当する。

階層モデルでは、自由エネルギーが層ごとの予測誤差の和に分解される。各層の更新は、自分の誤差と下層からの誤差だけで決まる。この局所性が、アルゴリズムを生物学的に妥当——局所的ヘッブ型学習ルールで実装可能——にする。

3.3 精度（precision）

変分定式化から自然に現れる重要な要素が精度（precision）——各層の予測誤差の逆分散——である。

精度は予測誤差に乗法的に重みを与える。高精度は「この誤差シグナルを信頼せよ」、低精度は「無視せよ」を意味する。

解釈は複数ある。

  • 分散正規化：感覚データの固有ノイズレベルに適合し、ノイズの多い信号を自動的に減衰させる。
  • 注意：上位からの精度の調節が選択的注意を実装する——タスクに関連するソースの予測誤差のゲインを上げ、他を抑制する。
  • 臨床的関連：精度の異常が精神疾患の基になる可能性がある。統合失調症では感覚予測誤差の精度が高すぎることで、知覚が過剰に際立つ（幻覚）。自閉スペクトラム症では、精度が高すぎることで感覚入力への過剰反応が起きる。

精度の正確な神経生物学的実装は未解決だが、枠組み内で最も生産的な概念の一つである。

3.4 動的予測符号化

時間系列データ（脳が実際に受けるもの）に対して、予測符号化は一般化座標を使って拡張される。

現在の観測だけでなく、潜在状態の位置・速度・加速度・それ以上の時間微分についての信念を表す。これで動的予測の問題が、拡張された状態空間での静的最適化問題に変わる。

結果的に得られるアルゴリズムは変分フィルタであり、「先行運動」（一般化座標）が慣性を、「予測誤差」が信念を更新する力を与える。線形の場合、これは工学で動的システムの最適推定に標準的に使われるカルマンフィルタと数学的に等価である。

4. 脳での実装

4.1 古典モデル：正則ミクロ回路

予測符号化の皮質実装について最も影響力のある提案が、正則ミクロ回路モデル（Bastos et al., 2012）である。これは抽象的な計算ユニットを新皮質の6層に対応づける。

  • 浅層（L2/3）：予測誤差ユニットと値（潜在状態）ユニットを宿す。上位領域の深層からの上位予測を受け、局所的予測誤差を計算し、その誤差を上位領域の入力層に送る。
  • 深層（L5/6）：値ユニットに基づいて予測を計算し、下位領域に送る。
  • 入力層（L4）：下位領域からの予測誤差を受け、浅層に中継する。

このモデルは、皮質で確立されている周波数の分離も説明する。浅層は高速γ振動（40–90 Hz）で働き、深層は低速α/β振動（8–30 Hz）で働く。予測符号化の枠組みでは、高速γが急速な予測誤差シグナルを、低速α/βが時間を通しての予測の統合を表すと解釈される。

4.2 新しい知見：予測はより認知寄りに

古典モデルは、予測誤差が感覚皮質——特に浅層（L2/3）——で計算されると予測する。しかし霊長類の最近の単一ニューロン記録がこの見方を揺るがしている。

鍵となる実験手法が局部-全体オッドボール（local-global oddball）パラダイムである。

  • 局部オッドボール：短範囲で局所的繰り返しパターンに違反する（例：AAAB の “B”）。
  • 全体オッドボール：長範囲で学習済みの系列構造に違反する（例：AAAB, AAAB, AAAA の最後の “A”）。

古典的な予測符号化が正しいなら、両方のオッドボールが感覚皮質で予測誤差応答を起こすべきである。なぜなら両方とも予測と入力の不一致を伴うからである。

結果は次の通り。

  • 局部オッドボール：感覚皮質（聴覚野Tpt、視覚野V1/V4）でスパイク応答を強めに惹起した。予測誤差符号化と整合的だが、単純な適応でも説明できる。
  • 全体オッドボール：感覚皮質では集団スパイク応答を惹起しなかった。聴覚野では、覚醒・麻酔のいずれの状態でも全体オッドボールのデコーディングが検出されなかった。視覚野では、ニューロンが全体オッドボールに対して基本刺激特性（方向、反復）を通じてのみ反応し、予測誤差シグナルとしては反応しなかった。
  • 前頭前野（PFC）：系列構造の内部モデルを自発的に形成した。全体オッドボールは覚醒時にPFCの集団応答からデコード可能であったが、麻酔下（PFC不活化時）ではそのデコーディングが消えた。

解釈は、真の予測誤差は感覚皮質ではなく高次皮質（PFC）で出現する、ということである。感覚皮質に見られるのは主に低次な適応効果であり、古典的予測符号化が想定する能動的な予測誤差計算ではない。

これは、予測処理が古典的な感覚皮質の正則計算よりも、前頭前野の柔軟な混合選択性ニューロンに基づく認知現象に近いことを示唆する。

4.3 予測ルーティング

この証拠に基づき、Bastosらは代替フレームワーク——予測ルーティング（predictive routing）——を提案した。

古典モデルとの主な違い：

  • 専用の予測誤差ニューロンを持たない。 「予測誤差」とは、予測されていない刺激が準備されていない皮質に到達した結果にすぎない。エラーを特殊に計算する回路はなく、ルーティングメカニズムの帰結として現れる。
  • 振動による選択的抑制。 高次皮質がα/β帯のシグナルとして予測を送り、特定の対象領域を選択的に抑制する。これで「準備」状態が作られる——抑制された領域は、予測が外れたときに強く反応する準備ができている。
  • 予測外の刺激が突破する。 準備されていない（抑制されていない）領域に刺激が届くと、γ帯活動と発火が増強され、前方向処理が駆動される。「誤差」とは、抑制の不在にほかならない。
  • 疎で選択的であり、集団的でない。 予測は特定の表現をターゲットにし、感覚領域の全ニューロン集団を対象としない。PFCで全体オッドボールに特異的に応答するニューロンが約2〜9%しかないという発見と整合的である。

振動機構が洗練された説明を与える。

  • α/β（8–30 Hz）：上位からの予測、抑制的、特定の経路を準備する
  • γ（40–90 Hz）：下位からの感覚処理、興奮的、抑制されていないところで突破する

麻酔の実験がこの支持を与える。プロポフォール（PFCを不活化しα/β調節を消去する）下では、感覚皮質のオッドボール応答γがむしろ増加する。通常は上位からのβ抑制で制御されている系が、その抑制を失って脱抑制されていることを示している。

5. 機械学習・LLMとの関係

5.1 バックプロパゲーションとの関係

予測符号化文献の中で最も実務的に重要な結果が、バックプロパゲーションとの接続である。

特定の条件下で、予測符号化ネットワークの予測誤差ユニットがバックプロパゲーションの勾配に正確に収束することが示されている。

  • 誤差収束フェーズ中に予測を固定する
  • ネットワークが均衡に達する（誤差が収束する）ことを許す

これらの条件を満たすと、予測符号化の重み更新ルールはバックプロパゲーションの更新ルールと同一になる。

なぜこれが重要か。

  • バックプロパゲーションは生物学的に妥当でない。 全局的な協調、重みの伝送（逆方向に同じ重みを使用）、遠隔の非線形関数の微分へのアクセスが必要である。
  • 予測符号化は生物学的に妥当である。 局所的ヘッブ型学習ルールだけで、各シナプスが近傍の前・後シナプス活動に基づいて更新される。
  • したがって：もし脳が何らかの形でバックプロパゲーションを実装しているなら、予測符号化はそのメカニズムを提供する。

これで脳が実際にそうしているとは証明されない。しかし主要な反論（生物学的妥当性の欠如）を取り除き、仮説を真面目に検証可能にする。

5.2 LLMと脳の対応

Caucheteux et al. (2023) の研究は、予測符号化とLLMの成功（および限界）を直接結びつける証拠を与えた。

発見：

  • GPT-2の活性化が脳活動を線形予測する。 304名が短い物語を聴く際のfMRI応答は、GPT-2の内部活性化の線形変換で予測できた。これは次の単語予測が脳が行うことの相当部分を捉えていることを確認する。
  • 長時間スケール予測の付加で脳対応が23%向上する。 モデルの活性化に将来単語（最大8語先、約3秒先）の表現を追加すると、脳活動との相関が有意に増加した。脳は次の単語の予測だけでなく、複数の時間スケールで同時に予測していることが示される。
  • 階層構造が皮質に反映されている。 最適な予測距離が脳領域間で系統的に異なっていた：
    • 下位（側頭野）：近い将来・具体的な表現の予測
    • 高位（前頭・頭頂野）：遠い将来・抽象的な表現の予測

これは、自然言語処理中の人間の脳で階層的・多時間スケール予測符号化アーキテクチャが働いていることの直接的な実演である。

5.3 自己回帰的予測とTransformer

接続は共有目標だけではない。

  • 対比予測符号化（Oord et al., 2018）は、観測そのものではなく将来の潜在表現を予測する予測符号化型の目標を使い、教師なしベンチマークで強い性能を示した。これは予測符号化が感覚層の上のすべての層で自然に潜在空間で働くのと整合的である。
  • 再帰・フィードバック接続が時間的タスクで性能を上げる。 人工ネットワークで再帰とトップダウン接続（PredNetなど）を追加すると、純粋な前方向アーキテクチャより動画予測で優れる。これは脳の構造と整合的である——皮質接続の大部分は再帰またはフィードバックである。
  • 脳は再帰的予測系である。 前方向LLMがテキストを一パスで処理するのに対し、脳の再帰アーキテクチャは予測を反復的に洗練できる。まさに予測符号化が規定する動的収束過程そのものである。

6. まとめと今後の論点

6.1 まとめ

予測符号化は、皮質計算を統一的に記述する数学的に厳密な枠組みである。主要な主張を整理する。

  1. 脳の核心的機能は、生成モデルに対する予測誤差の最小化である。
  2. この一つの目標から知覚（速い推論）・学習（遅いモデル更新）・行動（誤差を最小化するサンプリング）が導出される。
  3. 計算は階層的である：予測は下へ、誤差は上へ、各層は局所的に働く。
  4. 特定の条件下でバックプロパゲーションと数学的に等価であり、深層学習を生物学的に妥当なメカニズムで実現する経路を提供する。
  5. 脳での実装は、古典的な感覚皮質モデルが示唆するより、前頭葉主導の選択的・振動的制御に近い。

LLMとの比較が特に示唆に富む。LLMが成功しているところ（次の単語予測）で、脳も同じことをしている。LLMが失敗しているところ（長時間スケールの一貫性、多レベル推論）で、脳の優位性はまさに予測符号化が記述する多階層予測にある。

6.2 今後の論点

重要な未解決問題が残る。

  • 予測符号化 vs. 予測ルーティング：予測誤差は専用のL2/3回路で計算されるのか、選択的振動抑制の帰結として現れるのか。現在の証拠は後者を支持するが、未だ完全に解決していない。
  • スパイク符号：現在の理論モデルはすべて連続的なレートコードを仮定している。脳は離散的なスパイクで通信する。スパイクレジームでは予測符号化はどのように働くのか。
  • 精度の実装：潜在的大きな状態依存な精度行列は、神経組織でどのように物理的に実装されるのか。神経変調物質、注意ネットワーク、特定の中間ニューロン集団の役割は未解明である。
  • スケール拡大：予測符号化ネットワークは主に小さいタスク（MNIST、単純な系列）で検証されてきた。複雑な高次元タスクで現代の深層学習と同等の性能にスケールできるか。

これらの問題は、神経科学と機械学習の交点にある活発な研究フロンティアである。

参考文献

  • Millidge B, Seth AK, Buckley CL. Predictive Coding: a Theoretical and Experimental Review. arXiv:2107.12979.
  • Caucheteux C, Gramfort A, King JR. Evidence of a predictive coding hierarchy in the human brain listening to speech. Nature Human Behaviour 7, 430–441 (2023).
  • Gabhart KM, Xiong Y, Bastos AM. Predictive coding: a more cognitive process than we thought? Trends in Cognitive Sciences 29(7), 627–640 (2025).