国里愛彦（くにさと よしひこ）

  • 専修大学人間科学部心理学科　教授
  • 専門：計算論的精神医学、認知行動療法
  • 関心：うつや不安の発生・維持メカニズム、心理療法の作用メカニズム、個性記述
  • COI開示：本発表では国里の著書や関連する団体(計算論的精神医学コロキウム)については紹介するが、特定企業との利益相反はない。

計算論的精神医学のはじまり

  • 2010年代に、計算論的神経科学の精神医学への応用がはじまり、計算論的精神医学としてまとまる。
  • 2011年くらいから複数の雑誌に計算論的精神医学に関する総説が掲載。 2016年には、『Computational Psychiatry』と題する書籍も出版。
  • 精神医学、心理学、神経科学、行動経済学、機械学習を用いて、精神障害に関連した神経・認知的現象の数理モデルの構築を目的とする研究領域

日本での計算論的精神医学

CPSY TOKO

  • 計算論的精神医学コロキウムが毎年開催(2025で３回目)
  • 今年度は、2026年2月19日(木)-20日(金)に専修大学神田キャンパスで開催予定

計算論的とは？

  • 私達や動物の行動の背後にある計算過程を数式で表現したモデルを用いること。

  • ここでの計算は意識的な計算に限定されず、脳内のあらゆる情報処理においてなされる無意識的な計算も含む。

  • 計算論的神経科学や計算論的精神医学は、計算論的アプローチをとる。

計算論的精神医学の基本的枠組み

４つの生成モデル

生成モデル、シミュレーション、パラメータ推定

計算論的精神医学への期待

  • [理解] 症状・行動の水準と生物学的水準との間の説明のギャップを埋める
  • [理論] 自然言語で書かれたモデルの数理モデル化とその統合
  • [アセスメント] 計算論的アプローチにより疾患マーカーの洗練化が期待される(computational assay, computational phenotyping)
  • [シミュレーション] 効果的な治療の探索や臨床的な経過の予想

強化学習モデル

  • 「長期的にみて報酬を最大化するために，環境の状態に対して，特定の行動を学習するエージェントについての計算論的な枠組み」
  • 環境との相互作用を通して行動が生成されるに至った内的なプロセスを少ないパラメータ数でモデル化でき，それらのパラメータと精神障害との関連を検討可能。

Q learning Model(Watkins 1989)

  • TD誤差が小さくなるようにQ値を更新することで，最適な行動価値関数を学習するモデル
  • softmax関数と組みわせて行動選択モデルとして使い、学習率（学習の速度）や逆温度（より価値に沿った行動をする程度）がパラメータとして推定可能

うつと強化学習モデル

  • Kunisato et al. (2012) は、抑うつが高いと行動レベルで報酬感受性が低下し、強化学習モデルにおける逆温度が低下する(選択のランダムさの増加)ことを報告
  • Huys et al. (2012) も同様の研究を発表し、その後もうつと強化学習モデルの研究が行われる(私が気づいてなかっただけで、先に Chase et al. (2010) が同じ研究を実施)
  • Pike and Robinson (2022) はメタ分析を実施し、学習率は抑うつ・不安とは関連しないが、逆温度は抑うつ・不安において低くなることを報告

→CBTによってどう変化するか？

うつのCBT前後のパラメータ変化

  • Brown et al. (2021) は、28名のうつ病患者にCBTを実施。CBTにより，(1)報酬学習の感受性(=逆温度)向上，アウトカムシフト(全体的な評価バイアス)が低下。(2)損失学習の学習率と感受性が低下。
  • Huys et al. (2022) は、13名のうつ病患者に行動活性化を実施。BAの標的（報酬の追求と回避の低減）に関して、課題時のパラメータが治療反応を予測。

→パラメータはCBTによって変化し、治療反応を予測する可能性

CBTのコンポーネントと強化学習

  • Norbury et al. (2024) は、オンラインのクロスオーバー試験を実施（行動活性化、認知再構成）
  • BAは報酬を獲得する際の努力に対する感受性を特異的に低下、CRはネガティブな出来事を自己に帰属させる傾向を特異的に低下

→CBTのコンポーネントとパラメータとの関係の検討

ベイズ推論モデル

  • 自由エネルギー原理は、フリストンらによって提唱されたベイズ推論モデルをベースにした脳と心の統一的理論
  • 感覚入力\(o\)の背後に、それを生み出した直接観測できない外部状態 \(s^*\) がある
  • 外部状態 \(s^*\) は直接観測できないので、感覚入力\(o\)から推論

生成モデルとベイズ更新

  • 内部状態sと感覚入力\(o\)の同時確率分布(生成モデル)を用いて外部状態を推論（生成モデルは生成過程の近似）
  • 感覚入力\(o\)から内部状態の信念\(p(s)\)をベイズ更新(事前信念を尤度で更新)=知覚推論（変分自由エネルギー最小化）
  • 信念に基づく外界の状態への働きかけ\(a\)=能動的推論（期待自由エネルギー最小化）

自由エネルギー原理と心理療法

  • CBTの非機能的認知は，世界のモデルについての事前信念として捉えられる(Moutoussis et al. 2018)
  • 精神分析の防衛，認知療法の中核的信念，行動分析の不適応な行動パターンは、事前信念から整理できる(Krupnik 2019)。事前信念の変容には高い精度の予測誤差を導入する必要がある
  • マインドフルネスは行為推論→知覚推論を促す実践であり，予測誤差への精度を高め，事前信念の更新を促す(Manjaly and Iglesias 2020; 国里 and 山本 2021)

クモ恐怖のCBTのシミュレーション

  • Smith, Moutoussis, and Bilek (2021) は，クモ恐怖のCBTモデルから能動的推論シミュレーション
  • 認知再構成で「クモは安全」という信念獲得後に曝露すると，顕在信念は安全と判断するが，潜在信念(クモへの接近とポジティブ感情との関連)に変化なし(クモ危険信念が強くも弱くもない状態の曝露は潜在信念低下）

→ 不確実な顕在信念下での曝露が良い？

社交不安のCBTのシミュレーション

  • Zhang et al. (2025) は，HofmannのCBTモデルから能動的推論シミュレーション
  • 低い自己効力感と社会的損失の過大視が、社会的文脈への信念とは独立して回避行動を直接的に誘発する
  • 否定的な事前信念は安全行動をそれほど誘発しないが信念の修正を遅らせ、自己注目は不正確な社会的信念につながり最適な行動選択を妨げ、反芻は症状の維持要因として機能する

計算論的精神医学に時間と文脈を！

  • Hitchcock, Fried, and Frank (2022) は、計算論的精神医学研究に、時間的な変化と文脈を取り入れることの重要性を指摘
  • 変数間のネットワーク構造を検討する心理ネットワークアプローチでは，ネットワークの時間的な変化についても議論されてきている。

→計算論的精神医学で心理ネットワークアプローチを取り入れるのはどうか？

ネットワークシミュレーション

  • DSM-III-TRに基づく大うつ病の横断データ(8973名)から症状ネットワークを推定し、時間的挙動をシミュレーション(Cramer et al. 2016)
  • ネットワークの結合を強めるパラメータ\(c\)の値が症状全体の活性化を左右する

介入シミュレーション

  • Cramer et al. (2016) の結果から、症状ネットワークの接続が強いと、症状が悪化しやすい。
  • しかし、心理療法の介入研究では，症状が改善しても接続が強まっていることも(Höller et al. 2022)
  • ネットワークに症状以外の治療的な要素を入れることで，どの症状を標的にすれば効果が得られるかシミュレーションできる？

→ 治療的な要素を表すノードを追加したシミュレーションを実施(Omizu and Kunisato 2024)

単独症状への介入

動的モデルへ

  • Cramer et al. (2016) と Omizu and Kunisato (2024) のシミュレーションでは、症状ネットワーク自体は時間的に変化しない。
  • 時間に伴って変数や変数間の関係性は変わっていくのでは？

→時間に伴って変化する動的モデルへ

  • 例) Robinaugh et al. (2024) は、パニック症の認知行動モデルから微分方程式モデルを提案

まとめ

  • 強化学習モデルは、データを用いたパラメータ推定がなされてきた。実証研究としては現実的な選択肢になる。
  • ベイズ推論モデルは、信念の更新過程を扱え、柔軟なモデル化も可能。現状ではシミュレーション研究が中心。
  • 心理ネットワークモデルは、変数間の相互依存関係や時間的な変化が扱える（ワークショップ2「心理ネットワークアプローチ」11月16日（日）9:00-12:00）
  • 数理モデルを用いて認知行動療法を見つめ直そう！

引用文献

Brown, Vanessa M, Lusha Zhu, Alec Solway, John M Wang, Katherine L McCurry, Brooks King-Casas, and Pearl H Chiu. 2021. “Reinforcement Learning Disruptions in Individuals with Depression and Sensitivity to Symptom Change Following Cognitive Behavioral Therapy.” JAMA Psychiatry (Chicago, Ill.) 78 (10): 1113–22.
Chase, H W, M J Frank, A Michael, E T Bullmore, B J Sahakian, and T W Robbins. 2010. “Approach and Avoidance Learning in Patients with Major Depression and Healthy Controls: Relation to Anhedonia.” Psychological Medicine 40 (3): 433–40.
Cramer, Angélique O J, Claudia D van Borkulo, Erik J Giltay, Han L J van der Maas, Kenneth S Kendler, Marten Scheffer, and Denny Borsboom. 2016. “Major Depression as a Complex Dynamic System.” PloS One 11 (12): e0167490.
Hitchcock, Peter F, Eiko I Fried, and Michael J Frank. 2022. “Computational Psychiatry Needs Time and Context.” Annual Review of Psychology 73 (1): 243–70.
Höller, Inken, Dajana Schreiber, Fionneke Bos, Thomas Forkmann, Tobias Teismann, and Jürgen Margraf. 2022. “The Mereology of Depression-Networks of Depressive Symptoms During the Course of Psychotherapy.” International Journal of Environmental Research and Public Health 19 (12).
Huys, Quentin J M, Neir Eshel, Elizabeth O’Nions, Luke Sheridan, Peter Dayan, and Jonathan P Roiser. 2012. “Bonsai Trees in Your Head: How the Pavlovian System Sculpts Goal-Directed Choices by Pruning Decision Trees.” PLoS Computational Biology 8 (3): e1002410.
Huys, Quentin J M, Evan M Russek, George Abitante, Thorsten Kahnt, and Jacqueline K Gollan. 2022. “Components of Behavioral Activation Therapy for Depression Engage Specific Reinforcement Learning Mechanisms in a Pilot Study.” Computational Psychiatry (Cambridge, Mass.) 6 (1): 238–55.
Krupnik, Valery. 2019. “Bayesian Approach to Psychotherapy Integration: Strategic Modification of Priors.” Frontiers in Psychology 10 (February): 356.
Kunisato, Yoshihiko, Yasumasa Okamoto, Kazutaka Ueda, Keiichi Onoda, Go Okada, Shinpei Yoshimura, Shin-Ichi Suzuki, Kazuyuki Samejima, and Shigeto Yamawaki. 2012. “Effects of Depression on Reward-Based Decision Making and Variability of Action in Probabilistic Learning.” Journal of Behavior Therapy and Experimental Psychiatry 43 (4): 1088–94.
Manjaly, Zina-Mary, and Sandra Iglesias. 2020. “A Computational Theory of Mindfulness Based Cognitive Therapy from the ‘Bayesian Brain’ Perspective.” Frontiers in Psychiatry / Frontiers Research Foundation 11 (May): 404.
Moutoussis, Michael, Nitzan Shahar, Tobias U Hauser, and Raymond J Dolan. 2018. “Computation in Psychotherapy, or How Computational Psychiatry Can Aid Learning-Based Psychological Therapies.” Computational Psychiatry (Cambridge, Mass.) 2 (February): 50–73.
Norbury, Agnes, Tobias U Hauser, Stephen M Fleming, Raymond J Dolan, and Quentin J M Huys. 2024. “Different Components of Cognitive-Behavioral Therapy Affect Specific Cognitive Mechanisms.” Science Advances 10 (13): eadk3222.
Omizu, Takumi, and Yoshihiko Kunisato. 2024. “Exploring Effective Intervention Strategies for Depression as a Complex System: Targeted Interventions Through Network Simulations.” The Japanese Psychological Research 67 (2): 147–61.
Pike, Alexandra C, and Oliver J Robinson. 2022. “Reinforcement Learning in Patients with Mood and Anxiety Disorders Vs Control Individuals: A Systematic Review and Meta-Analysis: A Systematic Review and Meta-Analysis.” JAMA Psychiatry 79 (4): 313–22.
Robinaugh, Donald J, Jonas M B Haslbeck, Lourens J Waldorp, Jolanda J Kossakowski, Eiko I Fried, Alexander J Millner, Richard J McNally, et al. 2024. “Advancing the Network Theory of Mental Disorders: A Computational Model of Panic Disorder.” Psychological Review 131 (6): 1482–1508.
Smith, Ryan, Michael Moutoussis, and Edda Bilek. 2021. “Simulating the Computational Mechanisms of Cognitive and Behavioral Psychotherapeutic Interventions: Insights from Active Inference.” Scientific Reports 11 (1): 10128.
Watkins, Christopher John Cornish Hellaby. 1989. “Learning from Delayed Rewards.” PhD thesis, King’s College, University of Cambridge. http://www.cs.rhul.ac.uk/~chrisw/new_thesis.pdf.
Zhang, Yinghao, Friederike Elisabeth Hedley, Ru-Yuan Zhang, and Jingwen Jin. 2025. “Toward Quantitative Cognitive-Behavioral Modeling of Psychopathology: An Active Inference Account of Social Anxiety Disorder.” Journal of Psychopathology and Clinical Science 134 (4): 363–88.
国里愛彦. 2013. “うつとストレスに対する計算論的アプローチ : 計算論的精神医学入門.” ストレス科学 = The Japanese Journal of Stress Sciences : 日本ストレス学会誌 28 (2): 101–7.
国里愛彦, and 山本哲也. 2021. “マインドフルネス研究の未来を切り開く新たな方法論.” 心理学評論 64 (4): 599–618.
国里愛彦・片平健太郎・沖村宰・山下祐一. 2019. 計算論的精神医学：情報処理過程から読み解く精神障害. 勁草書房.
宗田卓史, 遠山朝子, 国里愛彦, 沖村宰, 片平健太郎, and 山下祐一. 2025. R/Pythonではじめる計算論的精神医学. 京都: 金芳堂.
山下祐一, 松岡洋夫, and 谷淳. 2013. “計算論的精神医学の可能性: 適応行動の代償としての統合失調症.” 精神医学 55 (9): 885–95.