再現性の危機
- 100本の心理学研究を追試したところ，元の研究は97%が有意な効果なのに，追試は有意な効果が36%だけ(Open Science Collaboration, 2015)
- 1576名の研究者への調査(Baker, 2016, Nature)で，90%が再現性の危機があると回答(52%が重大な危機，38%が軽い危機)
→ 再現可能性を高めないと！
3つの再現可能性(Goodman et al., 2016)
- 方法の再現可能性 同じデータ＋同じ方法 → 同じ結果
- 結果の再現可能性 新規データ＋同じ方法 → 同じ結果
- 推論の再現可能性 同じ結果 → 同じ結論
→ 本発表は，３つの再現可能性から問題を整理し，現状提案されている解決策について説明する。
方法の再現可能性の課題
「同じデータ＋同じ方法 → 同じ結果」の検討では，データ共有が必要
→ 生物医学論文(2015-2017年)の調査(Wallach et al., 2018)：データ入手可能性の記載は18.3%
→ 心理学論文(2014-2017年)の調査(Hardwicke et al., 2021):データ共有2%
解析コードの共有は一般的ではない(Hardwicke et al.(2021)によると1%程度)。データ共有されていても結果が再現できるのは62%程度（著者の助けがなければ31%)(Hardwicke et al.,2018）
方法の再現可能性を高める方法
- データ共有は学術雑誌から要求されたり，科学技術政策として推進中。
- データ共有サービス(OSFなど)が増えているが，臨床研究で扱うデータでは，研究参加者のプライバシーを守ることが重要になる。
→ データ共有に関する同意の取得とデータの匿名化（データの抑制，データの一般化，ノイズの追加）
方法の再現可能性を高める方法
- 第３者が読みやすく，機械も読み込みやすい形式でデータ・コードを共有（✗wordにコピペ後PDF ○CSVファイル）
- オープンソースソフトウェアが望ましい（SPSSではなくRやJASP）
- データの場所，コードの場所，ライセンス情報などを分かりやすく配置して解析をパッケージ化する。
- ソフトとOSのバージョン違いで再現しないこともある。バージョン情報の共有＆Dockerなどのコンテナサービスの活用(詳細は，国里・小杉(2021)「再現可能な日本語論文執筆入門」参照)
結果の再現可能性の課題
- 心理学の研究報告の質は低い...
- 心理・社会的介入の無作為化比較試験(2010年)の研究報告の質の調査(Grant et al., 2013)：盲検化の報告15%,乱数の生成法の報告23%,割付の隠蔽化の報告17%と重要報告項目の欠落が目立つ。
- メタ分析の研究報告の質の調査(Polanin et al., 2020):調査対象論文を平均すると報告が望ましい項目の55%しか報告されてない。
結果の再現可能性を高める方法
- 研究報告ガイドラインを遵守した研究報告を行う。
→ 『行動療法研究』の特集「行動療法研究における研究報告に関するガイドライン」(2014-2015年)が参考になる（ただ，ガイドラインは最新のものを参照）
→ 目的に合わせて，CONSORT-SPI(心理社会的介入の無作為化試験)，STROBE(観察研究),PRISMA(系統レビュー),STARD(診断精度)，CARE(事例報告)，JARS(心理学研究)などを研究計画と執筆時に参照
結果の再現可能性を高める方法
- マテリアル・プロトコル共有は一般的な研究実践ではないが(Hardwicke et al., 2021)，追試では必要になる。
- 新しい心理的介入では詳細な介入プロトコル，行動課題を用いたアセスメントの場合はその刺激とプログラムコード，質問紙を用いたアセスメントの場合は項目だけでなく実際の質問紙のフォーマットがあるととても良い。
→ 他の研究者が利用する可能性のあるマテリアル・プロトコルは，ライセンスをつけて配布する。
推論の再現可能性の課題
- 追試や再解析結果から質的に同じ結論を再現させるのは難しい。
- 例. 介入Aと通常治療の比較で介入Aの方が統計学的に有意に症状が低減
→ 研究者A「介入Aは有効である」
→ 研究者B「バイアスリスク，信頼区間の広さ，先行研究から研究Aの有効性への確信度は低い」
- p-hacking, HARKing, 粉飾などの「好ましくない研究行為」によって，推論の再現可能性はさらに低くなる。
推論の再現可能性の課題
- p-hacking: 帰無仮説検定でp値が有意水準未満になるように行うハッキング行為(有意な結果のみ報告，様々な共変量を投入し有意な結果のみ報告，有意になるまで参加者を追加)
- HARKing：結果が分かってから後づけで仮説を設定すること。
→ 設定した有意水準よりも第一種の過誤が高くなる。
- 粉飾:否定的な結果が得られた場合に，結果の解釈を歪めた結論に読者を誘導する(奥村, 2017)。
推論の再現可能性を高める方法
- 事前に仮説や方法を登録してからデータ収集を行う「事前登録」によって，p-hacking, HARKing, 粉飾を防止できる。
→ 臨床試験では，臨床試験登録が事前登録になる。臨床試験以外の研究においても事前登録を行う。
- 事前審査付き報告：事前登録を査読した結果アクセプトされれば，データ収集後の結果に関わらず掲載される。
→ 好ましくない研究行為だけでなく出版バイアスも減らす。
研究の無駄を減らし，価値を高める
- 研究の無駄(研究の重複，研究費配分分野の偏り，ユーザーのニーズに合わないなど）が問題に。
→ 認知行動療法研究の無駄を減らし，価値を高める上で，研究疑問の優先順位付けが重要。
→ 研究者だけでなく，患者などの当事者と共に研究疑問の優先順位付けを行うことが求められるようになってきている。
→ 研究資源は限られているので，研究者間の「競争」ではなく，研究者・当事者・関係者の「共創」が必要である。
今後に向けて
- 再現可能性を高めるには，データ・解析コード・マテリアルの共有，事前登録が重要！
→ これらの取り組みが無理なく出来るようなシステム作りが大切になる。
→ データ共有にあたっての国内における倫理的問題・方法の整理，マテリアル（認知課題，質問紙）の効率的な共有方法の提案
詳細は，「国里・土屋(印刷中). 認知行動療法の研究の再現可能性を高める 認知行動療法研究」をご確認ください！