class: center, middle, inverse, title-slide .title[ # Delphi法の基礎 ] .subtitle[ ## 国里愛彦（専修大学人間科学部心理学科） ] .author[ ### REQUIRE（2022年5月21日） ] --- class: center, middle # Delphi法とは？ --- **Delphi** <p><a href="https://commons.wikimedia.org/wiki/File:Delphi,_Greece_-_panoramio.jpg#/media/File:Delphi,_Greece_-_panoramio.jpg"><img src="https://upload.wikimedia.org/wikipedia/commons/thumb/d/d5/Delphi%2C_Greece_-_panoramio.jpg/1200px-Delphi%2C_Greece_-_panoramio.jpg" alt="Delphic Tholos"></a><br>By tamara semina, <a href="https://creativecommons.org/licenses/by-sa/3.0" title="Creative Commons Attribution-Share Alike 3.0">CC BY-SA 3.0</a>, <a href="https://commons.wikimedia.org/w/index.php?curid=59622650">Link</a></p> --- # Delphi法の歴史 - 古代ギリシャでは，アポロン神殿があったDelphiに参じて，神託を求めていた。 - Delphi法は古代ギリシャから続く方法というわけでない。冷戦開始時にソ連が投下する原爆の数を推定する方法としてRANDコーポーレーションが採用した.med[(Helmer, O., Dalkey, N., Rescher, Nが開発し，当初は軍事機密。60-70年代に多領域に広がる)] - 以降では，**『The Delphi Technique in Nursing and Health Research.med[(Keeney, Hasson, Mckenna, 2011)]』**を中心にまとめる.med[（以下，「教科書」と省略する）] --- # Delphi法とは？ - Delphi法は，重要な問題に関して最終的なコンセンサスを得るための多段階調査法である。妥当な専門家の意見を引き出すことはできるが，**あくまでコンセンサスであり，真実や決定的な答えを出すものではない**。 - Delphi法には，**集団の意見は個人の意見よりも妥当性と信頼性がある**という前提がある。 - Delphi法には，統一的な実施ガイドラインがないので，古典的Delphi(Classical Delphi)から派生した複数の方法がある。 --- # Delphi法をつかう目的 健康関連の研究でDelphi法をつかう２つの目的 - **優先順位づけ**：研究領域において優先的に行うべき研究テーマ（治療なども）は何かを決める場合につかう。 - **コンセンサスを得る**：特定の問題やアイディアにおける研究者間のコンセンサスを得るためにつかう。 --- ** Delphi法の種類**(教科書P7,Table1.1) .small[ | 種類 | 説明 | | - | ------------------------ | | Classical Delphi|ラウンド１でアイディア創出して，コンセンサスを得る。３ラウンド以上。Eメール可| | Modified Delphi|ラウンド１を対面・フォーカスグループで行う。その後のラウンド（Eメール可）は３以下のことも| | e-Delphi|Classical DelphiをEメールやオンライン調査で行う| | Online Delphi|Classical Delphiをオンライン調査で行う| | Real Time Delphi|Classical Delphiを同室で行い，その場でコンセンサスに至る| | Decision Delphi|コンセンサスよりは意思決定に焦点を当てた方法| | Policy Delphi|将来の政策についてのコンセンサスと同意を得るために使用する| | Technological Delphi|Real Time Delphiを自動集計デバイスなどのテクノロジーで行う| | Argument Delphi|Policy Delphiの派生。事実の論証に焦点を当て，コンセンサスを目的としない| | Disaggrerative Delphi|コンセンサスを目的としない。様々な未来シナリオを検討する。クラスター分析を行う| ] --- # 古典的(Classical)Delphi法 - **ラウンド１**：専門家パネルにオープンエンドな質問をして，自由記述回答を集める.med[（包括的に関連する問題や意見を扱う。自由記述は内容分析し，リッカート形式の調査票にする）] - **ラウンド２**：ラウンド１で作成した調査票を専門家パネルに送付し，回答を求める。.med[(回答を集計してコンセンサスの程度を確認する。場合によってはコンセンサスの得られた項目は後のラウンドの調査に含めない)] - **ラウンド３**：ラウンド２の集計結果を専門家パネルにフィードバックし，調査票に回答を求める。 - ラウンド３でコンセンサスに到達することが多いが，コンセンサスが得られるまで繰り返す。 --- ### Delphi法の流れ <img src="fig/delphi01.png" width="750"> --- **修正型Delphi法(Modified Delphi)とe-Delphi法** - **修正型Delphi法**: ラウンド１で，フォーカスグループ（or１対１の面接）を行う。その録音・記録した内容を内容分析して，ラウンド２の調査を行う.med[（ラウンド数は古典的Delphiより少なくなることが多い）]。 - ラウンド１は質的研究になり，その妥当性の担保については，COREQ.med[(Tong et al., 2007)]などのガイドラインを参照。 - **e-Delphi法**: 古典的DelphiをEメールやオンライン調査で行う.med[(参加者がEメールが使えることが前提となる)]。 --- class: center, middle # 古典的Delphi法の実施法：準備 --- ## ラウンド１を始めるための準備.small[(教科書P66,Table4.4)] .small[ | ステップ | 準備すること | | --- | ----------- | |1|文献レビュー,研究の必要性を明確化, デルファイが最適な方法であるか検討,リソースの利用可能性を検討| |2 |コンセンサスのレベルを決める |3 |潜在的な対象者の特定，専門家パネルの選択方法を決める， サンプルサイズを検討，潜在的な専門家パネルの名前と連絡先を得る，回答率を高めるための工夫，管理システムの準備| |4 |ラウンド1の方向性を決める，回答締め切り日を決める| |5 |招待状，ラウンド1のセットを用意（カバーレター，調査票，教示文，切手を貼った封筒など)| |6 |Delphiメンバーの選定，パイロットテストの候補者の選定，ラウンド1のセットと管理システムのパイロットテストと必要に応じた再検討| |7 |ラウンド1のセットの送付| ] --- # Delphiの準備で検討すべきこと（１） ### 何を調べたいのか？Delphi法が必要か？ - 検討する問題の本質と範囲を明らかにして，Delphi法を用いるのが適切か検討する。 - Delphi法は，データではなく主観的な判断が必要な時，地理的・専門的な多様性が高い時，頻回のミーティングが時間的・コスト的に難しい時などが適している。 --- # Delphiの準備で検討すべきこと（２） ### リソース(時間,資金,スキル)はあるか？ - 実施のスキル.med[（質・量データの分析，対人・管理）]，専門家パネルが利用可能か，時間と予算はあるか.med[（古典的Delphiは１つのラウンドに１ヶ月ほど，人を雇ったりすると費用もかかる）] ### どのようなコンセンサスのレベルを採用するか？ - コンセンサスのレベルは(70%など)，先行研究や目的を参考に，事前に決める。 --- # 専門家パネルをどう選ぶ？ - Delphi法では**ランダムサンプリングを行うわけではなく**，研究者が専門家パネルを構成する。 - 問題を明らかにする上で適切な母集団を想定する。多くの場合はその問題の専門家を想定する。 - 専門家パネルは，学会の登壇者リスト，文献調査時の著者から選ぶ.med[（事前に専門家パネルがリストになっていることは少ない）] - その領域に詳しいパネリストを選んで,そこから芋づる式に参加者を推薦してもらう方法もある。 --- # 専門家パネルを選ぶ上での注意事項 - テーマへの関心やコミットが高い参加者のみが熱心に取り組む可能性がある。得られたコンセンサスが現状の知識などを反映した公平なものになるように考慮する.med[（ただし，そのための定まった方法はない）]。 - 専門家の適格・除外基準は明確にしておく。厳しい適格基準を採用することで，研究の質を高めるだけでなく，参加者も認められたと感じられる.med[(だだし，一般化は難しくなる)] - 出てくる意見が包括的になるように異質性のある集団になるように工夫を行う.med[（看護教育をする者と看護学生など）] --- # 専門家パネルの人数 - 専門家パネルの人数の絶対的な基準はなく，様々な意見がある.med[（Novakowski & Wellar(2008)は10名，Jones & Twiss(1978)は10-50名，Wild & Torgersen(2000)は300-500。10名以下の研究もある）] - 参加者の同質性が高い場合は，10-15名程度の小サンプルサイズで十分であるが，異質性が高い場合は，サンプルサイズを増やす必要があるというのが教科書の推奨である。 - Delphi法の回収率は様々だが，一般的には**70%の回収率が推奨**される.med[(かなり努力が必要だが)]。サンプルサイズが大きいほど脱落率はあがる.med[（ただ，小サンプルサイズゆえのバイアスもある）] --- class: center, middle # 古典的Delphi法の実施法：ラウンド１ --- # 招待状 - 電話か招待状送付もしくは両方で連絡をとる.med[(招待状はパネリストの好みに合わせて郵送か電子メールか選択)]。 - 招待状には，研究目的，Delphi法の説明，なぜパネリストに選ばれたか，何が求められるのか説明する。 - 多くの研究では，ラウンド１の前に招待状を送って，正式な参加を呼びかける.med[(最初のコミットメントを得られるので，回収率が上がるかもしれない)] --- <img style="float: left;" src="fig/delphi02.png" width="750"> .med[教科書P58の内容を一部改変] --- ## 倫理的配慮 - Delphi法も倫理的配慮が必要。 - 参加者に説明文書を送付して，書面による同意を得る.med[(２週間ほどの猶予をもたせる。調査について問い合わせの機会をつくる)] - Delphi法は個別にFBをするので,準匿名化を行う。専門家パネルには個別IDを付与して管理する.med[(連結可能匿名化になるので，対応表は厳重に管理)] - 個別IDで回答者を追跡し，回答を記録する管理システムを作る.med[（回答がなされなくなったらメール送付リストから外す，どういうリマインドをいつ送ったのかもわかるようにする)]。 - 回収率を上げるためにリマインドが行われるが，電話による催促は調査への回答を強制させてしまうかも。 --- ## 研究の説明文書に含める内容 .med[ - 研究の目的はなにか？ - なぜ専門家パネルに選ばれたのか？ - 参加したほうが良いのか？ - もし参加したら何があるのか？ - 不利益が生じるとしたら？ - 研究参加は守秘されるのか？ - 研究参加をやめた時に何がある？ - 誰が組織していて，研究資金は誰がだしている？ - 参加することによる潜在的な利益は？ - 誰がこの研究を倫理審査したか？ - 詳細については，誰に連絡すればいい？ ※説明文書と同意書の例は，教科書p110-112にある。 ] --- # カバーレター・教示文 - カバーレターも教示文もラウンドごとに送付する。 - カバーレターには，(1)参加の重要性,(2)Delphiの説明（ラウンド数，時間，回答の仕方）,(3)機密保持，(4)質問がある際の連絡先，(5)謝意と連絡先などを記載する。 - 教示文は，各ラウンドの調査票に合わせて内容と取り組み方について説明する。 --- <img style="float: left;" src="fig/delphi03.png" width="660"> .med[教科書P61の内容を一部改変] --- # ラウンド１調査票の作成方法 - 古典的Delphiでは，ラウンド１は自由に回答できるオープンエンドな質問が行われる。 - 既存の知識などから選択肢を事前に用意することもあるが，これは意見の包括性を下げる可能性がある。 - ラウンド１で多くの意見を出すように求めると回収率が下がる＆ラウンド２の実施が現実的ではなくなる。一方，意見が少ないと偏った意見を集めてしまうかもしれない。 → 意見は５つ以上，１０以下の数を依頼するというバランスのとり方もある。 --- <img style="float: left;" src="fig/delphi04.png" width="650"> .med[教科書P62の内容を一部改変] --- # 調査票作成時の注意点 - **回答に必要な時間は30分以内**を心がける。 - **質問は，短く，語彙をシンプルにし，ダブルバーレルを避け，仮定の質問や誘導的な質問に注意する。** - 本調査に先立って，少人数のサンプルを対象に調査をする**パイロットテストが推奨**される.med[（質問票や管理システムを改善）] - 異質なサンプルを対象にする場合，パネリストに回答に対する確信度を聞いたり，意見がない人には「判断なし」 の選択肢を提供したりすることが望ましい。 --- ### 専門家パネルの脱落を防ぐ(回収率を高める)には - 参加者への丁寧な**事前説明**.med[(研究目的，参加のメリットと貢献の重要性，数ヶ月にわたる複数回の回答が必要なこと，回答の匿名性)] - Dillman(1978)の**Total Design Method**.med[（送付の１週後に全員に回答への感謝と回答のリマインド，３週後に未回答者にリマインド，最後のリマインド)] - 実施上の工夫.med[(締切には２週間程度の余裕を。疲れないようにラウンドを２〜３回に制限。休暇スケジュールなどを考慮して調査。回答結果のフィードバックは迅速に。疑問に対する連絡先を明示し問い合わせには迅速に回答して，信頼関係を作る。)] - 個人的な関係の価値を活用.med[(信頼関係構築のために１対１の面接やランチをフォーカスグループに組み込む研究者もいる。電話も有効)] --- # ラウンド１の内容分析 - (1) 回答をカット＆ペーストできるようにテキストファイルに書き込む - (2) 回答を読み込み，全体的なテーマや見出しをまとめ，２名の研究者が独立に各意見をカテゴリー化する - (3) カテゴリーリストに従って回答を再読み込みし，類似の内容を折りたたんで整理する - (4) 複数の意見を折りたたんで整理した場合は１つの意見にまとめる，言い回しが違うだけで同じ意見は１つの意見を選択し他を削除する，まとめるのが難しい場合は分ける（ただし，項目が多いとラウンド２の回収率を下げる） --- # ラウンド１の内容分析での留意点 - 内容分析は手作業でもできるが，質的研究用ソフト（NUD*ISTなど）を使うこともできる（RだとRQDA）。 - 内容分析は，研究者が行うのでバイアスが入る可能性がある。 - 匿名化した生データと最終的なリストを研究チームの他のメンバーに提供して，意見の意味が変わってないか確認してももらうのも良い。 --- class: center, middle ## 古典的Delphi法の実施法：ラウンド２以降 --- # ラウンド２ - **ラウンド２は，ラウンド１で出てきた，優先事項や項目について評価を行う（5 or ７件法のリッカート尺度）。** - ラウンド２以降の回答は集計されて，個別にフィードバックされる。これを繰り返して，徐々にコンセンサスに到達する。 - 古典的には４ラウンドだが，目的をしぼって２〜３ラウンドで実施可能。ラウンド数が増えると回収率が落ちる。 - ラウンド２もカバーレター，教示文，質問票を送付する。 --- <img style="float: left;" src="fig/delphi05.png" width="730"> .med[教科書P75の内容を一部改変] --- <img style="float: left;" src="fig/delphi06.png" width="700"> .med[教科書P76の内容を一部改変] --- # ラウンド２の分析 - 統計解析ソフトを使って，**各意見の各選択肢のパーセンテージを出して，事前に決めたコンセンサスレベル（70%）に到達するかを検討する。** - コンセンサスが得られた項目はラウンド３には含めない場合.med[(コンセンサスが得られたら，それ以降は検討しない)]と減らさず全て含めて調査する場合がある.med[（含めると全項目を等しく検討できるが，回答する項目が減らないので回収率が下がる）] - **集団レベルの回答の表現には，中央値が用いられる**.med[（平均値はリッカート尺度における等間隔性がない場合には使用に疑問がある）] --- # ラウンド３ - ラウンド３では，**コンセンサスが得られていない項目（or すべての項目）について，(1)その参加者の前回の回答と(2)全参加者の回答（中央値）を提示し，回答を求める。** - ラウンド３もカバーレター，教示文，質問票を送付する。 - ラウンド３でコンセンサスに到達しない場合は，ラウンド４になる.med[(多くの場合はラウンド３で十分とされる)]。 - コンセンサスに到達した意見の重要性を検討する際には，平均値を用いる.med[（平均値の高さでランキングをだす）]。 --- <img style="float:left;" src="fig/delphi07.png" width="700"> .med[教科書P79の内容を一部改変] --- <img style="float: left;" src="fig/delphi08.png" width="700"> .med[教科書P80の内容を一部改変] --- ## コンセンサスが得られたか判断する - ラウンド３でも，一部はコンセンサスが得られないことがある。すべての項目がコンセンサスが得られるまで続けると回収率が下がるので，バランスが必要になる。 - 多くの場合は，ラウンド３でいくつかの項目においてコンセンサスが得られなくても許容することが多い.med[(一方，専門家パネルの動機づけと関心が高い場合は，全てでコンセンサスが得られるまでラウンドを継続することもできる)] --- ### Delphi法の流れ <img src="fig/delphi01.png" width="750"> --- ## Delphi法の妥当性を脅かすもの - **選択**：専門家パネルの選択は結果に影響する.med[(ラウンド１に出てくる項目の包括性，コンセンサスの一般化可能性はサンプルを考慮する必要がある)] - **外的要因**：政策変更や実施法・状況が結果に影響することがある.med[(特定の状況下のコンセンサスは一般化可能性を低める)] - **バンドワゴン効果**：ある選択肢に回答が集中しているとそちらにひっぱられる傾向。 - **脱落の影響**：ラウンドが繰り返されると疲れと脱落が生じる.med[(回収率が低いと妥当性も低下する)] - **研究者のバイアス**：修正型Delphiでは，研究者のバイアスの影響を強く受けるかもしれない。 --- ## Delphi法における留意点 - **結果が真実である保証はない。** - 直接議論しないので，自分の意見の詳細を説明する機会がない。コンセンサスを強制する手法であるとの批判もある.med[(一方,フォーカスグループだと，気の強い人や説得力のある話し方をする人が議論の方向を決めるという欠点もある)] - 各専門家の意見は匿名化されているので，専門性や立場によらずに，公平に意見を提供できるのが大切.med[（ただし，匿名でも影響を受ける可能性はあるし，匿名ゆえに無責任なる可能性もある）]。 - 標準的な方法が定まっていないので，CREDES.med[(Jünger et al., 2017)]を参考に透明性の高い報告を行う必要がある。 --- **Delphi法をRで実施すると？(国里案)** <img src="fig/delphi09.png" width="650"> .med[ないならRパッケージ作る？　→ [delphiR](https://github.com/ykunisato/delphiR) を試しに作ってみました] --- **Delphi法実施のまとめ** <img style="float: right;" src="fig/delphi10.png" width="800"> --- # 参考・引用文献 - **Keeney, S., Hasson, F., & McKenna, H.(2011). The Delphi Technique in Nursing and Health Research. Wiley.** .small[ - Dillman (1978) Mail and Telephone Surveys: The Total Design Method. Wiley, New York. - Jones & Twiss (1978).Forecasting Technology for Plannning Decisions. Petrocelli Books, New York. - Jünger, S., Payne, S. A., Brine, J., Radbruch, L., & Brearley, S. G. (2017). Guidance on Conducting and REporting DElphi Studies (CREDES) in palliative care: Recommendations based on a methodological systematic review. Palliative Medicine, 31(8), 684–706. - Novakowski & Wellar (2008). Using the Delphi technique in normative planning research: methodological design considerations. Environmenta and planning, 40, 1485-1500. - Wild & Torgersen (2000). Foresight in medicine: lessons from three European Delphi studies. European Journal of Public Health, 10, 114-119. - Tong et al.(2007). Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. Int J Qual Health Care,19, 349-357. ]