科学の基盤と見なされることが多い再現性は、研究結果の科学的な妥当性に対する信頼を築くものです。哲学者のKarl Popperは、「われわれは、自分自身の観察でさえも、それを繰り返し検証してみるまでは、真剣に受け止めたり、科学的観察として受け入れたりしない」と主張しました。
このように、再現性の可能性を作り出すことは、研究者にとって共通の目標となっています。科学論文の研究方法のセクションは、研究がどのように実施されたかを詳細に説明するため、このプロセスにおいて重要です。この情報から、他の研究者は研究を再現し、その質を評価することができます。
本稿では、科学哲学に不可欠な合理的概念として、また科学的方法の継続的ループを検証するプロセスとして、再現性について論じます。倫理的な意味合いと実践的な意味合いの両方を考慮することで、研究においてなぜ再現性が重要なのかをよりよく理解することができるでしょう。
研究における再現性とは何か？
研究結果の価値に対する信頼性を高めるための基本的なツールとして、再現性には力があります。科学的主張を左右する力を持っていると言う人もますが、実際にはそれは単に科学的なプロセスの一部であり、良いものでも悪いものでもありません。
NosekとErringtonが、再現研究は先行研究の主張に関する診断的な証拠とされる可能性のある結果のある研究であると述べることで、その中立性を再び強調しています。したがって、再現研究の真の目的は、与えられた問題についての現在の理解を広げる新しい証拠を導入することによって、科学的発見と理論を前進させることです。
なぜ研究において再現性が重要なのか？
偉大な哲学者であり科学者であったアリストテレスは、科学が可能であるのは知ることのできる対象が存在する場合のみであると主張しました。例えば、ユニコーンの科学はありえません。なぜならユニコーンは存在しないからです。したがって、ユニコーンの「科学」は、知ることのできる対象を欠いているため、「科学」ではありません。
この科学の哲学的基盤は、研究においてなぜ再現性が重要なのかを完璧に説明しています。基本的に、結果が再現可能でない場合、それは知ることができず、実際に存在しないということです。つまり、ある研究や結果の再現が可能になるたびに、その信頼性や妥当性は広がります。
再現性の欠如は、科学的プロセスにとって不可欠です。それは研究者を新しく創造的な方向へと駆り立て、質問を続けさせ、決して自己満足に陥らないようにします。再現性は、仮説を立てたり観察を行ったりすることと同様に、科学的方法の一部なのです。
再現研究の種類
歴史的に、再現研究は2つのカテゴリーに分けられてきました：
- 直接的追試（Direct replication）：以前の研究のオリジナルの方法を踏襲した新しい研究を行い、その結果を比較します。直接的追試は、元の研究のプロトコールに従いますが、サンプルや条件、時期や年、研究室のスペース、研究チームなどは必然的に異なります。このように、直接的追試では、特定の所見を得るために何が必要かという一般的な信念を反映させるために、経験的な検証を行います。
- 概念的追試（Conceptual replication）：既存の研究と同じ仮説を検証するために異なる方法を用いて行われる研究です。多様な操作や測定法を適用することで、研究の基礎となる理論的変数を運用することを目的とします。そうすることで、概念的追試は、単一の方法論に基づかない共同研究や説明を促進します。
これらの一般的な区分は、再現研究を実施し、理解するための出発点として役立ちますが、極端に対立するものではありません。多くのサブカテゴリが存在する細微な違いがあります。以下はその例です：
- 内部複製（Internal replication）：同じ研究チームが、マイナス要因とプラス要因を考慮しながら同じ研究を実施する場合。
- 微細複製（Microreplication）：他の研究グループの結果を部分的に複製する場合。
- 構成的複製（Constructive replication）：操作と測定法の両方を変更する場合。
- 参加者の複製（Participant replication）：参加者だけを変更する場合。
多くの研究者は、これらの分類は研究デザインに関するものであり、研究チームに対する指針であるべきであり、あらかじめ決められた概念ではないと同意しています。実際に、NosekとErringtonは、「直接」と「概念的」の区別は再現研究と知識の進歩において少なくとも無関係であり、可能性としては逆効果であると結論づけています。
どのように研究を再現するのか？
他の研究同様、再現研究には慎重な計画が必要です。Open Science Framework（OSF）は、以下のステップを詳述した実践的なガイドを提供しています：
研究チームが利用できる時間、専門知識、リソースを考慮し、再現可能な研究を特定する。
元の研究で使用された資料を特定し、入手する。
どのような再現研究を行い、どのような研究デザインを意図しているかを詳細に記した計画を立てる。
研究のベストプラクティスを概説し、実施する。
再現研究を実施し、データを分析し、結果を共有する。
これらの大まかなガイドラインは、BrownとWoodの論文 "Which tests not witch hunts: a diagnostic approach for conducting replication research "で詳細に説明されています。彼らの研究結果は、Brownによってさらに要約され、以下の4つの主要な手続きカテゴリーが概説されています：
- 前提条件（Assumptions）：元の研究と研究チームの文脈上の前提条件を特定する。
- データ変換（Data transformations）：研究データを用いて、オリジナルチームが選択したデータ変換に関する疑問に答える。
- 推定（Estimation）：元の研究で最も適切な推定方法が用いられたかどうか、また再現研究で追加的な方法が有益かどうかを判断する。
- 異質な結果（Heterogeneous outcomes）：元の研究のデータが、別々の異質な結果を探索するのに適しているかどうかを確認する。
電子ジャーナル『Economics』の査読者の提案により、Brownは、再現研究を行う際にやってはいけないことについて、以下のように詳しく述べています：
- 元の研究のデザインに対する批評を、再現研究結果の根拠として使用しないこと。
- 直接的追試を完了する前に頑健性テストテストを実施しないこと。
- 再現研究の前、最中、後に、原著者とのコミュニケーションを省略しないこと。
- 再現研究での異なる結果のみに基づいて、元の知見を誤りであるとレッテルを貼らないこと。
繰り返しになりますが、再現研究は、科学的知識に鋭く貢献する本格的で正当な研究活動です。他の研究と同じレベルの計画と献身が必要です。
再現研究が失敗するとどうなるか？
次のような、再現研究の失敗を引き起こす可能性がある、明らかな状況要因がいくつかあります：
- 未知の効果の検出
- システム内の不一致
- 複雑な変数の固有の性質
- 質の低い研究の実施
- 完全な偶然
これらの変数は、あらゆる研究に影響を与えますが、その影響は特に再現性に大きく作用します。再現性の対象となる結果は新規性を持たず、あらかじめ決定されているためです。
文脈や変数が常に流動的であるため、再現性の評価や成否を判断することは非常に難しいです。米国科学アカデミーの発表によると、再現性とは、同じ科学的な問いに答えることを目的とした研究間で、同じ結果ではなく、一貫した結果を得ることであると指摘しています。さらに、すべての学問分野に適用可能な8つの基本原則を提示しています。
再現研究が失敗か成功かを判断する明確な基準はないが、アメリカ国立医学図書館とOpen Science Collaborationは、以下のような重要な問いを考えることが提案されています：
- 再現研究は、元の研究と同じ方向に統計的に有意な効果をもたらしたか？
- 再現研究における効果量は、オリジナル研究における効果量と同程度か？
- オリジナルの効果量は、再現研究の信頼区間または予測区間内にあるか？
- 元の実験と再現実験の結果をメタ分析的に組み合わせると、統計的に有意な効果が得られるか。
- 元の実験と再現実験の結果は一致しているか？
多くの人々は、再現研究がどのようにして失敗するか、なぜ失敗するかについて明確な意見を持っていますが、それはよく言っても空論であり、悪く言えば不当な非難です。その解釈は本質を見誤っており、再現研究が科学的な取り組みを推進するための手段であり、既存の問いに新たな証拠を提示する役割を無視しています。
再現プロセスを改善することは可能か？
再現研究の危機に対応するために、再現研究の定義を科学分野の変動に対応するよう再構築し、元のデータと比較する際の潜在的な結果の程度を認識する必要性があります。NPRのHidden Brainポッドキャストでこの現象に関する興味深い事例研究を聴くことができます。
学術界が自ら招いた災難と考えられている再現研究の危機は、再現プロセスにおける他の改善にも拍車をかけています。哲学と科学の両方にルーツを持つこの分野は、「研究の研究」「科学の科学」と広く呼ばれています。科学的手法に鏡を向けることで、メタサイエンスは再現の目的を解明するだけでなく、その手法の厳密さを指導しています。
再現性を向上させるためのさらなる取り組みは、研究の実践と研究デザインの更新から、見直された出版プラクティスや監督組織まで、業界全体に広がっています。具体的な取り組みには以下のものがあります：：
- 研究で使用された材料と方法の完全な透明性を要求すること
- p値の有意性を再定義するなど、統計的改革を推進すること
- 研究の方法と分析の計画を提示する事前登録報告書の使用
- 結果に基づかずに査読を行うことで、学術雑誌が研究を受け入れることができるようにする結果を見ない査読
- 透明かつ正確なレポートを促進するEQUATOR Networkなどの組織の設立
終わりに
科学研究の領域では、再現性はチェックとバランスの一形態である。発見の可能性も科学者の名声も、研究をこのプロセスから免れるものではない。
また、1回の再現で元の研究の結果が正当化されるわけでも無効化されるものでもありませんが、複数の再現研究から証拠を積み重ねることで、その主張の信憑性は高まります。少なくとも、得られた知見は他の研究者に示唆を与え、科学的知識のプールが強化されます。
再現性の背後にある哲学とメカニズムを探求した結果、このプロセスは完璧ではなく、進化していることが明らかになりました。その価値は、科学的手法の中で果たすかけがえのない役割にあります。再現性は他の部分と同じくらい重要でも重要ではなく、単に科学的発見の無限ループを継続するために必要なものです。
