プレプリントは信頼性が非常に高いものから非常に低いものまで様々です。しかし、原稿に関連するアクセス可能なデータや査読者のコメント、あるいは著者の評判を調べたり、プレプリントサーバーが査読プロセスを公開している場合はそのプレプリントがどのような状況にあるかをチェックしたりすることで、信頼性や質を推し量ることができます。信頼性と質というのはすべての論文執筆者共通の目標です。ここでは、それを見抜く方法をご紹介します。
プレプリントの信頼性を見抜く方法
プレプリントの信頼性を見抜く方法はいくつもあります。次にご紹介する方法を参考にしつつ、信頼性を判断しましょう。
プレプリントの研究成果はどのようなデータの基づいているのか？
プレプリントに関連するデータをアップロードできるプレプリントサーバーでは、関連データを公開する研究者もいます。たとえば、研究データや資料、ソースコードをはじめとする補足ファイルがこれに当たります。こういったファイルは研究の特色や成果、その他の関連要素を保証し、再現性の分析を可能にしてくれるのです。
プレプリントはそれ自体、オープンアクセスと透明性を向上する手段です。しかし、執筆者がデータをはじめとする補足的な情報を公開している場合は信頼性がさらに高まることになります。
プレプリントに対する研究コミュニティの反応はどうか？
Research Squareをはじめとする主要なプレプリントサーバーでは、プレプリントにコメントが付けられるようになっています。コメントを付けるのは当該分野で著名な研究者や関連分野の専門家、あるいは研究に興味を持った熱心な読者などです。こういった「研究コミュニティによるレビュー」は論文の位置づけを通して強みや弱点を明らかにしてくれます。
確固たるフィードバックがあるなら、たとえ執筆者の見解に異論を唱えるものであってもその論文が脆弱だということにはなりません。実際、他の研究者による真剣な反応は多くの場合、その研究の信頼性が高いことの証だからです。しかし、公開されているフィードバックがないからといってその論文が当てにならないとは限りません。なぜなら、電子メールで非公開に執筆者と直接コメントをやり取りする研究者もいるからです。
以下に示すのは、15万本あまりのプレプリントを公開しているResearch Squareにおけるコメントの例です。赤枠のコメントは「地震予知の新たな評価法」という観点でこの地球の重力場に関する研究に注目しています。
執筆者の評判は？
どんなプレプリントサーバーでも執筆者に関する情報が公開されています。そこで、これを利用すれば執筆者についての調査を行うことができるわけです。たとえば、Google Scholarは執筆者の評価を知るうえで役立つ、次のような基準を公開しています：
- 引用回数
- h-index（h指数）：これは執筆者の研究遂行力や論文を掲載したジャーナルのインパクトファクターを指数化したものです。
- i10 index （i10指数）： 執筆者の貢献度を示すもう一つの指標です。
さらに、著者および共著者がどのような研究施設に所属しているかもカギになります。ハーバード大学やソーク研究所といった一流の研究施設で研究しているのか、ほとんど無名の研究施設に勤務しているのか、ということです。
ただし、執筆者の所属機関はその研究者の評判を示す最善の指標ではないことに注意してください。優れた研究者はいたるところに存在し得るからです。また、評価の高い研究施設所属の高名な研究者が 実は不正行為に関わっていたという例もあります。
プレプリントは査読プロセスでどのような状況にあるか？
査読付きジャーナルと提携するプレプリントプラットフォームはまだ少数派ですが、着実に増え続けています。こういったプラットフォームでは、原稿が査読プロセスの中でどのような状況にあるか読者も知ることができます。一例としてResearch Squareが提供する In Reviewというシステム を挙げることができます。
In Reviewを利用すると、論文執筆者は600あまりの提携ジャーナルに原稿を投稿すると同時にResearch Squareにプレプリントを公開することができます。
そして、執筆者が論文を投稿すると、査読における原稿の状態――「査読中」「修正中」「掲載済み」など――がプレプリント上で表示されるわけです。「掲載済み」は原稿が査読を通過し、提携ジャーナルに掲載されたことを示します。これはプレプリントの信頼性を示す指標として決定的です。というのも、原稿が査読プロセスを経たことを示すものだからです。
信頼性を推し量るその他の方法
査読のタイムラインにおけるその他の情報もプレプリントの信頼性を推し量る上で役立ちます。たとえば、ジャーナル出版社がプレプリント原稿に対してどの程度の修正を要求したかという情報です。
修正が些細なものである場合、その研究の総合的な信頼性は高い傾向にあります。一方、大幅な修正が要求されている場合は、そのプレプリントの最初の版に重大な問題があるか、重要な情報が欠落している可能性があるわけです。しかし、執筆者が指摘された修正を行うことで修正版の信頼性が向上することもあります。
以下にご紹介する例ではプレプリント第1版が投稿されたのは2022年4月8日ですが、1週間後には出版社が「大幅な修正」が必要との判断を下し、In Reviewにその旨を記録しました。そして、当該論文は現在「修正中」となっています。
プレプリントの質や認証を示す指標は公開されているか？
研究者は原稿やデータ、研究手法などの信頼性を示す手段としてジャーナル投稿前の「プレ認証」を利用することができます。これは多くの場合、ジャーナル出版社が提供する、編集や学術的レビューといった様々なサービスを通して行われます。
こういった指標はプレプリント上に明記されることもあります。たとえば、Research Squareではプレプリントの質を示す格付けとして次の2種類が用意されています：
- The Methods Reporting Badge：これは、原稿に研究手法が明記されており、再現性のチェックが可能であることを保証するものです。
- The Data Reporting Badge：データおよび統計が最高レベルの業界標準を満たしていることを保証します。
次のスクリーンショットはMethods Reporting Badgeを獲得したプレプリントの例です。
プレプリントの信頼性に関してプレプリントサーバーが果たす役割
プレプリントの信頼性は多くの場合、それが公開されているプレプリントサーバーの質に依存します。審査プロセスや管理水準、掲載方針など、そのサーバーの基準をチェックするようにしましょう。こういった基準はサーバーによって様々ですが、サーバーの信頼性を推し量る上でカギとなります。では、どのように読み解いたらよいのか見て行きましょう。
プレプリントサーバーの審査プロセスはどの程度包括的か？
プレプリントの投稿に際して、プレプリントサーバーの運営者による一連の厳格な審査が行われることがあります。
- 執筆者が適切な研究倫理および成果発表に関する倫理を遵守しているかどうか。
- プレプリント投稿にあたって適切な同意書が付されているかどうか。
- 当該の学術出版物について、共著者間の利益相反の開示がなされているかどうか。
- 原稿に不適切で物議を醸すような主張や不安を煽るような主張、あるいは疑似科学的な主張などが含まれていないかどうか。
- 論文が剽窃チェックに合格しているかどうか。
- 論文内で報告される研究を裏付けるような、アクセス可能なデータが存在するかどうか。
- 原稿がプレプリントの定義を満たしているかどうか。たとえば、すでに査読済みだったりジャーナル掲載済みだったりすると、プレプリントの定義に反するため、たいていのプレプリントサーバーでは投稿できないようになっています。
- 図や表、引用文献リストなど、研究論文たるに不可欠な要素を含んでいるかどうか。
- 当該のプレプリントが他の場所ですでに公開されていないかどうか（これは二重投稿 と呼ばれます）。
- 執筆者が研究に関する法的・倫理的な規範を遵守しているかどうか。たとえば、被験者として未成年者が研究に参加している場合、両親や保護者の同意が得られているかどうか、など。
- すべての共著者がプレプリントの投稿を事前に知らされているかどうか。または、少なくとも投稿者がその旨を表明しているかどうか。
また、協会や財団などが運営するプレプリントサーバーでは、その他の方法でコンテンツの審査を行っていることもあります。たとえば：
- 医療研究慈善協会（AMRC）のプレプリントサーバーAMRC Open Researchは、投稿論文の共著者のうち、少なくとも一人がすでにAMRCメンバーであることを条件としています。
- 同様に、ビル＆メリンダ・ゲイツ財団が設立したプレプリントプラットフォーム、Gates Open Researchも共著者のうち、少なくとも一人が財団から資金提供を受けるプロジェクトに参加していることを条件としています。
プレプリントサーバーおよび、審査プロセスに関する包括的なリストについてはASAP Bioのプレプリントサーバー・ディレクトリをご参照ください。
プレプリントサーバーがアクティブに管理されているかどうか？
プレプリントサーバーには投稿されたプレプリントを公開前にきちんと審査する担当チームが必要です。また、明確なリーダーシップのもと、編集スタッフや編集委員会が審査チームをサポートする体制が整っていることが大切です。
サーバーに編集責任者はいるか？
プレプリントサーバーに明確な編集責任者がいることも重要です。たとえば、プレプリントサーバーを日々運営するにあたって、内容を積極的に管理する編集長や運営者、あるいはプレプリントの理念に関してリーダーシップをとる人物が存在するかどうかということです。このような要素もまた、プレプリントサーバーの信頼性を左右します。
たとえば、Research Squareのプレプリントサーバーの場合、Michele Avissar-Whitingが編集長を務めており、プレプリント審査にあたる専門家チームをアクティブに指揮しています。Avissar-Whiting編集長はまた、Research Square Advisory Boardを率いるほか、プレプリント分野の理念に関する記事や独自の研究論文を執筆してリーダーシップを発揮しています。
サーバーに専門の編集スタッフはいるか？
プレプリントに査読はありません。しかし、公開前に人の目による審査を経る必要があります。さらに重要なことに、審査に当たる人物はその研究分野の専門知識を持ち合わせている必要があります。そのため、投稿されたプレプリントが編集方針や審査水準を満たしているかどうかチェックする専門のレビュー担当者がいるかどうかも、プレプリントの信頼性の指標となるわけです。また、以下に挙げる項目もプレプリントおよびプレプリントサーバーの信頼性を評価するうえで重要です：
- 審査担当者に対して包括的なトレーニングが行われているかどうか。
- 審査担当者はレビュー中の研究をきちんと理解できる教育レベルにあるかどうか。
- プレプリント公開に際して、審査担当者が判断を仰ぐための上申できるプロセスがあるかどうか。
たとえば、Research Squareには科学分野の上級学位を持つ5人の編集スタッフがおり、毎週およそ1,500本のプレプリントの審査に当たっています。
多くのプレプリントサーバーは審査方針を公開しており、サーバーのウェブサイト上で関連情報を確認できるようになっています。
サーバーに編集委員会や諮問委員会はあるか？
編集・諮問委員会の存在はプレプリントサーバーの信頼性を示す良いバロメーターです。こういった会議のメンバーは各分野をリードする研究者や図書館司書、出版業界の専門家、および主要な利害関係者で構成されています。このような専門家がプラットフォームに関する学術的なガイダンスを提供することで、対象となる研究コミュニティのニーズを確実に満たすことができます。
プレプリントおよびプレプリントサーバーの信頼性に関する結論
プレプリントサーバー上に投稿されるプレプリントには、従来の学術出版に掲載される原稿とは違って査読がありません。とはいえ、大半のプレプリントは信頼に足るものです。というのも、プレプリントの大部分は編集チェックや質の水準チェックに合格しているからです。
また、プレプリントの多くは研究コミュニティによるレビューを経て質の改善が図られるほか、大部分は査読プロセスにも合格し、ジャーナルに掲載されています。
原稿をプレプリントとして世界に発信するなら、言うまでもなく投稿前に改良させたほうが良いでしょう。そこで、学術論文の高度な編集を目的として開発されたAIベースの低価格なデジタルエディティングをお試しになってはいかがでしょうか？また、研究論文に対する迅速なフィードバックや素早い研究発表をご希望の方はResearch Squareのプレプリント用プラットフォームおよび関連ツール・サービスもご覧ください。
参考文献
“Systematic examination of preprint platforms for use in the medical and biomedical sciences setting”, Kirkham et al., BMJ Open. 2020. http://dx.doi.org/10.1136/bmjopen-2020-041849
“Credibility of preprints: an interdisciplinary survey of researchers” Courtney K Soderberg, et al. Royal Society Open Science. 28 October 2020.
https://doi.org/10.1098/rsos.201520
“Meta-Research: Tracking the popularity and outcomes of all bioRxiv preprints”, Richard J Abdill and Ran Blekhman, eLife. 24 April 2019.
