コンセンサスに基づいた透明性チェックリスト

この記事は，Open and Reproducible Science Advent Calendar 2019の23日目の記事です。

Open and Reproducible Science Advent Calendar 2019では，オープンサイエンスにまつわる様々な話題を扱ってきました。オープンサイエンスに限らず，何か新しいことが始まると，「じゃあどうやればいいの？」と不安に感じる方も多いかと思います。私もそうです。私はいつも自分が行っている研究実践に懐疑的で強迫的に確認をしてしまいがちなので，何か指針があると安心します。特に複数の専門家が議論してコンセンサスの得られたガイドラインやチェックリストだとその安心感が増します。

オープンサイエンスに特化した内容ではありませんが，研究に関連したそのようなコンセンサスに基づいたガイドラインとしては，研究の報告ガイドラインがあります。研究報告ガイドラインについては，EQUATOR (Enhancing the QUAlity and Transparency Of health Research) Networkにリストがあるので，参照すると良いかと思います。EQUATOR Networkで紹介されている報告ガイドラインに従って研究報告をすれば，研究の透明性が高くなるかと思います。

www.equator-network.org

研究デザインごとの有名なガイドラインとしては，以下のようなものがあります。以下は医学で用いられる研究デザインですが，医学に限定される内容ではないかと思います。

研究デザイン ガイドライン
無作為化比較試験 CONSORT
観察研究 STROBE
系統的レビュー PRISMA
研究プロトコル SPIRIT, PRISMA-P
診断精度，予後予測研究 STARD, TRIPOD
事例報告 CARE
臨床実践ガイドライン AGREE, RIGHT
質的研究 SRQR, COREQ
動物対象前臨床研究 ARRIVE
質向上研究 SQUIRE
経済評価 CHEERS

これらの研究報告ガイドラインについては，奥村泰之さんが主催されている「臨床疫学研究における報告の質向上のための統計学の研究会」にて，取り上げられていますので，是非とも過去資料などをご確認ください。

それでは，オープンサイエンス系のガイドラインやチェックリストとしては，何があるでしょうか？

TOPガイドライン

まず，オープンサイエンス系のガイドラインとして，Science誌で発表されたTransparency and Openness Promotion (TOP)ガイドライン*1があります。これは，個人というよりは，学術誌のポリシーに関するもので，その雑誌がどの程度オープンサイエンスを志向したものか検討する際に使えるものです。オープンサイエンスを推進する上では，研究者のインセンティブを適切に設計する必要があります。オープンサイエンスに関するガイドラインを作成し，雑誌がそれを採用すると，投稿者にとってオープンサイエンスを行うインセンティブが上がります。こういうガイドラインの設定によって，研究業界におけるオープンサイエンスの普及が進むと期待されます。

TOPガイドラインでは，８つの基準（Citation Standards，Data Transparency，Analytic Methods (Code) Transparency，Research Materials Transparency，Design and Analysis Transparency，Study Preregistration，Analysis Plan Preregistration，Replication）が設定され，それぞれについて，Not Implemented，レベル１，レベル２，レベル３で評価します（詳しくは，以下のSummary Tableを確認ください）。研究者が雑誌のオープンサイエンス度を評価する際にも使えますし，雑誌の編集委員会などで，雑誌のオープンサイエンスに関するポリシーを決める上でも活用できるかと思います。以下のOSFのリポジトリには，TOPガイドラインを採用している雑誌のリストなどもありますので，ご確認いただくと良いかと思います。

cos.io

TOPガイドラインは雑誌向けのものなので，私達が自分自身の研究実践を評価するにはどういうものがあるでしょうか？

コンセンサスに基づいた透明性チェックリスト

個々の研究のオープンサイエンス度の評価には，Nature Human Behaviour誌に発表されたコンセンサスに基づいた透明性チェックリスト*2が使えます。この透明性チェックリストは，行動・社会科学の研究者用に作成されたもので，投稿時にこのチェックリストも提出するという取り組みを通して，オープンサイエンス実践が広がることを期待するものになります。また，読者としては，このチェックリストを使って評価したり，提出されたリストを確認することで，当該論文の透明性を評価できます。

このチェックリストの作成にあたり，45名の学術誌の主任エディターと18名のオープンサイエンスの推進者が参加しました。コンセンサスの形成には，デルファイ法を使っています。デルファイ法は，研究報告ガイドラインなどでも活用される，専門家を対象としたコンセンサス形成の手法になります。具体的には，専門家を対象に匿名のアンケート調査を行って，その結果を集計したものをフィードバックして，再度アンケート調査を行います。これを反復して，意見が収束してきたら終了します。匿名で意見を集めるという方法をとることで，声の大きい人や権威者の意見に流されるということがなくなるというのがデルファイ法のメリットです。このチェックリストでは，デルファイ法のプロセスを通して，インタラクティブに修正が加えられました（項目の追加，削除，言い換えなど）。そして，最終的に，事前登録，方法，結果と考察，データ・コード・マテリアル入手可能性の４領域にわたる36項目のチェックリストを作成しています。また，短縮版の12項目版も作成しています。

なお，このチェックリスト作成にあたって，著者達は作成プロセスについて，事前登録をしています（事前登録内容はこちら）。また，作成にあったって使用したマテリアルもOSFに公開されています（使用されたマテリアルはこちら）。

作成された32項目版は以下から見れます（Shinyアプリになっており，必要事項を記入したり，チェックをいれると最終的に文章化されて出力されます）。

www.shinyapps.org

短縮版(12項目版)は以下から見れます。

www.shinyapps.org

第一著者のBalazs Aczelがこのチェックリストの多言語対応をするべく翻訳ボランティアを募集しました。私も参加しましたので，またあとで日本語版も公開されることになると思います。

その日本語版のドラフト版として，短縮版を翻訳してみました。12項目のうち，項目２以外は，Yes, No, N/Aで回答します。翻訳に誤りなどを見つけられましたら，是非ともこちらまでご指摘ください。

コンセンサスに基づいた透明性チェックリスト(短縮版)

(1) 完全データセットを分析する前に，タイムスタンプ付きの事前登録が，データ分析計画のための独立した第３者レジストリに投稿された。

(2) 研究が次のタイミングで事前登録された。

  • データが収集される前
  • いくつかのデータが収集された後だが，データを調べる前
  • すべてのデータが収集された後だが，データを調べる前
  • データを調べた後だが，統計分析を行う前
  • すべてではないがいくつかの統計分析が行われた後
  • 他の時点。説明（　　　　）

(3) それぞれの研究疑問に対する意図された統計分析（例えば，検定の両側・片側，推論の規準，多重検定の補正，モデル選択規準，事前分布などに関する情報がこれに求められるかもしれない）

(4) 使用したサンプルサイズの理論的根拠（例，事前の検定力分析）

(5) 独立した追試を可能にする研究デザイン，手続き，および資料

(6) 関心のある測度（例，親しみやすさ）およびそれらの操作化（例，親しみやすさを測定する質問紙）

(7) 事前登録の変更（資格基準，グループに入れるカットオフ，または実験手順の変更など）

(8) 「確証的」（すなわち，事前に指定された）分析と「探索的」（すなわち，事前に指定されていない）分析とを明示的に区別している

(9) 原稿の分析の元となった（処理済み）データ

(10) すべてのコードとソフトウェア（著作権で保護されていないもの）

(11) すべての教示，刺激，および検査マテリアル（著作権で保護されていないもの）

(12) 原稿には，研究に関連するデータ，マテリアル，コードを含む，すべての研究項目の入手可能性と場所に関する記述が含まれている

透明性チェックリストは，専門家のコンセンサスの得られたものですし，使うのも簡単（大きな負担はない）です。透明性チェックリストの著者も述べていますが，ユーザーに過度な負担をかけないツールを作っていくこともとても大切な取り組みですね。

*1:Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., … Yarkoni, T. (2015). Promoting an open research culture. Science, 348(6242), 1422–1425.

*2:Aczel, B., Szaszi, B., Sarafoglou, A., Kekecs, Z., Kucharský, Š., Benjamin, D., … Wagenmakers, E.-J. (2019). A consensus-based transparency checklist. Nature Human Behaviour. https://doi.org/10.1038/s41562-019-0772-6