かつてブログに「パレオな男の正しい読み方」ってエントリを書いたことがありました。
これは、「信頼できるデータってどう判断するんですか？」って疑問に対して、論文のランクについて軽く解説したものです。この手の質問って、雑誌の取材などで必ず言われるんで、わりと興味があるところなんでしょうな。
で、文献の基本的な信頼度については「パレオな男の正しい読み方」をご覧いただくとして、ここではもうちょいふみこんだ話をまとめていきます。というのも、世に出る論文ってのは判断がとても難しくて、「RCTだからOK！」「メタ分析ならOK!」ってわけでもないもんですから。
とくに近年では「論文の結果が追試で再現できなかったよ！」って問題が多くて、ここ数年で行われた有名な研究(1,2)によれば、ほとんどの研究の再現率はなんと50％以下だったとか。怖いもんですねぇ。
もちろん、間違いをくり返しつつ傷だらけで進んでいくのが科学の世界ではあります。が、たんに論文の精度を知りたいだけの一般人としては、「なんでここまで間違ったデータが多いの？」ってとこを知っておくのも有効でありましょう。
ってことで、以下に「科学が間違える理由」についていろいろと書いていきますが、
- 第1回目では「科学が間違える理由」をいくつか並べる
- 第2回目では「論文の正当性を判断する方法」をいくつか並べる
って感じで進めていきたいと思います。マニアックな話なので、どこまで需要があるか心配ではありますが（笑）
コメント
コメントを書くちょうど一昨日パレオさんおすすめのエビデンスに関する本を買ったばかりなので、さらに参考になりました！
傷だらけで進んでいくのが科学…痺れました兄貴…
パレオさんに着いていけば間違いないということ？ですね(*´･ω･｀)b
べらぼうにおもしろい。私たちの次のステップ。
端的に言えば、「実際に実験をして出た結果」よりも「自分がこうあって欲しい」「自分が労力をかけているのだからこうあって欲しい」という部分でバイアスが掛かりやすいということですかね。
自分がパレオさんの記事を信頼するのは、そういう「自分のための欲」よりも「自分と関係ない真実」みたいなところに比重を置かれている姿勢に共感するからかなと思います。
いろいろやったり、歴史を見ると、「地味に細々とやっている人」が「アピール度の高い、いわば広告的な部分たけている人」に押されている部分があるので、今回の記事はとても面白く読ませていただきました。
会社でデータ解析する際、もしくはデータを提示された際のバイアス回避の参考になりました。
大学院でもこのようなことは教えてくれなかったので、非常に為になります。
ブログでオススメされていた「エビデンス・ベースド・プラクティス」も大変面白かったですし、この類の記事も期待しております！
非常に面白くためになりました。会社では結構見かけるかも(自分もやってたり)。次回も楽しみにしてます。
統計処理の魔法を見破るのは、なかなか大変な事なんだなと改めて認識させられる内容で興味深いです。いくつかの項目は自分も知らずにやってそうな気もして、冷や汗ものです。不正行為もどきには気をつけたいものです。
面白かったです！論文を読んだことないので、今度チャレンジしてみようと思いました！