『「エビデンスとの付き合い方」を鍛えようぜ！』の続きです！(#1,#2,#3,#4,#5,#6)

このシリーズでは、健康ニュースや論文紹介を鵜呑みにせず、研究を自分の生活に使うための読み方を学んでおります。言ってみりゃ、「研究を鵜呑みにしないスキルを身につけようぜ！」ってことですな。

で、今回は「なぜ科学の世界では『効いた！』という研究ばかり目につくのか？」って話を見てみましょう。

さて、世の中には面白い研究が日々発表されてまして、「○○で寿命が延びた！」とか「△△で頭が良くなった！」みたいな話を毎日のように見かけるわけです。かく言う私もこういう研究を紹介しまくってる人間なので、新しい論文を見つけるたびに「おお、これは面白い！」となるわけです。

が、ここでひとつ覚えておきたいのが、

• 科学の世界では、そもそも“面白い結果”のほうが世の中に出やすい

って問題です。前回も少し触れましたけど、研究ってのは、世の中に出てきた時点ですでに選別されてるものなんですよ。

もちろん、これは別に「研究者は信用ならん！」みたいな話ではなし。研究の世界には、なんの不正もなく普通に実験をしているだけでも、「効いた！」や「差があった！」という結果が出やすくなる仕組みがいくつか存在するもんですから。

そこで今回は、その代表的なパターンを見ていきましょうー。

「効かなかった研究」は表に出にくい問題

そこで、まず第一に押さえておきたいのが、出版バイアスの問題であります。これは、「効果があった」「差が出た」という研究ほど世の中に出やすく、「何も起きなかった」という研究ほど表に出にくいって問題のことで、おそらく研究の結果が実際よりも良く見えてしまう原因としては、最も代表的なもののひとつ。

具体例で見てみましょう。たとえば、世界中の研究者が「ブルーベリーを食べると記憶力が上がるのでは？」と思って、同じような実験を100回やったとします。その結果、

• 95件では特に差が出なかった
• 5件だけ記憶力が上がった

としましょう。本当はブルーベリーに何の効果がなくても、実験を何度も繰り返していれば、偶然「効いたように見える結果」が出ることはいくらでもありますからね。

この時に、「100回中95回は何も起きなかった」ってのを知っていたら、普通に「なんだ。やっぱブルーベリーが記憶力を上げるとは言えないじゃん」と思うはず。しかし、ここで問題になるのが、

• 研究者としては、時間をかけて論文を書くなら面白い結果をまとめたい！（そっちのほうが業績になるんで）

• 学術誌（研究者が論文を発表する専門雑誌）の編集者としては、「何も起きませんでした」って論文よりも、新しい発見がある論文を載せたくなる！（そっちのほうが雑誌が売れるんで）

って感情が働いちゃうところです。

となると、実際には100回中5回しか効果が出ていないのに、世の中で広まる研究は、ブルーベリーの効能を支持するものがメインになりまして、

• ブルーベリーには記憶力を高める研究が5本もある！

みたいな印象が生まれたりするんですな。どう考えても、「ブルーベリーで何も起きませんでした」という研究より、「記憶力がアップしました！」という研究のほうが面白いですからねぇ。

これはAIを使ったリサーチでも起きがちな罠でして、なんせAIってのは、基本的にユーザーの質問に沿った答えを探そうとするようにできてるじゃないですか。なので、「ブルーベリーが記憶力を高める研究を探して」と頼むと、当然ながら「効果あり」の研究がズラッと出てきて、「研究がこんなにあるなら本当なんだ！」という印象を受けやすくなるんですよ。ところが、その裏で「効果なし」の研究が何本あるかまでは、こちらから頼まないと十分に調べてもらえないこともあるんですよね。

これが出版バイアスの怖さで、新しいサプリや新しい心理テクニックなどについて「初めて効果が確認された！」みたいな論文が出たときは特に注意が必要。最初の研究ほど派手な効果が報告され、その後の追試では効果が小さくなる、みたいなケースが多いのは、このシリーズでもすでにお伝えしたとおりですんで。