AIに聞くたびに答えが違って、何を信じればいいかわからない。研究では、食い違う情報で混乱した人ほど、助言そのものを「当てにならない」と感じやすかった

Qiu & Zhou（2024）[1]

一酸化炭素中毒についての医学の選択問題44問を、ChatGPT（GPT-3.5）に中国語と英語でそれぞれ10回ずつ聞いた。英語では24問が10回とも同じ答えだったが、15問は答えのばらつきが大きかった。中国語でも15問でばらつきが大きかった。

論文の表で、英語で10回とも同じ答えだった24問を数えると、15問は毎回正解、9問は毎回不正解でした。答えがそろっていても、正しいとは限らないということです。

対象: 中国の医師向け試験対策アプリの問題44問、2023年12月29日に実施 ／ 限界: 1つの分野・1つの古い無料版モデルでの結果で、いまのAIや日常の質問にそのまま当てはまるとは限らない。

Nagler（2014）[2]

ワイン・魚・コーヒー・サプリについて食い違う情報を多く見聞きした人ほど、「何を食べればいいかわからない」という混乱が強かった。混乱が強い人ほど、「科学者は意見を変えてばかり」「栄養の助言は話半分に聞く」といった反発の気持ちも強かった。

見聞きした量と混乱の結びつきは小さめでした。一方で、混乱と反発の結びつきは比較的はっきりしていました。反発が強い人ほど、野菜を食べる・運動するといった、食い違いの少ない行動への意欲も低い傾向がありました。

対象: 米国の成人631人（2010年2〜3月の全国調査） ／ 限界: 一時点の調査で、関連は示せても、食い違う情報が混乱を引き起こしたとまでは言えない。

Nagler ら（2022）[3]

2〜6週間かけて3回に分けた実験で、食い違いのある健康ニュースやSNS投稿を見せられた人は、食い違いのない記事を見た人に比べ、そのあと見た無関係な健康の広告に身構えやすかった。広告で勧める行動の印象も低めだった。

この広がりは、健康の助言や研究全体への反発の気持ちを通じて起きていると分析されています。ひとつの話題の食い違いが、別の話題の受け止め方にまで及んでいたということです。

対象: 米国の成人2,716人（2020年7〜8月、全国を代表するパネル） ／ 限界: 見せた話題は乳がん検診やビタミンDなど6つの健康の話題で、AIの答えではない。

Nagler ら（2023）[4]

食い違う健康情報を見る前に、「科学は真実そのものではなく、真実を探す営み。意見が変わるのは、うそをついたのではなく、より多くを学んだから」といった、答えが変わる理由を説明する短い文を読んだ人は、何も読まなかった人より科学を前向きにとらえ、反論しようとする気持ちも少なかった。

効果は小さめでした（効果の大きさを表す値で0.16〜0.25）。また、食い違いを見たときのいやな気分そのものは減っていませんでした。

対象: 米国の成人1,604人（2022年5月、オンラインの実験） ／ 限界: 若く学歴の高い人に偏ったオンライン参加者で、効果を見たのは1回の短い文を読んだ直後のみ。