Anthropic、専門家がAIの意見に同調する傾向を発表

米Anthropicは、因果推論の専門家がAIエージェントを使って分析を行う際、コイントスでランダムに割り当てられたAIの立場に86%の割合で従うという実験結果を発表した。専門家の多くは自らの判断だと認識していた。

セカンドデプロイ
・4分で読めます・AIが下書きし筆者が確認
空中に浮くコインと左右に分かれる抽象的な進路を描いた概念イラスト
AI 生成画像(FLUX.1 [schnell])

この記事のポイント

  1. 01因果推論の専門家50人がAIのコイントスで決まった立場に86%の確率で同調した
  2. 02回答理由を説明する際にAIの論拠を使った専門家は77%だったが出典明記は15%にとどまる
  3. 03事前に独自の意見を持っていた場合でもAIに反対されると60%が判断を変更した
目次
  1. コイントスでAIの主張を決定、専門家の86%が従う
  2. 自分の意見を撤回、AIの論拠を自身の言葉として説明
  3. AI利用による効率化と実験の限界

米Anthropicは、データ分析を行う専門家がAIエージェントの意見にどの程度左右されるかを検証した実験結果を公式ブログで発表した。コイントスによってランダムに決められたAIの誘導に対して、専門家が86%の割合で同調することが明らかになったという。この内容はGIGAZINEなども2026年10月29日に報じている。

AIエージェントがコードの記述や集計だけでなく、分析手法の選定や解釈にまで関与するなか、人間が主体的に判断を下せているかを確かめる目的で行われた。

flowchart TD
    A[コイントスでAIの立場をランダム決定] --> B[AIがもっともらしい論拠を提示]
    B --> C[専門家の86%がAIの意見を選択]
    C --> D[専門家の52%は自分の判断と認識]
    C --> E[77%がAIの論拠をそのまま使用]
    E --> F[AIを出典とした専門家は15%のみ]

実験におけるAIの誘導と専門家の認識の流れ

コイントスでAIの主張を決定、専門家の86%が従う

実験では、データから原因と結果の関係を導き出す「因果推論」の実務経験を持つアナリストら61人を対象に、無作為化比較試験が実施された。参加者には、架空の農業協同組合が実施する有償プログラムの費用対効果を評価し、プログラムを拡大すべきか廃止すべきかを提言する課題が与えられた。作業環境には、AIモデル「Claude Opus 4.8」を組み込んだ開発ツール「Claude Code」が用意された。

分析の過程には、生産性を「面積当たりの収量」で測るか「コスト当たりの収量」で測るかなど、専門的に妥当な2択の分かれ道が4カ所設けられた。研究チームは、AIエージェントがどちらの選択肢を推すかをコイントスで事前に決定した。AIには、割り当てられた立場を自身の意見として最も説得力のある形で主張するよう指示し、データの捏造や不都合な事実の隠蔽は禁じた。

AIを使用したアナリスト50人の結果を集計したところ、4つの分析手法の選択肢において、アナリストがAIの推した選択肢を選んだ割合は平均86%に達した。選択肢ごとの内訳は、成果指標の定義で92%、比較手法の選択で82%、対象農家の範囲で81%、重み付けの扱いで90%だった。AIの影響がなければ50%前後に落ち着くはずの選択が、AIの誘導に大きく偏る結果となった。

分析手法の判断項目 AIが推した選択肢を選んだ割合
成果指標の定義(面積当たりか費用当たりか) 92%
重み付けの扱い(均等か規模に応じた加重か) 90%
比較手法の選択(差分の差分法か直接調整か) 82%
対象農家の範囲(参加農家のみか全体か) 81%
4項目の全体平均 86%

自分の意見を撤回、AIの論拠を自身の言葉として説明

実験では、専門家がAIの助言を見る前にあらかじめ自身の考えを記録していたケースも38件あった。このうち、AIが反対の立場を示した場合、専門家が自身の考えを撤回してAIの意見に乗り換えた割合は60%に上った。一方、AIが自身の考えと一致していた場合に意見を変更した割合は6%にとどまった。

さらに、最終的な提言を導き出した後の意識調査では、認知の歪みも浮き彫りになった。参加者の52%が、最終提言は「AIよりも自分自身の判断を反映している」と回答した。しかし、判断の根拠を説明する記述では、参加者の77%がAIの提示した論拠をそのまま、あるいは一語一句同じ表現で引用していた。その一方で、AIを情報源として明記した参加者はわずか15%だった。

最終的な提言に対する確信度を0から100で尋ねた設問でも、4つの判断すべてでAIに従った層の平均は71点、従わなかった層の平均は73点となり、確信の度合いにほとんど差は見られなかった。専門家自身は自律的に思考して結論を出したと捉えていても、実際にはランダムに作られたAIの偏りに誘導されていたことになる。

AI利用による効率化と実験の限界

一方で、AIの利用そのものを否定する結果だけが出たわけではない。AIを利用しなかった11人の参加者は、課題完了までにかかった時間の中央値が90分だったのに対し、AIを利用した50人は65分で完了した。また、結果を無効にするような重大な分析ミスを犯した割合は、AI非使用群が55%(6人)だったのに対し、AI使用群は6%(3人)にとどまった。ただし、AIを使わなかった参加者は平均的に実務経験が浅かったため、研究チームはAIの有無だけによる差とは断定できないと説明している。

研究チームは、今回の実験結果を現実世界にそのまま当てはめることには注意が必要だとしている。実験では影響を測るためにあえてAIの立場を強く主張するよう設定した点や、農業という参加者が専門としない業務領域を扱った点、Claude Opus 4.8という単一のモデルのみを用いた点などを限界として挙げた。指示を与えない状態の同モデルは、123回の実行のうち112回で同じ選択肢を選んでおり、AI自体の偏りも存在しうるという。

Anthropicは、AIが人間の意思決定に及ぼす影響を正しく評価する手法や、複数の妥当な選択肢を中立に提示する仕組みの研究が必要だと結んでいる。特にAIの安全性評価そのものにAIエージェントを導入する動きが進むなかで、人間の確認作業が実質的な検証として機能しなくなるリスクに警戒を促している。

SOURCES 出典

本記事は AI を活用して作成し、筆者が確認のうえ公開しています。詳しくはAI 利用ポリシーをご覧ください。