経済学者のSebastian Galiani、Federico A. López、Raul A. Sosaの3氏は10月18日、VoxEUにコラムを発表し、NBERワーキングペーパーの内容を紹介した。計量経済学の40課題で、AIが書くStata、R、Pythonのコードがどれだけ正しいかを測った研究である。AIエージェントが自らコードを実行し、確認して修正すると、正答率はClaude Sonnet 4.6で81.4%から99.2%に、GPT-5.6 Lunaで77.3%から95.1%に上がった。一方、残った誤りはすべて、コードは最後まで動き出力もそろっているのに、数値が間違っているものだった。

著者らはコラムの冒頭で、人が書くコードにも誤りはつきものだと指摘している。一流の経済学・政治学の学術誌に最近掲載された110本の研究を監査した調査では、約4分の1にコーディングの誤りが見つかった。公開されたコードが論文の数値をそのまま再現できる場合でも、誤りは残りうる。

研究の方法

課題は線形回帰、差分の差分法（DID）、操作変数法、回帰不連続デザイン、離散選択、生存分析、時系列を含む。各課題は手法を指定し、シミュレーションデータと事前に計算した参照出力を付ける。モデルが報告した数値が許容誤差内で参照出力と一致すれば成功とした。

整然と並ぶタスクカード。それぞれ異なる計量手法のアイコンが描かれ、後ろに三つのソフトウェア環境のウィンドウがある
研究は複数の計量手法とソフトウェア環境でAIエージェントを試した（イメージ）

全課題をStata、R、Pythonで実行し、プロンプトに関連課題の例を付ける場合と付けない場合に分け、AIの自律度を3段階に設定した。

  • チャットボット：モデルはスクリプトを1本書くだけで、実行結果は見ない。
  • 自己修復：研究チームがスクリプトを実行し、動かない場合や必要な値が欠けている場合に出力をモデルに返して修正させる。最大3回。
  • 制約付きエージェント：モデルが使えるのはコマンドラインだけで、プロンプトで作業範囲を課題に限定する。モデルは何度でもコードを実行・修正でき、独立した方法で計算を検算するよう指示され、いつ終えるかも自分で決める。

各組み合わせを10回繰り返し、モデルはClaude Code上のClaude Sonnet 4.6とCodex上のGPT-5.6 Lunaの2つ、実行回数は計14,400回である。

自ら実行させると正答率が上がる

自律度ごとの正答率は次のとおり。

アシスタントがコードを書く・実行する・確認するループを歩き、横で棒グラフが伸びる
モデルに自らコードを実行・修正させると正答率が上がった（イメージ）
  • Claude Sonnet 4.6：チャットボット81.4%、自己修復93.5%、制約付きエージェント99.2%。
  • GPT-5.6 Luna：77.3%、90.3%、95.1%。

修正が最大3回の自己修復でも、エージェントがチャットボットに対して上げた改善幅の68%（Claude Sonnet 4.6）と73%（GPT-5.6 Luna）に達した。

モデルが自分でコードを実行できるようになると、プロンプトやソフトウェアの影響は小さくなる。チャットボットでは、プロンプトに例を付けると正答率がClaude Sonnet 4.6で5.8ポイント、GPT-5.6 Lunaで7.3ポイント上がったが、エージェントでは0.7ポイントと1.5ポイントにとどまった。ソフトウェアも同様で、例なしのチャットボットではStataがPythonより25.5ポイントと30.8ポイント低かったが、エージェントでは差が1.3ポイントと6.8ポイントに縮んだ。著者らは、Stataが実証経済学で最も広く使われているソフトウェアだと指摘している。

残る誤りはすべて表に出ない

著者らは失敗を2種類に分けている。

二つの端末ウィンドウ。左は警告を表示し、右は完全な表を出力するが一つのセルだけが静かに誤っている
警告の出る失敗は見つけやすいが、残る誤りは警告を出さない（イメージ）
  • 表に出る失敗：スクリプトが動かない、または完全な出力を返さない。研究者はエラーメッセージや欠けた結果に気づく。
  • 表に出ない失敗：スクリプトは動き出力も返すが、報告された数値の少なくとも1つが間違っており、出力には何の警告もない。

2つのモデルを合算すると、表に出る失敗はチャットボットの100回あたり15.8回からエージェントでは0回になり、表に出ない失敗は4.9回から2.9回に減った。失敗の合計は100回あたり20.7回から2.9回に減り、残った失敗はすべて表に出ない失敗だった。

表に出ない失敗の減少はほぼすべてClaude Sonnet 4.6によるもので、100回あたり4.7回から0.8回に減った。GPT-5.6 Lunaは5.1回から4.9回にとどまった。著者らがスクリプトを読んだ表に出ない失敗のうち、3分の2以上は手法は正しいのにコードを書き間違えたもので、インデックスの誤りや数式の一つの項の誤りなどだった。エージェントで失敗が最も多かった課題はシフトシェア操作変数法で、失敗した実行はいずれも推定値をすべて報告していたが、標準誤差が許容誤差の外にあった。

論文は採点の限界にも触れている。誤った推定手法を使っても数値がたまたま許容誤差内に収まれば成功と数えられるため、報告された正答率は実際より高い可能性がある。

コストと時間

APIの定価で計算すると、Claude Sonnet 4.6の1回あたりの平均コストはチャットボットの4.56セントからエージェントの14.09セントへ約3.1倍になった。GPT-5.6 Lunaは5.0倍だが、エージェントでも1回あたり平均1セント未満である。実行時間の中央値は、エージェントがチャットボットの5.8倍（Claude Sonnet 4.6）と3.4倍（GPT-5.6 Luna）だった。

Claude Sonnet 4.6の場合、エージェントで正解が1件増えるごとのコストは約0.54ドル。時給15〜50ドルの研究助手に換算すると、0.6〜2.2分の作業時間にあたる。

著者らの提言

著者らによれば、ツールの使い方を選ぶうえでは、平均してプロンプトやソフトウェアよりもAIの自律度のほうが重要である。モデルにコードの実行と修正を任せると最も見つけやすい誤りはなくなるが、出力に現れない誤りについては、エージェントが取り除けたのは約5分の2にとどまる。残りは研究者が、モデルが指定どおりの仕様で実装したか、数値が正しいかを確認して見つける必要がある。コードをもう一度実行してもこうした誤りは見つからない。コードは同じ数値を再現しながら、なお間違っていることがあるからだ。

研究者が虫眼鏡と定規で結果表を確認し、もう一台のノートPCが同じ数値を独立に再計算する
数値が正しいかの確認は研究者の仕事のまま（イメージ）

チャット画面からコーディングエージェントに移ると、研究者が出会う誤りは減るが、そのうち表に出ない誤りの割合は高くなる。著者らは、エージェントは低コストでコードを実行・修正できるが、数値が正しいかどうかの判断は研究者の仕事として残ると結論づけている。

臺灣の公的機関向けAI利用指針

臺灣の行政院は2023年、「行政院及所屬機關（構）使用生成式AI參考指引」を定めた。第2点は、生成AIが出力した情報について、担当職員がリスクを客観的かつ専門的に最終判断するよう定めている。第5点は、各機関は生成AIの出力を全面的に信頼してはならず、確認していない出力をそのまま行政行為としたり、政策決定の唯一の根拠としたりしてはならないとする。第6点は、生成AIを補助ツールとして使う場合の適切な開示を求めている。第9点により、公営事業、公立学校、行政法人、政府出資の財団法人もこの指針を準用できる。

今回の研究は、AIで統計分析を行う際の「確認」に具体的な手順が必要なことを示している。コードが動くことも、数値がもっともらしく見えることも、結果が正しいことを意味しない。

臺灣が参考にできる方向

  • 答えが分かっているデータで先に試す：研究チームや機関は、この研究にならって、よく使う手法についてシミュレーションデータと参照出力を用意し、許容誤差を決めて、AIが書いたコードを実データに使う前に検証できる。
  • チェックリストは表に出ない誤りに向ける：推定手法とモデルの仕様が要求どおりかを一つずつ確かめ、とくに標準誤差の計算方法、変数のインデックス、数式の各項を確認する。重要な数値は別のソフトウェアや別の方法で独立に計算し直す。
  • 公的機関の分析は検証できる記録を残す：指針第5点に従い、AIが出した分析の数値は政策文書に入る前に確認する必要がある。コード、実行ログ、モデルとソフトウェアのバージョンをまとめて保存し、第6点に沿ってどの分析にAIを使ったかを明記できる。
  • 研究と教育を合わせて見直す：学生や研究助手がAIを使う場合、コードを理解して検証することを要件に含められる。学生はAIをどう使うべきかの原則も参考になる。研究機関が論文や手法をAIエージェントにする際も、こうした検証手順と組み合わせられる。Paper2Agentと研究機関のナレッジ管理を参照。

出典

  • Sebastian Galiani、Federico A. López、Raul A. Sosa「Letting AI agents write econometric code」VoxEU（CEPR）、2026年10月18日：https://cepr.org/voxeu/columns/letting-ai-agents-write-econometric-code
  • Sebastian Galiani、Federico Ariel López、Raul A. Sosa「AI Agents and Prompt Engineering in Econometric Coding」NBER Working Paper 35588、2026年8月（2026年10月改訂）：https://www.nber.org/papers/w35588
  • 國家科學及技術委員會「行政院及所屬機關（構）使用生成式AI參考指引」：https://www.nstc.gov.tw/folksonomy/list/c79bf57b-dc94-4aff-8d14-3262b5559cfc?l=ch
  • 中央社「政院通過公部門生成式AI參考指引 禁用於高機密文件」2023年8月31日：https://www.cna.com.tw/news/aipl/202308310120.aspx