Claudeがrsyncのバグを増加させたか分析
原題: Did Claude increase bugs in rsync?
なぜ重要か
AI支援開発の品質への影響を客観的データで検証し、開発現場でのLLM活用の議論に実証的根拠を提供
開発者がClaude支援によるrsync開発でバグが増加したかを統計的に分析。2026年5月にClaude使用に対する批判が拡散した背景を受け、バグ重要度を加重した10コミットあたりのバグ数で比較。歴史的分布との照合により検証を実施。
2026年5月末、rsync開発でClaude AI支援を使用した結果バグが増加したという根拠のないMastodonの投稿が炎上し、数千のいいねとブーストを獲得した。この投稿はHacker Newsでも81件のコメントを集め、LLM使用の安全性への懸念が広がった。
開発者のAlexis Pursland氏は、統計学修士号を持つ妻と協議し、Claude支援リリースが異常にバグが多いかを検証する分析を実施。ペンシルベニア州立大学で統計学修士号を取得した妻の助言により、10行のコードあたりのバグ数を比較する代わりに、Claude後のサンプル数が少ないことを考慮し、歴史的分布内でのClaude後リリースの位置を分析する手法を採用。
分析手法は重要度加重したバグ数を10コミットあたりで計算し、正確な順列検定を実施。データ取得、DuckDBデータベース構築、統計分析のスクリプトはClaude GLM 5.1が作成したが、すべての数値と統計はPythonスクリプトによる自動テンプレートで生成され、幻覚や不整合を回避。GitHubで完全に再現可能なパイプラインとして公開している。