AI、法学教授を上回る成績でスタンフォード大学研究
原題: AI outperforms law professors in Stanford Law study
なぜ重要か
法学という複雑な推論が必要な分野でAIが専門教授を上回る成績を示し、高等教育におけるAI活用の可能性を大きく広げた
スタンフォード大学法学部のJulian Nyarko教授らの研究チームが実施した盲検試験で、16名の法学教授が学生からの法律質問への回答を評価した結果、AI生成回答が同僚教授の回答より75％の確率で高評価を獲得した。AIが有害と判定された割合は3.5％で、人間の12％を下回った。
スタンフォード大学法学部のJulian Nyarko教授が率いる研究チームは、大規模言語モデルが法学教育において効果的な指導者となり得るかを検証する画期的な研究を実施した。この研究「Law Professors Prefer AI Over Peer Answers」では、全米の法科大学院から16名の法学教授が参加し、契約法コースに関する学生の質問への回答を評価した。研究では約3,000件の匿名化された比較評価を実施し、教授らはAI生成回答と他の教授が作成した回答のどちらが優れているかを判定した。結果、AIが75％の直接対決で勝利を収めた。Nyarko教授は「AIの法学教育における役割について重要な前提に挑戦する研究」と述べ、法学は判断力、微妙な推論、曖昧性への対処が求められる分野であると強調した。参加者は40の代表的な契約法の質問を作成し、自身で回答を作成した後、AI回答か人間の回答かを知らされずに評価を行った。特に注目すべきは、教授らがAI回答を教育上有害と判定したのは3.5％に過ぎず、同僚教授の回答の12％を大幅に下回ったことである。Yale法学部のSarath Sanga教授は「法学では明確な正解がないことが多く、対立する議論が両方とも優れている場合がある」と指摘し、AIが法律専門家の潜在的な職業基準を満たせるかを検証したと説明した。