AI가 스탠포드 법대 연구에서 법학 교수들을 능가
원제: AI outperforms law professors in Stanford Law study
왜 중요한가
AI가 고도의 판단력과 추론이 필요한 법학 분야에서 교수급 성능을 보여 법학교육 혁신 가능성을 제시했다.
스탠포드 법대 연구진이 16명의 법학 교수를 대상으로 실시한 블라인드 테스트에서 AI가 생성한 법학 질문 답변이 교수들이 작성한 답변보다 75%의 비교에서 높은 평가를 받았다고 발표했다. 3,000건의 익명 비교 평가를 통해 AI 답변의 우수성이 입증됐다.
스탠포드 법대의 줄리안 냐르코 교수가 주도한 이번 연구는 'Law Professors Prefer AI Over Peer Answers'라는 제목으로 진행됐다. 미국 내 법대 16명의 교수가 참여한 블라인드 평가에서 대형언어모델(LLM)이 계약법 과정의 효과적인 튜터 역할을 할 수 있는지 테스트했다. 연구진은 학생들이 수업 후나 교수 면담 시간에 물어볼 수 있는 40개의 대표적인 계약법 질문을 만들어 교수와 AI가 각각 답변을 작성했다. 평가자들은 답변의 출처를 모른 채 평가했으며, AI가 75%의 직접 비교에서 승리했다. 특히 AI 답변이 교육적으로 해롭다고 평가된 비율은 3.5%에 불과했지만, 교수 답변은 12%로 나타났다. 냐르코 교수는 '이번 연구는 법적 추론이 단순한 사실 암기가 아닌 판단력과 미묘한 추론, 모호함을 다루는 능력을 요구하는 분야라는 점에서 의미가 있다'고 설명했다. 예일 법대의 사라스 상가 교수는 'AI가 변호사들이 서로의 논증을 평가할 때 사용하는 잠재적 전문 기준을 충족할 수 있는지 알고 싶었다'며 연구 배경을 밝혔다.