LLM활용은 전문지식이 핵심
원제: LLMs reward expertise
왜 중요한가
전문지식이 LLM 활용 효과를 좌우한다는 논거는 AI 시대에도 인간 전문성의 가치가 지속됨을 시사한다.
소프트웨어 엔지니어 Sean Goedecke는 2026년 7월 24일 자신의 블로그에서 LLM 활용 능력의 핵심은 '도메인 전문지식'이라고 주장했다. 수학자 Terence Tao의 ChatGPT 대화 사례를 근거로, 동일한 모델이라도 사용자의 전문성에 따라 도출되는 결과물의 질이 크게 달라진다고 설명했다.
Goedecke는 LLM이 누구나 제너럴리스트가 될 수 있게 해준다는 인식이 확산되면서, 프롬프트 작성에 별다른 기술이 필요 없다는 오해가 생겼다고 지적했다.
그 반례로 수학자 Terence Tao가 최근 발견된 Jacobian Conjecture의 반례에 대해 ChatGPT와 나눈 대화를 소개했다. Tao는 짧고 핵심적인 메시지를 사용하고, 모델의 답변 중 핵심만 추려내며, 직접적인 반박 대신 '예상보다 복잡해 보인다'는 식으로 방향을 조정했다. 또한 모델의 제안을 따르는 대신 스스로 대안적 접근법을 제시하는 경우가 많았다. Goedecke는 이러한 기법이 수학에 대한 깊은 이해 없이는 흉내낼 수 없다고 강조했다.
자신의 프로그래밍 경험에서도 같은 원리가 적용된다고 밝혔다. 코드베이스에 대한 명확한 이론이 있을 때 LLM을 훨씬 강하게 조율할 수 있으며, '이미 X를 하고 있지 않나?', '이 문제를 익숙한 방식으로 표현할 수 있는가?' 같은 구체적인 질문이 가능해진다고 설명했다.
도메인 지식이 없는 경우에도 LLM은 어느 정도의 결과물을 제공하지만, 전문지식을 갖춘 사용자는 동일한 모델에서 훨씬 높은 가치를 끌어낼 수 있다. 그는 많은 작업에서 병목 지점은 모델이 아니라 인간이며, 원하는 해답을 정확히 전달할 수 있는 능력이 핵심이라고 결론지었다.