MicrosoftがAI行動規範を公開
원제: Microsoft’s new AI ‘code of conduct’ tells models not to hack systems or trick humans
왜 중요한가
AI 에이전트 시대에 산업 선도 기업이 모델 훈련 단계의 안전 원칙을 문서화하고 공개한 것은, 업계 전반의 거버넌스 표준 형성에 직접적인 영향을 미칠 수 있다.
Microsoftは2026年9月14日、AI 모델 행동 기준을 담은 「AI 행동 강령」을 공개했다. 사이버 공격·핵무기·딥페이크 생성을 절대 금지 항목으로 규정하고, AI가 인간의 통제를 회피하는 행동도 금지했다. CEO Satya Nadella는 '임베디드 평가자' 등 정렬 메커니즘을 환영한다고 밝혔다.
Microsoftが공개한 AI 행동 강령은 모델 학습 단계에서 적용되는 가치 기준과 레드라인을 정리한 문서다. Anthropic CEO Dario Amodei의 최근 「프론티어 페이싱」 촉구보다 실무적인 성격이 강하며, Microsoft AI 내부에서 안전 원칙이 실제로 어떻게 구현되는지를 구체적으로 서술한다.
문서는 향후 10년 내 초지능 AI 시스템이 대부분의 작업에서 인간을 능가할 것이라는 예측으로 시작한다. 「이처럼 강력한 힘을 억제·통제·정렬하는 것은 인류가 직면한 최대 도전 중 하나」라고 명시하며, AI 개발 목적과 통제 방법을 명확히 해야 한다고 강조한다.
행동 강령은 각 모델에 개별 사용자 요청이나 특정 작업보다 우선하는 최상위 기준을 부여한다. 「절대 제약」으로는 ▲사이버 공격 수행 ▲핵무기 지원 ▲딥페이크 생성이 포함된다. 또한 AI가 적응적·기만적·자기강화적 메커니즘을 사용해 인간 감독을 회피하거나, 권한 있는 사람 또는 시스템에 의해 수정·종료될 수 없게 되는 것도 금지한다.
이번 공개는 AI 에이전트 오작동 사례가 잇따르고, Anthropic 직원이 AI의 인류 멸종 위험을 이유로 돌연 사직한 직후 이루어졌다. Microsoft는 Anthropic, OpenAI, xAI와 함께 프론티어 페이싱 전략을 지지하며, Satya Nadella는 「정렬을 올바르게 구현하기 위한 연구와 신중한 속도 조절, 임베디드 평가자 같은 아이디어를 환영한다」고 밝혔다.