Anthropic, AI 모델 내 위험 지식을 격리하는 방법 공개 : SGTM이 중요한 이유
AI 모델이 똑똑해질수록 함께 커지는 문제가 있습니다. 바로 모델이 일반 지식뿐 아니라 악용될 수 있는 위험 지식까지 학습할 수 있다는 점입니다. Anthropic은 최근 이러한 문제를 줄이기 위해 AI 모델 내부에서 특정 위험 지식을 따로 격리하고 제거하는 방식인 SGTM을 공개했습니다. 이번 발표는 단순한 안전 필터가 아니라, AI 학습 구조 자체를 바꾸려는 시도라는 점에서 의미가 큽니다.
AI 위험 지식 격리가 필요한 이유
기존 AI 안전장치는 주로 모델이 답변을 생성한 뒤 차단하는 방식에 가까웠습니다. 예를 들어 위험한 질문에 거절 답변을 하도록 훈련하거나, 출력 결과를 별도 필터로 검사하는 방식입니다.
하지만 이 접근에는 한계가 있습니다.
사용자가 우회 질문을 만들면 필터가 흔들릴 수 있습니다.
모델 내부에는 이미 관련 지식이 남아 있을 수 있습니다.
사후 차단만으로는 강력한 모델의 악용 가능성을 완전히 줄이기 어렵습니다.
즉, 핵심은 “위험한 답변을 막는 것”을 넘어 위험 지식이 모델 안에 어떻게 저장되는지를 다루는 방향으로 이동하고 있습니다.
Anthropic이 공개한 SGTM이란?
위험 지식을 따로 저장하는 방식
SGTM은 Selective Gradient Masking의 약자입니다. 쉽게 말해, AI가 학습하는 과정에서 특정 위험 영역의 지식이 모델 전체에 퍼지지 않도록 일부 전용 파라미터에만 저장되게 유도하는 방식입니다.
비유하자면 도서관 전체 서가에 위험 자료가 흩어지는 것을 막고, 별도 잠금 서가에만 모아두는 구조에 가깝습니다. 이후 필요하면 해당 구역만 제거해 일반 지식은 최대한 유지하는 방식입니다.
기존 데이터 필터링과의 차이
일반적인 방법은 학습 데이터에서 위험 문서를 미리 빼는 것입니다. 하지만 실제 데이터는 그렇게 깔끔하지 않습니다. 과학, 의학, 보안 지식처럼 유용한 정보와 위험한 활용 가능성이 함께 섞여 있기 때문입니다.
SGTM은 이 문제를 다음과 같이 다르게 접근합니다.
위험 데이터로 분류된 예시는 전용 파라미터만 업데이트합니다.
일반 데이터는 기존 지식 영역을 유지하도록 학습합니다.
나중에 위험 지식이 담긴 부분을 제거해 전체 성능 손실을 줄입니다.
이번 연구에서 주목할 핵심 수치
Anthropic 연구진은 영어 위키피디아로 학습한 2억 5,400만 파라미터 모델에서 생물학 지식을 제거하는 실험을 진행했습니다. 실험 결과 SGTM은 단순 데이터 필터링보다 일반 지식 보존과 특정 지식 제거 사이의 균형이 더 좋게 나타났습니다.
특히 주목할 점은 재학습 공격에 대한 내성입니다.
기존 언러닝 방식인 RMU는 비교적 빠르게 제거된 지식이 회복됐습니다.
SGTM은 기준 성능 회복까지 약 7배 더 많은 재학습이 필요했습니다.
같은 일반 성능을 얻기 위해 약 5~6% 수준의 추가 연산 비용이 발생했습니다.
이는 SGTM이 단순히 답변을 숨기는 방식이 아니라, 모델 내부 저장 구조를 바꾸려는 접근임을 보여줍니다.
사용자는 어떤 영향을 받게 될까?
더 안전한 AI 서비스의 기반
SGTM이 대규모 모델에서도 검증된다면, 일반 사용자는 더 안전한 AI 서비스를 이용할 가능성이 커집니다. 모델이 특정 위험 지식을 아예 덜 보유하거나, 별도 제거 가능한 구조로 학습될 수 있기 때문입니다.
기업과 개발자에게 주는 의미
기업 입장에서는 AI 모델을 배포할 때 “무엇을 차단할 것인가”뿐 아니라 “무엇을 학습 단계에서 분리할 것인가”를 고려해야 합니다. 특히 보안, 바이오, 화학, 인프라 운영처럼 민감한 분야에서는 이 접근이 중요한 안전 설계 기준이 될 수 있습니다.
아직 남은 한계
SGTM이 곧바로 모든 AI 안전 문제를 해결하는 것은 아닙니다. Anthropic도 아직 검증해야 할 부분이 많다고 밝히고 있습니다.
실험 모델은 현재 최상위 상용 모델보다 훨씬 작습니다.
대규모 모델이나 MoE 구조에서 같은 효과가 나는지는 추가 검증이 필요합니다.
사용자가 프롬프트에 위험 정보를 직접 넣는 경우까지 막지는 못합니다.
입력 필터링, 출력 모니터링, 접근 권한 관리와 함께 사용해야 합니다.
핵심 요약 3가지
SGTM은 위험 지식을 AI 모델 내부의 특정 파라미터에 격리하는 학습 방식입니다.
기존 사후 필터링보다 한 단계 앞선, 학습 단계의 안전 설계에 가깝습니다.
아직 대규모 검증은 필요하지만, AI 안전 기술의 방향이 “답변 차단”에서 “지식 구조 관리”로 이동하고 있음을 보여줍니다.
결론: AI 안전은 필터가 아니라 구조의 문제가 되고 있습니다
Anthropic의 SGTM 공개는 AI 안전 논의가 더 깊은 단계로 들어섰다는 신호입니다. 앞으로의 핵심은 모델이 얼마나 강력한가만이 아니라, 그 강력한 지식이 어디에 저장되고 어떻게 통제되는가입니다.
개인적으로 이번 연구의 가장 중요한 메시지는 명확하다고 봅니다. AI 안전은 더 이상 겉에서 막는 필터만으로 충분하지 않습니다. 모델을 만드는 초기 단계부터 위험 지식을 분리하고, 필요하면 제거할 수 있는 구조를 설계하는 것이 차세대 AI 경쟁력의 중요한 기준이 될 것입니다.
댓글
댓글 쓰기