Anthropic, AI 모델 내 위험 지식을 격리하는 방법 공개 : SGTM이 중요한 이유 AI 모델이 똑똑해질수록 함께 커지는 문제가 있습니다. 바로 모델이 일반 지식뿐 아니라 악용될 수 있는 위험 지식까지 학습할 수 있다는 점입니다. Anthropic은 최근 이러한 문제를 줄이기 위해 AI 모델 내부에서 특정 위험 지식을 따로 격리하고 제거하는 방식인 SGTM 을 공개했습니다. 이번 발표는 단순한 안전 필터가 아니라, AI 학습 구조 자체를 바꾸려는 시도라는 점에서 의미가 큽니다. AI 위험 지식 격리가 필요한 이유 기존 AI 안전장치는 주로 모델이 답변을 생성한 뒤 차단하는 방식에 가까웠습니다. 예를 들어 위험한 질문에 거절 답변을 하도록 훈련하거나, 출력 결과를 별도 필터로 검사하는 방식입니다. 하지만 이 접근에는 한계가 있습니다. 사용자가 우회 질문을 만들면 필터가 흔들릴 수 있습니다. 모델 내부에는 이미 관련 지식이 남아 있을 수 있습니다. 사후 차단만으로는 강력한 모델의 악용 가능성을 완전히 줄이기 어렵습니다. 즉, 핵심은 “위험한 답변을 막는 것”을 넘어 위험 지식이 모델 안에 어떻게 저장되는지 를 다루는 방향으로 이동하고 있습니다. Anthropic이 공개한 SGTM이란? 위험 지식을 따로 저장하는 방식 SGTM은 Selective Gradient Masking 의 약자입니다. 쉽게 말해, AI가 학습하는 과정에서 특정 위험 영역의 지식이 모델 전체에 퍼지지 않도록 일부 전용 파라미터에만 저장되게 유도하는 방식입니다. 비유하자면 도서관 전체 서가에 위험 자료가 흩어지는 것을 막고, 별도 잠금 서가에만 모아두는 구조에 가깝습니다. 이후 필요하면 해당 구역만 제거해 일반 지식은 최대한 유지하는 방식입니다. 기존 데이터 필터링과의 차이 일반적인 방법은 학습 데이터에서 위험 문서를 미리 빼는 것입니다. 하지만 실제 데이터는 그렇게 깔끔하지 않습니다. 과학, 의학, 보안 지식처럼 유용한 정보와 위험한 활용 가능성이 함께 섞여 있기 때문입니다. SGTM...
