클로드의 생각을 베껴가는 공격…앤트로픽이 추론 기록을 잠근 이유

AI의 답만 모으는 것과 생각하는 과정을 모으는 것은 다르다. 앤트로픽은10월12일 공개한 보고서에서, 다른 모델을 몰래 학습시키는 증류 공격이 클로드의 추론 기록을 노렸다고 설명했다. 이를 막기 위해 기록 접근과 반복 요청을 제한한 새 방어 방식을 공개했다.

요약만으로는 끝나지 않았다

처음에는 사용자에게 추론을 요약해 보여주는 방식을 썼다. 회사의 비교 실험에서는 추론 전문으로 학습한 모델보다 요약본으로 학습한 모델의 코딩 평가 점수가 낮았다. 하지만 공격자는 보호된 기록을 직접 추출하려 했다. 요약을 보여주는 조치와 그 원본을 보호하는 조치는 별개였던 셈이다.

새 방어는 세 방향이다. 보호된 추론이 다른 대화·모델·조직으로 넘어가는 경로를 제한하고, 추출 요청을2단계 분류기로 찾아 차단한다. 계속 추출을 시도하는 계정에는 더 엄격한 사용량 제한과 차단을 적용한다. 일부 새 API 계정의 이전 맥락 수정 제한도 이 과정에 포함됐다.

효과와 이용자 부담은 함께 봐야

회사는 자사 플랫폼에서 공격자가 추출한 추론 토큰이 방어 도입 뒤10~100배 적어졌다고 보고했다. 이는 회사가 관찰한 추출량이지, 모든 모델 복제나 미래 공격을 차단했다는 뜻은 아니다. 고도로 정교하고 지속적인 새 우회 시도에 대한 효과는 아직 확인하지 못했다고도 밝혔다.

정당한 이용자에게 영향이 없었던 것도 아니다. 회사는 일부 개발자가 연동을 수정해야 했고 정상 요청도 드물게 잘못 차단될 수 있다고 인정했다.9월24일부터는 증류처럼 오탐률이0.1% 미만인 지정 영역에서 응답 전 차단된 요청에도 다시 비용을 부과한다. 모든 거절 요청이나 모든 사용자에게 같은 과금 규칙이 적용된다는 설명은 아니다.