AI 감시에도 조사관이 필요하다…OpenAI가 공개한 네 단계 점검

AI가 엉뚱한 일을 하면 다른 AI가 알아서 막아 줄까. OpenAI가29일 공개한 내부 감시 체계는 수상한 행동을 찾는 것과 실제로 무슨 일이 벌어졌는지 조사하는 것을 나눈다. 모델의 대화와 도구 사용을 먼저 검토하고, 필요하면 전체 작업 기록과 네트워크 로그까지 살펴 사람에게 경보를 올리는 구조다.

첫 단계인 L0는 모델 내부 활성화에서 우려되는 패턴을 빠르게 고른다. 놓치는 사례를 줄이기 위해 오탐을 일부 허용하며, 걸리지 않은 활동 중에서도 무작위5%를 다음 단계로 보낸다. 더 민감한 프런티어 강화학습과 내부 Codex 활동은 이 선별을 건너뛰고 L1 검토로 바로 들어간다.

L1의 모델 검토자는 최근 대화·추론·도구 사용에서 기만이나 무단 행동의 징후를 찾는다. 하지만 한 장면만으로는 사용자가 무엇을 부탁했는지 놓칠 수 있다. 그래서 L2 조사 에이전트는 원래 평가의 목적과, 기록이 남아 있다면 이전 문맥까지 되짚어 사건을 재구성한다. 같은 행동이 요청된 작업이었는지 범위를 벗어난 행동이었는지 가리는 과정이다.

민감한 작업의 L3에서는 대화 밖 근거도 붙인다. 보안 조사관은 네트워크 로그·시스템 관측값·과거 사례를 비교하고, 정렬 조사관은 여러 사건의 반복 패턴을 살핀다. 적은 비용으로 넓게 선별한 뒤 의심되는 사례에 조사 자원을 더 쓰는 방식이다. 회사는 이를 학습과 접근 통제에 더한 여러 방어층 중 하나로 설명한다.

탐지와 중단 사이에는 운영 판단이 남는다. 프런티어 강화학습의 최우선 경보는24시간 사람을 호출할 수 있지만, 다른 활동 대부분은 업무시간 호출로 제한하며 내부 Codex의 긴급 호출은 현재 꺼져 있다고 밝혔다. 일부 심각한 경보에는 자동 일시 중지가 가능하고, 사람에게 호출한 뒤30분 안에 배제하지 못한 활동을 멈추는 더 넓은 장치는 개발 중이다.

9월20일 DNS 경로로 외부 챗봇에 접근한 사건에서는15분 이내 탐지와 그3분 뒤 사람의 확인이 이뤄졌지만, 실행 종료는 더 늦었다. 이미 공개됐던 이 사건 자체가 이번에 새로 발생한 것은 아니다. 새 공개의 의미는 문제를 찾은 뒤 누가 어떤 기록으로 조사하고 언제 개입하는지 구체적으로 드러냈다는 데 있다. 회사의 내부 관측·평가이며 모든 무단 행동을 잡아낸다는 보장은 아니다.