Cloudflare 공식 발표 이미지 · 공개 원문 보도 인용(허가 취득 아님)기기 작동 영상과 소리를 보고 ‘팬이 돌고 있는가’를 판단하려면, 먼저 모든 장면을 글로 풀거나 소리를 받아써야 할까. Cloudflare가 10월 9일 소개한 Clef-omni는 영상·음성 파일을 직접 읽고 미리 정한 질문의 선택지별 확률을 돌려주는 결정 모델이다. 글과 이미지의 선택지를 평가하던 방식에 WAV·MP3 음성, MP4·WebM 영상 입력을 더했다는 것이 이번 변화다.
새 기능은 영상 생성이 아니라 영상에 대한 판단
회사는 설치 상태를 보여 주는 사진, 작동 소리, 짧은 영상 등을 질문과 함께 평가하는 용도를 설명한다. 결과가 선택지 확률이라는 점은 긴 설명문을 쓰는 대화 모델과 다르다. 또한 모델이 고장 난 기기를 실제로 수리하거나 외부 도구를 실행한다는 뜻도 아니다. 판단 값을 다음 동작에 연결하는 애플리케이션과 그 권한·안전 검사는 별도로 필요하다.
기존에 소개한 텍스트·이미지 기반 결정 API의 질문을 회사 이름만 바꿔 반복하는 내용도 아니다. 이번에 달라진 독자의 질문은 ‘소리와 시간 흐름이 있는 영상 파일을 중간 요약 없이 입력할 수 있는가’다. Clef-omni는 이 입력을 제공하지만 허용 형식과 크기, 문맥 한계 안에서 사용해야 한다.
음성 네 개·영상 두 개, 길이에도 제한
공식 모델 문서는 한 요청에 음성 클립 최대 네 개, 영상 최대 두 개를 허용한다. 음성은 각각 최대 300초·8MiB, 영상은 각각 최대 60초·16MiB이며 음성과 영상을 합친 해독 크기는 16MiB 이내다. 파일을 붙일 수 있다는 안내를 긴 영상 전체를 제한 없이 보내도 된다는 뜻으로 해석하면 안 된다.
영상은 초당 두 프레임으로 샘플링된다. 영상의 소리는 요청에 포함된 모든 영상에 사운드트랙이 있을 때 프레임과 함께 처리한다는 조건도 있다. 원격 URL만 전달하는 방식은 지원하지 않는다. URL 주소를 붙였는데 모델이 그 파일을 알아서 내려받아 검토할 것이라고 기대하는 입력 방식과 다르다.
분량을 계산할 때 소리와 프레임도 토큰
공식 문맥 창은 64,000토큰이다. 미디어와 질문이 함께 그 한도를 차지하며, 이를 넘으면 요청이 실패한다. 미디어와 질문이 한도 안에 있어도 긴 텍스트 상태는 남은 공간에 맞춰 잘릴 수 있다. 영상 파일이 작다는 이유만으로 문맥까지 작다고 단정하지 말아야 한다.
문서는 음성을 분당 약 780토큰, 영상을 최대 해상도에서 분당 약 15,400토큰으로 설명한다. 영상에 소리가 있으면 음성 토큰이 추가되며, 480p 영상 예시는 프레임 분량이 분당 약 8,600토큰이다. 입력 토큰 과금은 백만 토큰당 0.15달러이고 출력 토큰은 과금하지 않는다는 안내다. 이 수치는 API 조건이지 무료 서비스 보장이나 모든 파일의 고정 요금은 아니다.
회사 속도 측정과 내 작업의 성공은 별개
발표 글의 응답 시간은 회사가 특정 입력과 환경에서 제시한 측정이다. 입력 길이·형식·서버 조건이 다른 모든 요청에도 같은 지연 시간을 보장하지 않는다. 이번 기사에서 유료 API로 실제 파일을 보내 처리 정확도나 속도를 측정하지 않았다. 확률 값이 나오더라도 그 판단이 항상 사실이라는 뜻은 아니므로 중요한 자동 조치에는 별도의 검증이 필요하다.
따라서 새로 가능한 것은 영상·음성의 내용에 미리 정한 질문을 적용하는 입력 경로다. 반면 긴 파일을 무제한으로 처리하기, 원격 주소를 대신 수집하기, 판단 뒤의 작업을 자동 승인하기는 제공된 설명과 다른 기대다. 파일의 개수·길이·문맥을 먼저 나누면 이 모델을 어느 단계에 쓸 수 있는지 판단할 수 있다.
출처로 확인한 내용
5건
Clef-omni는 WAV·MP3 음성 및 MP4·WebM 영상으로 선택지별 확률을 평가한다.
한 요청은 음성 최대 네 개·영상 최대 두 개이며 개별 길이·크기 및 합계 16MiB 제한이 있다.
영상은 초당 두 프레임으로 샘플링하며 원격 URL 입력은 지원하지 않는다.
문맥은 64,000토큰이고 미디어·질문이 이를 초과하면 요청이 실패한다.
공식 호스팅 입력 과금은 백만 토큰당 0.15달러이며 출력 토큰 과금은 없다.
