영상은 그대로, 음악만 낮춘다…Pika H3 Flex의 다섯 갈래 소리

AI로 만든 영상의 대사는 마음에 드는데 배경음악이 너무 크다면, 영상을 통째로 다시 생성하는 대신 소리를 따로 다루는 길이 생겼다. Pika가29일 공개한H3 Flex는 영상과 동기화된 스테레오 사운드트랙 외에 다섯 종류의 분리된 소리 트랙을 요청할 수 있다고 안내했다. 현재 이 기능을 제공하는 경로는Pika API다.

다섯 갈래는 대사, 음악, 효과음, 폴리, 환경음이다. 폴리는 발걸음이나 물체를 다루는 소리처럼 동작을 보강하는 생활 효과음 영역이다. 편집자는 대사를 함께 줄이지 않고 음악만 낮추거나 효과음을 따로 조정하는 작업을 할 수 있다. 다만 분리 품질이 모든 장면에서 완벽하다는 독립 검증은 이번 취재에서 하지 않았다.

기술 설명을 보면 생성기는 영상과 여러 소리가 섞인 동기화 사운드트랙을 먼저 만든다. 이어 별도의 오디오 분리 단계가 다섯 트랙을 추출하며, 기존 영상과 혼합 사운드트랙도 함께 반환한다. 처음부터 다섯 독립 음원을 각각 작곡하거나 녹음하는 모델이라는 설명은 아니다. 완성된 장면을 유지한 채 믹스를 바꿀 수 있다는 점이 실제 작업의 차이다.

공개 가중치와 서비스 기능의 경계도 있다. 배포된 생성기 어댑터·추론 코드는480p와768p 영상 및 동기화 오디오를 대상으로 한다. 다섯트랙 분리와1080p·2K·4K 업샘플링, 선택적 프롬프트 보정과 가속 서비스 구성은Pika가 호스팅하는 기능으로 적혀 있다. 모델 파일을 내려받으면 이 마무리 기능까지 모두 로컬에서 그대로 제공된다는 뜻은 아니다.

따라서4K라는 출력 표기 역시 처음부터4K로 생성한다는 말과 다르다. 기본 생성 해상도에서 고른 영상을 후처리로 확대하는 경로다. 회사가 내세운15초 영상의7초 수치도 통제된 조건의 변환기 연산 시간이며, 업로드·디코딩·트랙 분리·서버 대기를 모두 포함한 완료 시간은 아니다. 이 기사에서는 실제 생성이나 속도 측정을 돌리지 않았다.

H3 Flex는Pika API Club에서 이용할 수 있고 일반 창작 제품에는11월2일 들어올 예정이라고 발표됐다. 편집을 맡은 독자라면 먼저 혼합 오디오만 필요한지 분리 트랙까지 필요한지 정하면 된다. 모델 이름이나 생성 단계 수보다 납품할 소리의 형태와 현재 이용 경로가 이번 새 답이다.