ElevenLabs · Eleven v4 공식 발표 원본대사 사이에 웃음이나 속삭임, 문이 닫히는 소리까지 직접 적어 음성을 만드는 방식이다. ElevenLabs의 Eleven v4는 대본 안의 오디오태그로 연기와 효과음을 지시하고 여러 인물의 대화를 생성한다. v3에서 지원하지 않았던 Professional Voice Clone도 다시 사용할 수 있다. 다만 출시 전에 만든 복제 목소리는 v4에 맞게 재학습해야 효과적으로 쓸 수 있다는 것이 회사의 안내다.
대사를 읽히는 것에서 장면을 지시하는 것으로
공식 모델 페이지는 웃음, 속삭임, 문 닫히는 소리처럼 말의 내용과 전달 방식을 함께 지시하는 태그 예시를 제시한다. 이야기 속 인물마다 목소리를 지정하고 감정이나 주변 소리를 대본에 넣는 구성이다. 회사는 앞선 대화의 맥락을 반영하고 다시 생성한 대사의 인물 목소리를 유지하는 성능을 개선했다고 설명한다. 실제 결과가 모든 대본에서 동일하게 보장된다는 뜻은 아니다.
기존 복제 목소리와 쉼표현에는 바뀐 조건
모델 페이지의 FAQ에 따르면 출시 이전의 Instant Voice Clone과 Professional Voice Clone은 v4용 재학습이 필요하다. 목소리 항목 위에 마우스를 올려 더하기 버튼으로 진행하도록 안내한다. 복제에는 목소리 소유자의 검증된 동의가 필요하다. 다른 사람의 음성을 짧게 확보했다는 이유로 자유롭게 복제할 권리가 생기지는 않는다.
쉬는 구간도 기존 SSML의 break 태그 대신 pause나 long pause 같은 자연어 오디오태그를 사용한다. 따라서 기존 대본이나 자동화의 쉼표현을 그대로 붙여 넣기보다 v4의 지시 형식에 맞춰 확인해야 한다. 무료 계정에서도 모델을 사용할 수 있지만 공식 페이지는 무료 요금제의 이용 범위를 개인 용도로 구분한다. 모델 접근 가능과 상업 이용 권한은 같은 조건이 아니다.
완성형 콘텐츠와 실시간 응답은 모델 선택이 다르다
9월 28일 공식 변경기록은 콘텐츠 제작과 긴 음성에는 eleven_v4의 Text to Dialogue API를, 음성 에이전트나 상호작용에는 eleven_v4_turbo의 WebSocket 경로를 안내한다. 블로그의 원 발표 날짜도 9월 28일이며 최신 수정일은 10월 5일이다. 이번에 확인한 기능을 10월 6일 처음 출시한 기능으로 소개하는 것은 아니다. 제작자는 원하는 연기·대화의 표현과 실시간 응답이라는 목적을 나눠 모델을 고를 수 있다.
출처로 확인한 내용
5건
Eleven v4는 오디오태그로 대본의 연기 지시와 효과음을 다루며 전문 복제 목소리를 다시 지원한다.
출시 전 만든 복제 목소리는 v4용 재학습이 필요하다는 것이 회사의 안내다.
v4에서는 SSML break 대신 자연어 오디오태그로 쉼을 지시한다.
공식 변경기록은 콘텐츠 제작용 v4와 실시간 상호작용용 v4 Turbo의 경로를 구분한다.
블로그의 원 발표는9월28일, 최신 수정은10월5일로 표시되어 있다.
