HeyGen Video로 장면과 소리를 함께 만들 때, 생성 방식과 한계 확인하기

2026년 10월 30일 기준 — 공식 문서로 확인되는 입력 방식·길이·작업 흐름·검수 지점 정리

2026년 9월 30일, HeyGen이 HeyGen Video를 출시했습니다. 이 날짜는 HeyGen이 공식 비교 글에서 밝힌 내용입니다. 장면 영상과 대사·환경음·효과음을 한 번의 요청으로 함께 생성하는 AI 영상 생성 모델입니다.

출시 한 달이 지난 지금, 정리해 둘 것은 "무엇이 확정이고 무엇이 아직 모르는 일인가"입니다.

핵심 요지는 세 줄입니다.

① 한 번의 요청으로 영상과 소리가 함께 나오며, 별도 음성 생성이나 립싱크 단계를 요구하지 않는다는 것이 HeyGen의 설명입니다.

② 입력은 텍스트·이미지·참조 세 갈래이고, 입력 방식에 따라 길이와 조건이 다릅니다. 텍스트·이미지는 5~30초, 참조는 5~15초입니다.

③ 내부 구조, 정밀한 음성 싱크 성능, 정확한 요금 일부는 공개 자료로 확인되지 않습니다. 결과물은 완성본이 아니라 검수 대상으로 다뤄야 합니다.

이 글은 HeyGen Video를 "영상에 소리를 붙이는 후처리"와 비교하는 축으로 읽습니다. 이어지는 순서는 확인된 사실, 배경, 대상별 영향, 핵심 데이터, 아직 모르는 것, 실무 점검 항목입니다.

후처리 대신 한 요청으로: HeyGen Video에서 확인된 사실

HeyGen Video의 핵심은 영상과 소리가 같은 요청의 결과로 나온다는 점입니다. 공식 개발자 문서의 설명을 기준으로 하나씩 확인합니다.

출시일과 기반 모델

출시일은 2026년 9월 30일입니다. 공식 개발자 문서는 기반 모델을 MiniMax H3에 HeyGen이 추가 학습을 거친 모델로 설명합니다. 다만 공개 자료만으로는 내부 네트워크 구조나 학습 데이터까지 알 수 없습니다. 생성 원리를 이보다 구체적으로 말할 수 있는 근거는 없습니다.

기존 방식과 무엇이 다른가

영상에 소리를 붙이는 일반적인 후처리 방식은 보통 이런 순서를 밟습니다.

① 영상을 먼저 만든다
② 대사를 별도 음성으로 생성한다
③ 환경음·효과음을 따로 구해 얹는다
④ 입 모양과 음성을 맞추는 립싱크 단계를 거친다
⑤ 편집 도구에서 길이와 타이밍을 맞춘다

HeyGen의 설명에 따르면 HeyGen Video는 이 중 별도 음성 생성과 립싱크 단계를 요구하지 않습니다. 한 번의 요청으로 장면 영상과 대사·환경음·효과음이 함께 생성됩니다.

여기서 선을 그어 둘 필요가 있습니다. 이것은 회사가 밝힌 제품 동작 설명입니다. 영상과 음성이 모델 내부에서 어떤 구조로 결합되는지를 공개했다는 뜻이 아닙니다. 독자가 확인할 수 있는 것은 "요청 하나에 결과 하나, 그 결과에 오디오가 들어 있다"는 입출력 수준까지입니다.

입력 방식은 세 가지입니다

공식 문서는 입력을 세 갈래로 구분합니다.

① 텍스트 입력: 문장으로 묘사해 새 장면을 만드는 방식입니다. 텍스트 영상 변환에 해당합니다.

② 이미지 입력: 이미지가 영상의 첫 프레임이 되는 방식입니다. 이미지 영상 변환에 해당합니다.

③ 참조 입력: 이미지·영상·오디오 참조를 바탕으로 장면을 만드는 방식입니다. 참조 오디오는 이미지 또는 영상 참조와 함께 지정합니다.

"화면과 소리 동시 생성"이 뜻하는 범위

영상 음성 동시 생성이라는 표현은 생성 결과에 오디오가 포함된다는 뜻입니다. 세 입력 방식이 모두 같은 조건이라는 뜻은 아닙니다. 참조 오디오처럼 특정 방식에만 붙는 규칙이 있고, 길이 한도도 다릅니다. 이 차이는 뒤에서 데이터로 정리합니다.

아바타 엔진과의 구분

HeyGen은 이 모델을 아바타 엔진과 구분해 소개합니다. Avatar V는 이미 정해진 인물과 대본을 바탕으로 말하는 영상을 만드는 쪽에 가깝습니다. HeyGen Video는 묘사로 피사체·장소·빛·소리를 만드는 장면 생성용입니다. 말하는 인물 영상이 목적이라면 두 도구의 용도가 다르다는 점을 먼저 구분해야 합니다.

영상 모델에 소리가 들어온 배경과 지금 확인할 이유

소리를 따로 만들던 작업이 한 요청으로 합쳐지는 흐름이 제품 사양으로 확인된 것이 이번 출시의 의미입니다. 다만 왜 지금인지에 대해 HeyGen이 밝힌 구체적 계기는 공개 자료에 없습니다. 확인되는 사실만으로 맥락을 정리합니다.

첫째, 공식 문서가 구체적 사양을 공개했습니다. 2026년 10월 기준 해상도, 참조 자료 한도, 출력 형식이 문서에 나와 있습니다. 검토할 근거가 생겼다는 뜻입니다.

둘째, 출시 프로모션이 곧 끝납니다. HeyGen 도움말은 50% 출시 프로모션을 2026년 10월 말까지 운영하고 11월부터 표준 요금을 적용한다고 안내합니다. 오늘이 10월 30일이므로 프로모션은 종료 전이고, 며칠 뒤 요금 조건이 바뀝니다. 시험 생성을 하려면 조건이 바뀌기 전에 어떤 항목을 확인할지 정해 두는 편이 낫습니다.

셋째, 문서 내용이 아직 움직이고 있습니다. 요금 표기가 서로 맞지 않는 곳이 이미 있습니다. 이 부분은 뒤에서 따로 다룹니다. 출시 직후 모델은 사양과 안내 문구가 바뀔 수 있으므로, 이 글의 수치는 모두 2026년 10월 확인 기준입니다.

개발자·제작자·기획자에게 미치는 영향

어떤 역할이든 영향의 핵심은 "소리까지 포함된 결과를 검수하는 일"이 새 업무로 들어온다는 점입니다. 대상별로 나눠 봅니다.

개발자라면

API로 붙이는 입장에서 확인할 것은 요청 구조입니다.

① 모델 식별자는 공식 문서에 heygen-video-1로 표기되어 있습니다.
② 인증은 API 키 방식입니다.
③ 작업을 제출하면 202 Accepted 응답을 받습니다. 이후 작업 상태를 조회하거나 콜백을 받습니다.
④ 완료되면 결과는 MP4 URL로 전달됩니다.

즉 동기 호출이 아니라 비동기 작업 흐름으로 설계해야 합니다. 요청 직후 영상이 반환된다고 가정한 구조는 맞지 않습니다. 작업 상태 저장, 상태 조회 주기, 콜백 수신 엔드포인트, 실패 시 재시도 정책을 미리 정해 두어야 합니다.

영상 제작자·디자이너라면

짧은 장면 단위의 소재를 만드는 도구로 보는 편이 맞습니다. 공식 문서가 짧고 구성이 단순한 장면에 적합하다고 설명하기 때문입니다. 긴 화면 글자, 꽃잎·종이·머리카락 같은 부드러운 움직임, 손을 가까이 보여 주는 작업은 신뢰도가 낮은 영역으로 문서에 명시되어 있습니다. 이 영역이 많은 기획이라면 생성 결과를 그대로 쓰기보다 후반 작업을 전제로 잡아야 합니다.

콘텐츠 기획자·마케터라면

세 가지를 가장 먼저 점검하게 됩니다.

① 필요한 영상 길이가 입력 방식별 한도 안에 들어오는가
② 화면 안에 글자가 길게 들어가는 기획인가
③ 소리(대사·환경음·효과음)를 프롬프트로 어디까지 지시해야 하는가

이 글은 이 질문들에 답할 수 있는 근거까지만 다룹니다. 특정 업종에서 어떤 효과가 났는지에 대한 공개 사례는 없으며, 그런 내용은 쓰지 않습니다.

길이·해상도·참조 한도: 공개 사양 한눈에 보기

입력 방식마다 길이 한도가 다르므로, 5~15초를 전체 한도로 일반화하면 안 됩니다. 2026년 10월 29일 확인한 문서 기준의 수치입니다.

생성 길이

① 텍스트·이미지 입력: 설정에 따라 5~30초
② 참조 입력: 5~15초

텍스트·이미지 입력의 최대치는 참조 입력의 두 배입니다. 30초가 필요한 장면이라면 참조 방식은 맞지 않습니다.

참조 영상 사용 분량

참조 영상은 동작·구도·스타일 등의 안내 자료로 쓰입니다. 요청당 총 15초 분량까지 사용됩니다. 영상을 여러 개 넣으면 영상별로 분량을 나눠 배정합니다.

이 규칙에서 나오는 실무 결론은 단순합니다. 긴 영상을 통째로 분석해 주는 것이 아니고, 단일 영상의 앞부분만 읽는다는 규칙도 아닙니다. 요청당 총량이 15초이고, 여러 개를 넣으면 나눠 쓴다는 것이 확인된 내용입니다. 참조 영상을 준비할 때는 보여 주고 싶은 동작이나 구도가 담긴 구간만 미리 잘라 두는 편이 의도에 맞게 쓰이도록 돕습니다. 영상별 배정이 구체적으로 어떻게 나뉘는지는 공개 자료에 없으므로, 시험 생성으로 확인해야 합니다.

참조 자료 한도

참조 자료는 이미지 9개, 영상 3개, 오디오 3개까지이고, 합계 15개 한도입니다. 세 종류를 모두 최대로 채우면 9+3+3으로 15개가 됩니다. 영상 3개를 넣을 때 총 15초가 영상별로 나뉘므로, 영상당 평균 5초 안팎이 된다는 계산이 나옵니다. 이것은 총량을 단순히 개수로 나눈 산술일 뿐, 실제 배정 방식은 공식 자료로 확인되지 않습니다.

해상도와 출력 형식

① 해상도: 480p, 768p, 1080p, 2K
② 형식: MP4(H.264), 24fps, AAC 스테레오 32kHz

오디오는 스테레오 32kHz AAC입니다. 이미 다른 사양으로 편집 파이프라인을 운영 중이라면 샘플레이트와 프레임레이트가 맞는지 먼저 확인해야 합니다. 24fps 결과를 30fps 타임라인에 올리면 변환이 필요할 수 있습니다.

실제 생성 흐름: 202 Accepted부터 MP4까지

생성 흐름은 제출, 대기, 확인, 내려받기의 네 단계이고, 가장 중요한 지점은 제출 직후 응답이 영상이 아니라는 점입니다. 공식 문서가 안내하는 흐름을 순서대로 정리합니다.

1단계, 제출: 모델 식별자 heygen-video-1과 프롬프트 등 요청 내용을 API 키 인증으로 보냅니다.

2단계, 접수 확인: 서버가 202 Accepted로 응답합니다. 이는 작업이 접수되었다는 뜻이지 영상이 완성되었다는 뜻이 아닙니다.

3단계, 완료 확인: 작업 상태를 조회하거나 콜백을 받아 완료 여부를 확인합니다.

4단계, 결과 수령: 완료되면 결과가 MP4 URL로 전달됩니다.

설계할 때 주의할 점

① 폴링과 콜백 중 하나를 고릅니다. 콜백을 쓰면 수신용 엔드포인트가 외부에서 접근 가능해야 합니다.
② MP4 URL은 결과 전달용 주소입니다. 장기 보관이 필요하다면 받는 즉시 자체 저장소로 옮기는 구조가 안전합니다. 이 URL의 유효 기간은 공개 자료에서 확인되지 않으므로, 오래 유지된다고 가정하지 않는 편이 낫습니다.
③ 생성에 걸리는 시간 역시 공개 자료에 수치가 없습니다. 대기 시간을 기준으로 화면 문구나 타임아웃을 정할 때는 직접 측정한 값을 써야 합니다.

프롬프트로 소리까지 지시하고 시드로 반복하는 법

오디오도 프롬프트로 지시하는 구조이므로, 소리 요소를 영상 묘사와 같은 비중으로 적어야 합니다. 공식 문서가 설명하는 통제 방법은 크게 두 갈래입니다.

소리를 프롬프트에 적는 방법

환경음과 효과음의 종류·거리, 원하는 대사, 음악 제외 등을 구체적으로 적을 수 있습니다. 구성 요소를 나누면 다음과 같습니다.

① 장면 묘사: 피사체, 장소, 빛
② 대사: 인물이 하는 말
③ 환경음: 어떤 소리가, 얼마나 멀리서 들리는가
④ 효과음: 동작에 맞춰 나는 소리
⑤ 제외 조건: 음악을 넣지 않는다 등

예를 들어 이런 식으로 구성할 수 있습니다. 이 문장은 형식을 보여 주는 견본이며, 공식 문서의 예시가 아닙니다.

"비 오는 밤, 좁은 골목에서 우산을 든 사람이 천천히 걸어온다. 멀리서 차 지나가는 소리가 희미하게 들리고, 가까이서 빗물이 우산에 떨어지는 소리가 난다. 인물이 '거의 다 왔어'라고 낮게 말한다. 배경 음악은 넣지 않는다."

대사 분량을 가늠하는 법

공식 문서는 대사 분량의 대략적 기준으로 초당 약 2.5단어를 제시합니다. 이 수치로 길이에 맞는 대사 양을 어림할 수 있습니다. 예를 들어 10초 장면이라면 대사는 25단어 안팎이 됩니다. 다만 이는 대략적인 추정치이며, 모든 음성의 발화 속도를 보장하는 수치가 아닙니다. 대사를 한도에 꽉 채우지 말고 여유를 두는 편이 낫습니다. 한국어 대사가 이 기준에 그대로 맞는지는 공개 자료에 없으므로, 한국어 대사는 시험 생성으로 따로 확인해야 합니다.

프롬프트 보강 끄기

프롬프트 보강 기능을 끄면 작성한 문장을 그대로 전달할 수 있습니다. 보강이 켜져 있으면 입력이 가공될 수 있으므로, 대사 문구를 한 글자도 바꾸고 싶지 않을 때는 이 설정을 확인해야 합니다. 보강이 켜진 상태와 꺼진 상태의 구체적 차이는 공개 자료에 설명이 없습니다.

시드값 고정으로 재현하기

시드값을 고정하면 같은 프롬프트로 반복 생성할 때 결과를 재현할 수 있습니다. 반복 수정은 시드를 유지한 채 프롬프트 요소를 바꿔 비교하는 방식으로 안내됩니다.

권장하는 수정 순서는 이렇습니다.

① 시드를 고정하고 기본 프롬프트로 한 번 생성합니다.
② 한 번에 하나의 요소만 바꿉니다. 대사만, 환경음만, 조명 묘사만 바꾸는 식입니다.
③ 결과를 나란히 놓고 바뀐 부분만 비교합니다.
④ 마음에 드는 조합을 찾으면 그 프롬프트와 시드를 함께 기록합니다.

여러 요소를 동시에 바꾸면 어느 변경이 결과를 만들었는지 알 수 없습니다. 시드 고정은 그 비교를 가능하게 하는 장치입니다. 재현 범위가 어디까지인지, 예를 들어 모델이 갱신된 뒤에도 같은 결과가 나오는지는 공개 자료에서 확인되지 않습니다.

이 모델의 한계와 검수 포인트

공식 문서가 직접 신뢰도가 낮다고 든 영역이 있으므로, 생성 결과는 완성본이 아니라 검수 대상입니다. 한계를 문서가 먼저 밝혔다는 점은 오히려 검수 기준을 세우기 쉽게 합니다.

문서가 짧고 구성이 단순한 장면에 적합하다고 설명하는 반면, 다음은 신뢰도가 낮은 영역으로 듭니다.

① 긴 화면 글자
② 꽃잎·종이·머리카락 같은 부드러운 움직임
③ 손을 가까이 보여 주는 작업

결과물 검수 체크리스트

글자: 화면에 글자가 들어갔다면 철자와 형태를 한 글자씩 확인합니다. 글자를 영상 안에서 생성하기보다 후반 작업에서 얹는 쪽이 안전합니다.

동작: 머리카락이나 천, 종이처럼 부드러운 소재가 자연스럽게 움직이는지 봅니다. 손이 클로즈업된 장면은 특히 주의합니다.

대사: 요청한 대사가 그대로 나왔는지 들어서 확인합니다. 단어가 빠지거나 바뀌지 않았는지 대본과 대조합니다.

음향: 환경음의 거리감과 종류가 지시와 맞는지, 넣지 말라고 한 음악이 들어가지 않았는지 확인합니다.

싱크: 입 모양과 음성이 맞는지, 효과음이 동작과 어긋나지 않는지 봅니다. 이 부분은 정밀한 음성 싱크 성능이 공개 자료로 확인되지 않으므로 사람이 직접 보고 판단해야 합니다.

길이: 요청한 길이와 결과 길이가 맞는지, 대사가 장면 중간에 끊기지 않았는지 봅니다.

요금과 날짜에서 아직 확정되지 않은 것

확정된 것은 프로모션 일정이고, 확정되지 않은 것은 정확한 금액입니다. 앞으로 확인할 일정과 아직 모르는 것을 나눠 정리합니다.

확정된 일정

HeyGen 도움말은 50% 출시 프로모션을 2026년 10월 말까지 운영하고, 11월부터 표준 요금을 적용한다고 안내합니다. 작성일인 10월 30일 기준으로 프로모션은 아직 종료 전이며, 11월부터 표준 요금으로 넘어가는 일정입니다.

확정할 수 없는 금액

768p 텍스트·이미지 입력의 프로모션 금액은 확인되지 않습니다. 도움말 검색 결과에는 초당 $0.015, 현재 페이지에는 $0.018로 표기되어 서로 일치하지 않습니다. 어느 쪽이 프로모션가이고 어느 쪽이 표준가인지, 표기 시점의 차이인지는 공개 자료만으로 판단할 수 없습니다. 같은 이유로 표준 요금 초당 $0.03이라는 수치도 확정하기 어렵습니다.

예산을 세워야 한다면 두 가지를 권합니다. 계정의 요금 안내 화면에서 해당 시점의 금액을 직접 확인하고, 시험 생성 한 건의 실제 차감액을 기록해 두는 방식입니다. 블로그나 검색 결과에 보이는 초당 단가를 그대로 견적에 넣는 것은 피해야 합니다.

아직 확인되지 않는 것

① 내부 모델 구조: 영상과 소리가 내부에서 어떻게 결합되는지는 공개되지 않았습니다.

② 타사 대비 우열: 공식 비교 글이 있지만, 이 글은 특정 우월성을 단정하지 않습니다. 비교 결과가 필요하다면 자신의 용도에 맞는 프롬프트로 직접 같은 조건에서 시험해야 합니다.

③ 정밀한 음성 싱크 성능: 입 모양과 음성이 얼마나 정확히 맞는지에 대한 수치나 평가는 공개 자료에 없습니다.

④ 10월 21일 공개설: 출시일은 9월 30일로 확인됩니다. 10월 21일이 별도의 웹 기능 공개일인지는 공식 확인이 없습니다. 또한 "최신 확인 시점 2026년 10월 22일" 같은 기록은 외부에서 검증할 수 없습니다. 이 글의 수치는 2026년 10월 29일 확인한 문서를 기준으로 합니다.

⑤ 768p 프로모션·표준 요금의 정확한 금액: 위에서 설명한 대로 표기가 엇갈립니다.

지금 해 볼 수 있는 시험 생성 점검 항목

프로모션 종료 전에 같은 주제를 세 입력 방식으로 한 번씩 만들어 보는 것이 가장 효율적인 점검입니다. 아래 순서를 그대로 따라 해 볼 수 있습니다.

Step 1. 용도를 먼저 정합니다

필요한 영상 길이, 해상도, 소리 요소(대사·환경음·효과음)를 적어 둡니다. 길이가 15초를 넘는다면 참조 입력은 후보에서 빠집니다.

Step 2. 프롬프트를 소리까지 포함해 씁니다

장면 묘사 뒤에 대사, 환경음의 종류와 거리, 효과음, 음악 제외 여부를 이어서 적습니다. 대사는 초당 약 2.5단어 기준으로 길이에 맞게 줄입니다.

Step 3. 시드를 고정합니다

시드를 기록해 두고 첫 생성을 합니다. 이후 수정은 시드를 유지한 채 한 요소씩 바꿉니다.

Step 4. 프롬프트 보강 설정을 정합니다

대사 문구를 그대로 반영해야 한다면 프롬프트 보강을 끄고 한 번 생성해 봅니다.

Step 5. 비동기 흐름을 확인합니다

202 Accepted 응답을 받는지, 상태 조회나 콜백으로 완료가 확인되는지, 결과 MP4가 내려받아지는지를 한 번 끝까지 돌려 봅니다.

Step 6. 결과를 검수합니다

앞의 체크리스트대로 글자, 동작, 대사, 음향, 싱크, 길이를 확인합니다.

Step 7. 비용을 기록합니다

시험 생성 한 건의 실제 차감액과 해상도, 길이를 함께 적어 둡니다. 11월 이후 표준 요금이 적용될 때 비교할 기준이 됩니다.

비교 시험에 쓸 수 있는 구성

같은 장면을 입력 방식별로 만들어 차이를 봅니다.

① 텍스트만으로 장면 묘사
② 같은 장면의 대표 이미지를 첫 프레임으로 지정
③ 이미지와 참조 오디오를 함께 지정

이렇게 하면 입력 방식이 결과의 어느 부분을 좌우하는지 확인됩니다. 참조 영상을 쓴다면 15초 총량을 고려해 필요한 구간만 잘라 넣고, 영상별 배정이 어떻게 이뤄지는지 눈으로 확인합니다.

운영에 붙일 때 추가로 정해 둘 것

① 결과 MP4를 자체 저장소로 옮기는 시점과 방식
② 검수 통과 기준과 재생성 횟수 상한
③ 프롬프트·시드·결과 URL을 함께 기록하는 로그 항목
④ 실패 응답이 왔을 때의 재시도 규칙

자주 묻는 질문

Q. 대사를 한국어로 넣어도 되나요?

공개 자료에서 지원 언어나 한국어 대사의 품질에 대한 안내는 확인되지 않습니다. 한국어 대사가 필요하다면 짧은 문장으로 시험 생성을 해서 대본과 결과를 대조해야 합니다.

Q. 같은 프롬프트로 다시 만들면 같은 영상이 나오나요?

시드값을 고정하면 같은 프롬프트로 반복 생성할 때 결과를 재현할 수 있다고 HeyGen이 설명합니다. 시드를 고정하지 않으면 매번 다른 결과가 나올 수 있다고 이해하면 됩니다. 시간이 지나 모델이 바뀐 뒤의 재현성은 확인되지 않습니다.

Q. 말하는 인물 영상을 만들 때도 이 모델을 쓰나요?

HeyGen은 이미 정해진 인물과 대본으로 말하는 영상을 만드는 용도는 아바타 엔진에 가깝다고 설명합니다. HeyGen Video는 묘사로 피사체·장소·빛·소리를 만드는 장면 생성용입니다. 목적에 따라 두 도구의 역할을 나눠 보는 편이 맞습니다.

참고 자료

- HeyGen 공식 비교 글: https://www.heygen.com/blog/best-video-models

- HeyGen 개발자 문서(HeyGen Video): https://developers.heygen.com/docs/models/heygen-video

- HeyGen 도움말(HeyGen Video 소개): https://help.heygen.com/en/articles/17272995-introducing-heygen-video-generate-cinematic-clips-from-a-prompt

마무리

HeyGen Video에서 확정된 것은 세 가지입니다. 9월 30일에 출시되었고, 한 번의 요청으로 장면과 소리가 함께 생성되며, 입력 방식별로 길이와 조건이 다르다는 점입니다. 아직 모르는 것은 내부 구조, 정밀한 음성 싱크 성능, 일부 요금의 정확한 금액입니다.

글에서 가져갈 점검 순서는 단순합니다. 필요한 길이를 입력 방식별 한도에 대 보고, 소리를 프롬프트에 구체적으로 적고, 시드를 고정해 한 요소씩 바꿔 비교하고, 결과를 글자·동작·대사·음향·싱크 기준으로 검수합니다. 프로모션은 10월 말까지이므로, 비용 기록을 남기는 시험 생성은 지금이 적기입니다.