FastH3-Omni 공개 가중치, 참조 이미지·음성으로 영상과 소리를 함께 만드는 법

2026년 10월 공개된 오픈 웨이트 영상 모델, 입력 구조·속도 실험 조건·라이선스 점검까지 한 번에 정리

2026년 10월 20일, 영상 생성 모델 FastH3-Omni의 가중치가 공개됐습니다. MiniMax H3를 바탕으로 FastVideo(Hao AI Lab, UC San Diego)와 Nuva Lab이 공동 개발한 모델입니다. FastVideo는 하루 전인 10월 19일 공개를 예고했고, 11월 1일 기준 두 날짜 모두 지났습니다. 가중치는 이미 내려받을 수 있는 상태입니다.

핵심 요지 3줄

1. 이미지·영상·음성 참조를 한 요청에 넣으면, 조건에 맞는 영상과 동기화된 음성이 한 번의 생성 흐름으로 나옵니다.

2. 공개된 속도 실험에서 기본 모델 대비 지연이 5.6~11.9배 낮았습니다. 단, 8×GB200과 27개 워크로드라는 특정 조건의 결과입니다.

3. 가중치 라이선스는 MiniMax H3 Community License입니다. 미국·한국을 포함한 일부 지역은 별도 신청 경로가 있어, 설치 전 원문 확인이 필요합니다.

이 글은 무엇이 확정된 사실이고 무엇이 아직 확인되지 않았는지 나눠서 정리합니다. 근거는 공식 발표 자료를 중심으로 구성했습니다.

FastH3-Omni가 바꾼 것: 참조 입력 12개와 8회 평가

가장 큰 변화는 두 가지입니다. 하나는 입력 방식이고, 다른 하나는 생성에 드는 계산량입니다.

입력: 텍스트에 이미지·영상·음성 참조를 더했다

이전의 텍스트 기반 영상 생성은 프롬프트 문장 하나로 장면을 설명했습니다. 인물의 얼굴이나 목소리 같은 세부 요소는 글로 묘사하는 수밖에 없었습니다. FastH3-Omni는 텍스트와 함께 이미지·영상·음성 참조를 받을 수 있습니다.

한 요청에 넣을 수 있는 참조 상한은 다음과 같습니다.

① 이미지: 최대 9장
② 영상: 최대 3개
③ 음성: 최대 3개
④ 합계: 최대 12개

여기서 주의할 점이 있습니다. 공개된 자료는 "모든 참조를 무제한으로 섞을 수 있다"고 말하지 않습니다. 상한은 위 숫자 그대로 읽어야 합니다. Nuva Lab의 공개 안내는 키프레임과 클립 이어 만들기를 언급하지만, 첫 프레임·마지막 프레임을 정확히 어떤 입력 조합으로 지정하는지는 공개된 자료에서 확인되지 않습니다. 이 기능을 구체적 사양처럼 전제하고 파이프라인을 짜는 것은 피하세요.

음성 참조도 비슷합니다. FastVideo의 벤치마크 설명에는 독립 음성 입력을 사용했다는 내용이 있습니다. 그래서 음성 참조가 이미지나 영상 참조와 반드시 함께 들어가야 하는지는 단정할 수 없습니다. 실제 입력 조합은 공식 저장소의 문서와 예제로 확인해야 합니다.

출력: 영상과 소리가 한 번에 나온다

기존 방식은 두 갈래였습니다. 영상을 먼저 만들고 음성이나 음악을 따로 만들어 합치거나, 음성에 영상을 맞추는 식입니다. 이때 입 모양과 소리의 타이밍을 맞추는 작업이 별도로 필요했습니다.

FastH3-Omni는 참조 조건에 맞춘 영상과 동기화된 음성을 한 번의 생성 흐름으로 만듭니다. 공개된 사양은 5~15초 클립, 24fps입니다. Nuva Lab도 공개 가중치 버전의 길이를 5~15초 클립으로 설명합니다.

이 숫자가 의미하는 바를 정확히 읽어야 합니다. 이 모델은 짧은 클립 생성기입니다. 긴 영상 전체를 자동으로 만든다는 뜻이 아니고, 후반 편집이 필요 없다는 뜻도 아닙니다. 실무에서는 여러 클립을 만들어 이어 붙이고, 컷 편집과 자막, 색 보정을 거치는 흐름이 그대로 남습니다.

계산량: 50회 디노이징이 8회 평가로

모델 쪽 핵심 변경은 평가 횟수입니다. 기본 MiniMax H3는 50회의 디노이징 평가를 거칩니다. FastH3-Omni는 이를 8회의 트랜스포머 평가로 줄였습니다.

FastVideo 문서는 참조 입력형 Ref2VA 학생 모델에 PDD를 적용한 세부 구조와 추론 방식을 공개합니다. 학습 내역도 공개돼 있습니다.

① 학습 장비: NVIDIA B300 64개
② 학습 단계: 3,500 단계
③ 학습 자원: 약 7,800 GPU-시간

학습 규모를 공개했다는 것은 재현을 시도하는 팀에게 참고할 기준이 생겼다는 의미입니다. 다만 이 수치가 곧 품질을 보증하지는 않습니다. 품질 이야기는 뒤에서 다시 다룹니다.

왜 지금 주목받나: 참조 입력, 오픈 웨이트, 속도가 한꺼번에 나왔다

세 가지가 같은 시점에 겹쳤기 때문입니다.

첫째, 참조 입력형 모델의 가중치가 공개됐습니다. 텍스트만으로는 같은 인물, 같은 목소리를 여러 클립에 일관되게 유지하기 어렵습니다. 참조 이미지와 음성을 넣는 방식은 이 문제를 입력 단계에서 다루려는 접근입니다.

둘째, 영상과 소리를 따로 만들던 공정이 한 흐름으로 합쳐졌습니다. 동기화를 사후에 맞추는 대신 생성 단계에서 함께 만듭니다.

셋째, 속도 실험 결과가 함께 공개됐습니다. 50회에서 8회로 줄인 평가 횟수가 실제 지연 시간에 어떻게 반영되는지, 측정 조건과 함께 제시됐습니다.

날짜 흐름은 단순합니다. 2026년 10월 19일 FastVideo가 다음 날 공개를 예고했고, 10월 20일 공개 글이 올라왔습니다. Nuva Lab도 가중치 공개일을 10월 20일로 안내합니다. 이어 10월 21일에는 별도 안내로 DGX Spark와 RTX 5090의 로컬 실행 구성이 소개됐습니다.

대상별로 보는 영향: 제작자, 개발자, 인프라 담당자

같은 발표라도 누구에게 중요한 정보인지가 다릅니다.

영상 제작·디자인을 하는 경우

가장 직접적인 변화는 참조로 일관성을 잡을 수 있다는 점입니다. 인물 사진 몇 장과 목소리 샘플을 참조로 넣어 같은 인물이 등장하는 클립을 여러 개 만드는 식의 활용이 구조적으로 가능해졌습니다.

다만 현실적인 한계도 분명합니다.

① 한 클립은 5~15초입니다. 긴 서사는 컷을 나눠 이어 붙여야 합니다.
② 참조는 합쳐서 12개까지입니다. 장면이 복잡해질수록 어떤 참조를 우선할지 선택해야 합니다.
③ 인물·음성 참조에는 초상권과 음성 권리 문제가 따릅니다. 본인 또는 사용 허락을 받은 자료만 쓰세요.

서비스를 개발하는 경우

개발자에게 중요한 것은 가중치가 Hugging Face에, 코드와 학습 자료가 FastVideo 저장소에 공개됐다는 점입니다. 직접 서빙하는 구성을 검토할 수 있습니다.

그러나 서비스에 넣으려면 먼저 확인할 것이 있습니다. 코드 프레임워크와 가중치는 라이선스가 다릅니다. 이 부분은 뒤의 "라이선스" 항목에서 자세히 다룹니다. 이 모델을 상용 서비스의 일부로 쓸 계획이라면 기술 검토보다 라이선스 검토가 먼저입니다.

인프라를 운영하는 경우

공개된 속도 수치는 8×GB200 서버에서 측정한 값입니다. 보유한 GPU가 다르다면 같은 속도를 기대하면 안 됩니다. 10월 21일에 FastVideo가 DGX Spark와 RTX 5090의 로컬 실행 구성을 소개했지만, 8×GB200의 속도 수치를 이 장비에 옮겨 적용해서는 안 됩니다. 로컬 장비의 실제 지연은 직접 측정해야 합니다.

속도 실험 수치 읽기: 5.6~11.9배가 의미하는 것과 아닌 것

FastVideo가 2026년 10월 20일 공개한 속도 실험의 조건과 결과입니다.

측정 조건

장비와 워크로드

① 장비: NVIDIA GB200 8장
② 워크로드: 9개 참조 조합 × 5·10·15초 길이 = 27개 일치 워크로드
③ 해상도·프레임: 1344×768, 24fps

측정 절차

① 측정마다 워밍업 1회
② 시드 0·1·2로 측정 3회
③ 결과 표에는 평균과 표본 표준편차 제시

측정 범위

참조 인코딩, 생성, 디코딩, MP4 완성까지 포함했습니다. 모델 로딩과 서버 시작은 제외했습니다.

결과

공개된 결과는 기본 모델보다 종단 간 지연이 5.6~11.9배 낮았다는 것입니다. 구체적인 예시는 다음과 같습니다(3개 시드 평균, 8×GB200).

위 배율은 공개된 두 지연 값을 나눠 계산한 값입니다. 두 예시 모두 전체 범위인 5.6~11.9배 안에 들어옵니다. 클립이 길어질수록 절감 폭이 커지는 경향이 이 두 예시에서 보입니다. 다만 두 점만으로 모든 조합에 같은 경향이 있다고 일반화할 수는 없습니다.

이 수치를 읽을 때 지켜야 할 경계

공식 글이 스스로 밝힌 한계가 있습니다. 읽는 쪽에서도 그대로 지켜야 합니다.

① 서로 다른 전체 레시피의 비교입니다.
이 실험은 서로 다른 전체 모델·서빙 레시피를 비교한 것입니다. 평가 횟수 하나만 바꾼 통제 실험이 아닙니다. 속도 차이가 어느 요소에서 얼마나 나왔는지 분리해서 말할 수 없습니다.

② 품질 비교가 아닙니다.
원문은 출력의 수치적·지각적 동등성이나 정량적 품질 우위를 입증한 평가가 아니라고 명시합니다. 즉 "빠르면서 품질도 같다"고 쓸 근거가 없습니다. 기본 H3와 품질이 동등하다는 주장은 이 자료로는 성립하지 않습니다.

③ 모델 로딩·서버 시작은 빠져 있습니다.
첫 요청의 체감 대기 시간은 이 수치보다 길 수 있습니다. 서비스를 설계할 때 콜드 스타트 시간은 따로 재야 합니다.

④ 장비 한정 결과입니다.
8×GB200과 특정 서빙 구성에서 나온 값입니다. 다른 GPU에서 같은 속도가 나온다는 보장이 없습니다.

⑤ 자체 실험입니다.
수치는 FastVideo가 직접 수행한 실험입니다. 독립 기관의 평가 결과가 아닙니다. 국내 주요 매체의 독립 보도는 검색에서 확인되지 않았지만, 보도가 없다고 단정할 수는 없습니다. 이 글의 근거가 공식 발표에 한정된다는 점을 기억하세요. 예시 영상도 품질 우위의 증거가 아니라 직접 비교용 자료로 보는 편이 안전합니다.

설치 전 점검: MiniMax H3 Community License

가중치를 받기 전에 라이선스부터 확인하세요. 이 단계를 건너뛰면 나중에 서비스 전체를 되돌려야 할 수 있습니다.

확인된 사실

FastVideo는 가중치 배포처로 Hugging Face를, 코드와 학습 자료는 FastVideo 저장소로 안내합니다. Hugging Face의 FastVideo 모델 페이지에는 FastH3-Omni 가중치 라이선스가 MiniMax H3 Community License로 표시돼 있습니다.

코드 프레임워크와 가중치의 라이선스는 다릅니다. 가중치를 "Apache 2.0"이나 "완전한 오픈소스"로 표현하면 안 됩니다. 공개 가중치라는 사실과 어떤 조건으로 쓸 수 있느냐는 별개의 문제입니다.

미국·한국 사용자가 특히 볼 부분

MiniMax의 공식 H3 라이선스 안내는 미국·한국을 포함한 제외 지역에 별도 라이선스 신청 경로를 제공합니다. 신청 페이지의 국가 선택란에는 미국과 한국이 포함돼 있고, H3 Community License와 사용 제한 준수 확인을 요청합니다.

FastH3-Omni도 H3 기반 파생 모델입니다. 따라서 미국·한국에서 사용·배포·상업 활용이 자동으로 허가된다고 볼 수 없습니다. 적용 여부는 이 글의 발행 시점이 아니라 여러분이 내려받는 시점의 라이선스 원문으로 점검해야 합니다.

라이선스 점검 절차

1. Hugging Face의 FastVideo 모델 페이지에서 FastH3-Omni 라이선스 표기를 확인합니다.

2. MiniMax H3 라이선스 안내 페이지에서 Community License 원문과 사용 제한 조항을 읽습니다.

3. 소속 국가·서비스 제공 지역이 제외 지역에 해당하는지 확인합니다.

4. 해당하면 별도 라이선스 신청 경로를 확인하고, 허가 범위를 문서로 받아 둡니다.

5. 상업 서비스에 쓸 계획이라면 사내 법무 또는 외부 전문가의 검토를 거칩니다.

6. 검토 결과와 확인 일자를 내부 문서에 기록합니다.

확정된 것과 아직 모르는 것

변화가 빠른 주제일수록 확정과 미확정을 나눠 두는 편이 의사결정에 도움이 됩니다.

확정된 것 (공식 발표 기준)

① 2026년 10월 19일 예고, 10월 20일 공개 글 게시 및 가중치 공개
② 참조 입력 상한: 이미지 9장, 영상 3개, 음성 3개, 합계 12개
③ 출력: 5~15초, 24fps, 동기화된 음성 포함
④ 평가 횟수: 기본 H3 50회 디노이징 → FastH3-Omni 8회 트랜스포머 평가
⑤ 학습 규모: B300 64개, 3,500 단계, 약 7,800 GPU-시간
⑥ 속도 비교: 8×GB200, 27개 워크로드, 1344×768·24fps에서 5.6~11.9배 낮은 지연
⑦ 가중치 라이선스 표기: MiniMax H3 Community License

공개된 자료에서는 확인되지 않는 것

① 첫 프레임·마지막 프레임 지정을 어떤 입력 조합으로 지원하는지
② 음성 참조를 이미지·영상 참조와 반드시 함께 써야 하는지
③ 기본 H3와의 출력 품질 동등성 또는 우위
④ DGX Spark·RTX 5090 같은 로컬 장비에서의 실제 생성 속도
⑤ 미국·한국에서의 사용·배포·상업 활용 허가 범위
⑥ 독립 기관의 성능 평가 결과

위 미확인 항목은 "가능하다" 또는 "불가능하다" 어느 쪽으로도 단정하지 마세요. 확인될 때까지 비워 두는 것이 정확합니다.

참조 준비부터 클립 편집까지

실제로 써 볼 계획이라면 다음 순서를 권합니다.

1단계: 라이선스 확인

앞 절의 점검 절차를 먼저 끝냅니다. 개인 실험이든 서비스 적용이든 같습니다. 허가 범위가 불분명하면 실험 단계에서도 결과물의 외부 공개를 보류하세요.

2단계: 참조 자료 준비

참조는 합쳐서 12개까지입니다. 많이 넣을수록 좋다고 가정하지 말고, 필요한 만큼만 고르세요.

① 이미지: 인물·사물·배경 등 일관되게 유지할 대상 (최대 9장)
② 영상: 움직임이나 장면 분위기를 참고할 클립 (최대 3개)
③ 음성: 목소리 톤을 참고할 샘플 (최대 3개)

모든 참조는 본인이 권리를 가졌거나 사용 허락을 받은 자료여야 합니다. 특히 실존 인물의 얼굴과 목소리는 동의 없이 쓰지 마세요.

3단계: 작게 시작해 입력 조합 검증

공식 문서에 명시되지 않은 입력 조합은 직접 시험해 봐야 합니다. 이미지 1장과 5초 길이처럼 가장 단순한 조건에서 시작하세요. 공개된 속도 실험에도 단일 이미지·5초 조건이 포함돼 있어 비교 기준으로 삼기 좋습니다. 입력 조합을 하나씩 늘려 가며, 어떤 조합이 의도대로 동작하는지 기록하세요.

4단계: 내 장비의 지연 직접 측정

8×GB200의 수치는 참고만 하세요. 사용하는 장비에서 같은 방식으로 재야 합니다. 측정 방법은 공개된 실험을 따라 하면 됩니다.

① 첫 실행은 워밍업으로 버립니다.
② 시드를 바꿔 여러 번 측정합니다.
③ 평균과 편차를 함께 기록합니다.
④ 모델 로딩 시간은 따로 잽니다.

5단계: 클립을 이어 붙이는 편집 흐름 설계

한 클립이 5~15초이므로, 긴 영상은 여러 클립을 이어 붙이는 구조로 설계해야 합니다. 클립 간 일관성은 같은 참조를 반복해서 넣는 방식으로 확보하는 것이 자연스러운 출발점입니다. 컷 편집, 자막, 색 보정, 음량 균형 같은 후반 작업은 여전히 필요합니다.

6단계: 품질은 직접 눈과 귀로 판단

공개된 속도 실험은 품질을 입증하지 않습니다. 결과물은 사용 목적에 맞는 기준으로 직접 검토하세요.

① 입 모양과 음성이 맞는가
② 참조한 인물·사물이 클립 내내 유지되는가
③ 음성 톤이 참조와 가까운가
④ 의도하지 않은 노이즈나 왜곡이 없는가

기본 모델과 나란히 같은 입력으로 생성해 비교해 보는 것이 가장 확실한 방법입니다.

자주 묻는 질문

Q1. 가중치를 받아 상업 서비스에 바로 써도 되나요?

바로 쓰면 안 됩니다. 가중치 라이선스는 MiniMax H3 Community License로 표시돼 있고, 미국·한국을 포함한 일부 지역은 별도 신청 경로가 있습니다. 내려받는 시점의 라이선스 원문으로 사용 조건과 지역 제한을 확인하고, 상업 이용은 법무 검토를 거치세요.

Q2. 5.6~11.9배 빨라졌다면 일반 GPU에서도 같은 효과가 있나요?

보장되지 않습니다. 이 수치는 8×GB200과 특정 서빙 구성에서 27개 워크로드로 측정한 결과입니다. 10월 21일에 DGX Spark와 RTX 5090의 로컬 실행 구성이 소개됐지만, 이 장비의 속도는 별도로 측정해야 합니다.

Q3. 이 모델로 1분짜리 영상을 한 번에 만들 수 있나요?

공개된 사양은 5~15초 클립입니다. 더 긴 영상은 여러 클립을 만들어 이어 붙이는 방식이 되고, 편집 작업이 그대로 필요합니다.

참고 자료

- FastVideo(Hao AI Lab) 공식 블로그: https://haoailab.com/blogs/fastvideo-omniref-update/

- Nuva Lab 공개 가중치 안내: https://nuvalab.ai/blog/fasth3-omni-open-weights-release/

- MiniMax H3 라이선스 안내: https://platform.minimax.io/h3-license

- Hugging Face FastVideo 모델 페이지: huggingface.co

마무리: 참조 입력의 가능성은 확인됐고, 적용 조건은 직접 검증할 차례

이번 공개에서 확정된 것은 분명합니다. 이미지·영상·음성 참조를 합쳐 최대 12개까지 넣고, 5~15초 길이의 영상과 동기화된 음성을 한 번에 만드는 오픈 웨이트 모델이 나왔습니다. 평가 횟수를 50회에서 8회로 줄였고, 8×GB200 조건에서 지연이 5.6~11.9배 낮았다는 자체 실험 결과가 함께 공개됐습니다.

동시에 모르는 것도 분명합니다. 품질이 기본 모델과 같은지, 로컬 장비에서 얼마나 빠른지, 특정 입력 조합이 어떻게 동작하는지는 공개된 자료에서 확인되지 않습니다. 미국·한국에서의 사용 범위도 라이선스 원문으로 직접 확인해야 합니다.

속도 수치는 참고 지표로, 라이선스는 선행 조건으로, 품질은 직접 검증할 항목으로 나눠 다루는 것이 이 모델을 안전하게 검토하는 방법입니다.