AI 칼럼

영상@donghyeok99운영진

rea-video: 영상을 숏마다 뜯어 만든 법을 알려 주는 스킬

상품을 바꾼 AI 리메이크 광고를 넣으니 「전부 AI, 8숏은 3번 생성이면 된다」고 갈라 낸 스킬

필름을 훑으며 숏을 자르고 실사·AI·코드로 가른 뒤, 목소리와 음악을 나누고 report.html에 비율을 적는 장면이에요.
필름을 훑으며 숏을 자르고 실사·AI·코드로 가른 뒤, 목소리와 음악을 나누고 report.html에 비율을 적는 장면이에요.
누가
JuneYaooo가 만든 오픈소스(Apache-2.0). 잘 만든 영상을 보고 어떻게 만들었는지 알고 싶은 크리에이터와 마케터용이에요.
언제
2026년 10월 29일 공개, 아직 정식 릴리스 없이 매일 고쳐지는 중이에요(11월 7일 기준).
어디서
Claude Code, Codex처럼 명령을 실행하는 에이전트에서, 내 PC의 ffmpeg와 Python 3.10+로 돌아가요. 시각 모델은 선택이에요.

이게 불편했어요

잘 만든 숏폼 광고를 보면 따라 만들고 싶어지는데, 어디까지 찍은 거고 어디부터 AI인지 눈으로는 잘 안 보여요. 플랫폼에서 받은 영상은 재압축돼 단서도 지워져 있고, 자막 타이밍이나 배경음악 BPM은 하나하나 재 봐야 했어요.

그래서 이렇게 풀어요

영상 하나를 주면 숏을 나누고 목소리·음악·효과음을 갈라낸 뒤, 숏마다 실사·AI 영상·3D·코드 렌더 등 11가지 중 무엇인지 증거와 함께 판정해요. 핵심은 「그럴듯해 보인다」보다 프레임 주기, 센서 노이즈, 메타데이터의 AIGC 표시 같은 측정값을 먼저 믿는다는 점이에요. 판정이 엇갈린 숏은 에이전트가 직접 이미지를 보고 다시 검토하고, 끝에 찍을 것·생성할 것·코드로 만들 것을 나눈 리메이크 계획을 줘요.

왼쪽은 폰으로 찍은 틱톡 광고, 오른쪽은 상품을 바꾼 AI 리메이크예요.
왼쪽은 폰으로 찍은 틱톡 광고, 오른쪽은 상품을 바꾼 AI 리메이크예요.
분해한 뒤 다시 만든 영상: 원본과 리메이크 네 버전을 맞춰 틀었어요.
분해한 뒤 다시 만든 영상: 원본과 리메이크 네 버전을 맞춰 틀었어요.
AI 인물, 코드 UI, 실제 화면 녹화가 섞인 19초 클립도 숏마다 갈라요.
AI 인물, 코드 UI, 실제 화면 녹화가 섞인 19초 클립도 숏마다 갈라요.

이걸로 만든 사람들

GitHub@wusanjay2026-11-05

123초짜리 더우인 토킹헤드 영상을 돌려 에이전트가 15개 숏을 하나씩 다시 봤어요. 어두운 배경의 실사 근경이 AI로 남는 문제를 찾아 고친 PR까지 냈어요.

一条 123s 的抖音口播视频(暗背景、单侧灯条、近景、无运镜),agent 看图复核后对 15 个镜头逐镜给出 label_probs

안에서는 이렇게 돌아가요

  1. 1

    나 → Claude Code

    저장소 주소와 영상 경로 한 줄README의 한 줄을 붙이면 에이전트가 CLI를 설치하고 작업 순서를 익혀요.README.md
  2. 2

    Claude Code → rea-video 스킬 (SKILL.md)

    표준 흐름 읽기분해, 요약, 이미지 검토, 반영 순서와 「확실하지 않으면 확인 필요라고 쓰기」 원칙을 읽어요.skills/rea-video/SKILL.md
  3. 3

    Claude Code → rea-video CLI

    rea-video decompose ref.mp4 -o out/refCLI가 분해 명령을 받아 파이프라인을 시작해요.rea_video/cli.py
  4. 4

    rea-video CLI → breakdown.json

    숏 경계와 목소리·음악 분리장면 전환으로 숏을 자르고 오디오를 목소리, 음악, 효과음 트랙으로 나눠요.rea_video/shots.py
  5. 5

    rea-video CLI → breakdown.json

    숏마다 11가지 중 판정AIGC 표시와 프레임 주기 같은 강한 증거를 「그럴듯해 보임」보다 먼저 써서 확률을 매겨요.rea_video/classify.py
  6. 6

    Claude Code → breakdown.json

    rea-video review → apply-review확신이 낮은 숏은 에이전트가 이미지를 직접 보고 답을 적어 결과에 합쳐요.rea_video/review.py
  7. 7

    breakdown.json → report.html

    숏별 증거·프롬프트·리메이크 계획무엇을 찍고, 무엇을 생성하고, 무엇을 코드로 만들지 나눈 보고서를 써요.rea_video/report.py

넣으면 이렇게 나와요

폰으로 찍은 틱톡 광고전부 실사, 세트 하나에 카메라 위치 두 곳
상품을 바꾼 AI 리메이크전부 AI, 8숏을 3번 생성으로
70초 제품 홍보 영상83%가 코드 모션그래픽, Remotion 프로젝트 하나로
165초 AI 뮤직비디오노래를 AI 생성으로 판정(실제로 Suno 제작)

나한테 맞을까요

이럴 때 좋아요

  • 잘 된 숏폼 광고가 어떻게 찍혔는지 배우고 싶을 때
  • 실사인지 AI인지 근거를 갖고 판단해야 할 때
  • 리메이크 전에 촬영, 생성, 코드 작업을 나눠 견적을 내고 싶을 때
  • 자막 타이밍을 SRT나 ASS로 뽑고 싶을 때

이건 안 돼요

  • 상세 문서는 아직 중국어예요(README 기준). 보고서는 중국어나 영어로 나와요.
  • 플랫폼에서 받은 재압축 영상은 도구만으로 88.6%라서, 시각 모델이나 에이전트 검토를 더하는 게 좋아요(README 기준).
  • 영상을 직접 렌더하지는 않아요. 자동 생성은 capsule-cinema 쪽이고 유료 모델을 불러요.
  • 남의 영상 소재를 그대로 다시 올리는 용도가 아니에요. 권리가 있는 소재로 다시 만들라고 해요.

발행 전에 Devalley 편집자가 검토했어요. 칼럼은 어떻게 만드나요

로그인하면 글을 쓰고 댓글과 좋아요로 참여할 수 있어요.로그인

신고하기

사유

커뮤니티 규칙 보기