给有想法、想表达,但不想出镜的人:用文案或录音,让观点通过画面与动效被看见。
Motion Skill 是给 Codex / Agent 使用的 voice-to-video Skill 与可编辑 Remotion 工程,支持按文稿编排无口播动效,也支持将已有录音编排成视频。默认 16:9,当前为 Beta 内测版。
English overview · 快速开始 · 提示词 · 常见问题 · 内测反馈 / 参与贡献
上方是48秒循环动图预览(静音)。
视频发布页 · 仓库内的MP4原文件 · 可编辑reference工程
96 项动效机制研究 · 19 个分类 · 5 类语义结构 · 48 秒有声 reference
这是一套给 Codex / Agent 使用的 Skill 和 Remotion 工程。它组织原声、实拍素材、字幕与 Motion Graphics;由 Agent 理解内容并编排镜头,Python 负责时间与约束检查,Remotion 负责预览和导出。
本 reference 在 Codex + GPT-6.1 Sol 中完成(模型名称按作者提供的标注),本地 Whisper 负责转写,Remotion 负责画面渲染。作者参与了视觉方向、实拍补充、ending 与字幕的反馈。它是一个真实迭代案例,不是“一条 prompt 保证任意音频全自动成片”的能力承诺。
你可能有很多想法,也愿意分享自己的观察,却总卡在“要不要露脸、怎么拍、怎么剪”这一步。可以先拿手机把话说出来,再让 Codex 配合 Motion Skill 把声音组织成画面。
- 不想出镜的创作者:用自己的声音分享观点、知识或生活观察。
- 有产品想法的设计师、开发者与独立创作者:用流程动效、真实截图或实拍解释一个问题与解决方式。
- 习惯先说再写的人:把一段核对过的语音整理成可观看、可继续修改的视频。
你负责内容、判断与最终确认,Agent 协助编排和实现。无需拍摄自己的脸;已有录音是最直接的起点。不出镜不等于匿名,声音及讲述内容仍可能识别身份;公开前请确认发布范围。
只看效果可以直接下载视频;制作自己的片子需要 Codex 或其他能读写工程、运行命令的 Agent,以及下方列出的本地环境。
录音不是必填项。已有 script 文稿模式可按文案、目标时长与阅读预算编排文字、图形、流程和片尾;没有音源时输出静音画面。example 是另一个模式,用于明确标注的结构演示,不代表完成了你的内容。
| 内容选择 | 当前工程的实际状态 |
|---|---|
| 只有文案,不录音 | 支持 script 模式,需 Agent 编排镜头与布局 |
| 录音+动效 | 支持 voice 模式,原声1×,默认要求同步字幕 |
| 动效音效(点击、滑动、落定等) | 可作为制作要求;当前无内置音效库、独立开关或自动配音效管线,需另行接入有权使用的音源与时间轴 |
| 背景音乐 | 可作为制作要求;需另行选曲、确认许可并混音,当前不自动添加 |
不录口播 ≠ 必须无声,录了口播 ≠ 不能加音效。 口播、动效音效、背景音乐是三个可分别选择的声音层。当前默认不自动添加音效或音乐;有需要请在提示词中明确,实际工程仍需实现与听检。
本次48秒reference只接入口播,实拍视频静音,没有额外添加音效或背景音乐。播放器的“原声开/关”只控制口播,不是音效选择器;首页GIF本身也不含声音。详见声音说明。
上图是机制的单帧示意;在本地打开 studies.html 可逐项播放 96 项研究。它们是二维/SVG/CSS 研究和近似效果,不是 96 项全新发明,也不是本片用了 96 个效果。
/motion-video 我不想出镜,但想分享这段录音里的观点。把这段音频做成“实拍素材混剪+MG 动效”:具体场景用实拍,抽象关系用动效。保留原声 1×,补上同步底部字幕。没有实拍素材时,请 Codex 按口播场景联网寻找并下载有明确使用许可的公开素材,保留作者与来源。片尾放大 [名称],配 [收尾文案],稳定停留至少三秒。完成后导出有声 MP4 和可编辑工程。
更完整的输入、素材与 ending 模板见 PROMPTS。尽量给出受众、唯一带走的结论、画幅和想要的片尾。没有仓库链接就不编造链接。
不写比例时,默认横屏16:9。 需要其他画幅时,在提示词中明确写出目标比例;也可以同时给出成片像素尺寸。
| 提示词中的要求 | 示例成片尺寸 | 排版方向 |
|---|---|---|
| 未指定比例,或“使用16:9横屏” | 1920×1080 | 横向展开 |
| “改成9:16竖屏” | 1080×1920 | 标题、画面与字幕上下重排 |
| “改成3:4竖版” | 1080×1440 | 收紧纵向留白,保留独立字幕区 |
可直接追加:
这条改成 9:16竖屏,1080×1920。请按竖屏重新排标题、实拍、动效、字幕和ending,保留原声1×。
或:
这条改成 3:4竖版,1080×1440,按这个比例重新组织构图与字幕安全区。
当前通用运行模板仍固定为16:9;9:16、3:4等是交给Codex的目标画幅要求,需要相应调整工程与布局后验证,不是只改比例数字就自动适配的现成开关。其他比例也请写清宽:高,必要时给出像素尺寸。详见画幅与版式。
可以在提示词里直接说:
我没有现成的实拍素材。请你根据口播里的具体场景,联网搜索并下载有明确使用许可的真实照片和短视频,优先使用可用的公开素材库。自行选取合适片段并静音,记录作者、原始页面和许可证,再接入工程。不需要我逐张挑选。
Codex需要有可用的联网搜索/下载能力;Skill本身没有内置素材搜索API。来源不清、付费或下载受限时,说明缺口,不把示意图或AI生成画面标成实拍,也不自动购买。本reference就采用了从公开来源获取的工作台照片和手机实拍视频,详见制作记录。
| 内容 | 核对后的数量 / 状态 |
|---|---|
| 机制研究 | 96 项,19 类,目录按 ID 对应源码 |
| 通用语义 renderer | 5 类:collect / connect / compare / evidence / conclusion |
| 导演与工程能力 | 12 项能力矩阵,逐项标明通用模板 / reference / 限制 |
| 本 reference | 7 段语义镜头、25 条字幕、1 张实拍照片、5.4 秒实拍视频 |
| 原声与输出 | 原声 48.064s、1×;1920×1080、30fps、H.264/AAC |
| 历史组合 | 目录保留历史组合记录;当前研究 UI 不开放它们,不计入可用模板数 |
准备 Node.js 22+、Python 3、FFmpeg 与已有 Chrome/Chromium。没有内置 ASR、模型、密钥或浏览器下载器。
npm ci --ignore-scripts
python3 scripts/prepare-reference.py --fetch-stock
npm run check
npm run build
npm run verify:frames
npm run preview打开 http://127.0.0.1:4341/ 查看可编辑时间轴;/studies.html 浏览机制。--fetch-stock 会从已署名的 Unsplash / Pixabay 来源下载素材,并准备静音 B-roll。下载文件只留在本机,不进 Git。原始录音未分发;参考工程从已公开、已获发布授权的示范片提取配音副本。
导出:
npm run render输出在 examples/voice-to-video/outputs/。如浏览器未找到,设置 REMOTION_BROWSER_EXECUTABLE 为本机 Chrome/Chromium 的路径。首次浏览器渲染仍受平台、字体和资源可用性影响。
将整个仓库放到你的 Agent 可读取的 Skill 目录,保持文件结构,显式调用 /motion-video 或 $motion-video。Codex 的常见安装位置是 ~/.codex/skills/motion-video;也可以从任何本地目录读取 SKILL.md。此步骤不修改 Agent 的全局配置。
python3 scripts/motion.py doctor --deps "$PWD/node_modules"
python3 scripts/motion.py new --dest /tmp/my-motion-film --deps "$PWD/node_modules"第二条先生成明确标注的静音结构示例。真实口播需要已核对的 transcript、story 和字幕数据,再带 --media、--story、--transcript、可选 --captions 创建新工程。见 GETTING_STARTED。
欢迎改成自己的视觉语言:
- reference:
examples/voice-to-video/src/theme.json - 新片模板:
story.json → brand.blue / brand.ink / brand.paper - 96 项研究的主要配色:
assets/runtime/src/studies/palette.json
仓库附蓝、紫、珊瑚三组起点;材质高光、灰阶和第三方实拍不会被一键自动重着色。配置示例、适用范围和对比度检查见 CUSTOMIZATION。
- 先核对转写。 专有名词、口误、字幕断句和时标仍需检查;没有绑定 ASR 服务。
- 保持原声。 不为凑时长偷偷加速、延后或截断人声。读不完先减屏幕信息。
- 字幕与大字各司其职。 底部字幕跟原话走;主文案讲结论。voice 模式默认要求字幕,明确不要时才关闭。
- 实拍有出处。 不把素材示意当成用户本人、实际产品 UI、真实业绩或本人经历。
- 动效为意思服务。 研究库不自动做语义导演;复杂机位、素材与版式仍要按本片改源码。
- 检查实际视频。 规则、构建和 DOM 检查通过不等于观众看懂;要复看声画、字幕与 ending。
- 发布前脱敏。 原始音视频、ASR 原件、设备/位置元数据、本机绝对路径、密钥和无关历史不进公开包。
本案例还有两处轻量 ASR 文字修正,未隐藏为“机器逐字零误差”;见 reference 制作记录。
不主张所有技法原创。 已记录的参考包括 Oreo UI、Paper Shaders、Juan Mora Romero、Jérémie Nallet / Atelier UI、Noor Mtir / Paperlab、Codrops、Kimi 视频参考集、Camera Controls、Theatre.js。逐项对应见 ATTRIBUTION。
工具、模板编排层和 reference 工程中由本仓库贡献者持有版权的代码采用 MIT,历史研究档案、字体、依赖、实拍素材与示范片有明确排除范围,见 LICENSE_SCOPE。早期 1–64 项逐项出处记录不完整,因此不把研究档案重新授予 MIT,也不把相关技法说成本仓库发明。
欢迎按许可范围 Fork、改配色、优化字幕、改进机位、补来源记录和提交 PR。提交新效果时请附来源、使用范围和实际预览;计数按有独立 ID 的可运行机制记录,不用配色变化凑数。
内测遇到问题或想贡献配色、竖屏版式、来源记录,请先看 贡献与反馈指南。关于搜索可发现性、AI 引用信息及本轮检查范围,见 文档维护记录。

