
把参考视频里的动作迁移到图片主体上,需要一张清晰的主体图片和一段包含目标动作的参考视频。图片定义外观,视频提供手势与节奏。生成后,要分别检查动作是否跟随、主体是否仍然一致。
本文使用原创机器人图片和一段挥手视频展示这个流程,也记录了没有准确保留的细节。2026 年 9 月 12 日更新,加入新的真实生成示例。
需要专门的双输入流程,可以打开 Styvid AI 动作迁移。如果只有照片,希望由模型设计动作,可以先阅读动作控制与图片转视频的区别。
本次测试了什么
我们先生成蓝绿色机器人的挥手参考视频,再让另一张图片里的橙色机器人跟随动作。两次视频请求都通过 Seedance 2 模型 API 完成,参数为 720p、16:9、4 秒,关闭音频生成。返回文件均为 1280 × 720、24 fps,实际约 4.04 秒。
这是 Seedance 2 多模态参考输入的示例。专门的 Motion Control 工具使用另一种模型,结果可能不同。本文展示输入分工和检查方法,不是对所有动作迁移模型的评测。
1. 准备主体图片
源图是原创 AI 生成的橙色玩具机器人,站在简单的摄影棚背景中。全身可见,手与躯干分开,便于观察轮廓。

选择图片前,先列出需要保留的细节。本例中是橙色外观、白色椭圆眼睛、单根天线、圆形胸部凹槽和连指手套形状的手。轮廓清晰,才更容易判断动作过程中这些细节有没有变化。
还要为计划中的运动留出空间。参考动作需要把手举过头顶时,紧贴脸部的头像不能提供完整身体信息,也没有足够的动作空间。
2. 选择动作清楚的参考视频
本例参考视频包含一个机器人举起右手、挥手、再放下的动作。镜头保持全身视角,双脚大致停在原地。
第一次测试可以选择挥手、迈步、转身或点头这样的单一动作。还不了解工具如何处理主体时,尽量避免同时加入快速运镜、多人、切镜和复杂手势。
本例参考视频为教程专门生成。也可以使用你有权使用的实拍素材。选择动作时,先考虑它是否适合准备制作的镜头。
3. 分清图片与视频的作用
在动作控制页面,分别上传主体图片和参考视频。该页面的提示词为可选项,可以用来明确保留哪些外观,以及跟随哪些动作。
本文 Seedance 2 示例在多模态模式下,把橙色机器人作为参考图片,把蓝绿色机器人视频作为动作参考,没有把主体图片作为首帧。如果通过 Seedance 2复现,先选择参考输入流程,并在提交前核对可用选项。
实测使用的英文迁移提示词原文如下:
Use Image 1 as the exact orange robot character and studio appearance. Use Video 1 only as the reference for the robot arm gesture, timing and pose sequence. Animate the orange robot raising its right hand, waving and lowering its hand following the reference. Preserve the orange head shape, white oval eyes, single antenna, circular chest inset and white mitten hands from Image 1. Do not copy the blue color or body design from Video 1. Full body remains visible, feet planted, locked camera, gray studio. One continuous shot, no text, no additional objects.
这段描述把两个输入的作用分开:外观来自图片,手臂动作、节奏和姿态顺序来自视频,同时明确不要复制参考视频的蓝色身体。如果要求照搬参考视频的整体外观,就会与保留橙色机器人产生冲突。
4. 同时对照图片和参考视频检查结果
我们对两段视频进行了抽样画面检查。橙色机器人完成了主要动作顺序,保留了橙色外观、白色眼睛、天线和圆形胸部细节,没有复制蓝绿色参考机器人的身体。
但举起的手出现了明显分开的手指,源图中更简单的连指手套形状没有准确保留。因此,动作可以辨认,不等于角色设计完全一致。头部和身体的小幅运动也有差异,本例不能证明逐帧动作匹配。
| 检查项 | 本例观察结果 | | --- | --- | | 主要动作 | 输出中可见举手、挥手和放下。 | | 主要外观 | 橙色身体、白色眼睛、天线和胸部凹槽仍可辨认。 | | 手部细节 | 在举手动作中发生改变。 | | 参考节奏 | 大体顺序跟随参考,没有测量精确时间对齐。 | | 构图 | 抽样画面中全身保持可见。 |
5. 针对具体问题做下一次调整
根据用途选择最重要的问题。用于一个简短角色问候时,手部的小变化可能可以接受;如果角色必须遵守固定设计稿,同样的变化可能就不合格。
针对这个机器人,下一次可以尝试更简单的手势参考,或更明确地要求保留连指手套形状。我们没有进行这项追加比较,因此它只是修改建议,不是已经验证的解决方案。
其他问题需要不同的调整:
- 跟随动作的主体不对:选择只有一个清晰表演者的参考。
- 四肢离开画面:扩大源图构图,或选择裁剪范围更匹配的参考。
- 输出借用了参考中的服装或颜色:明确外观只来自主体图片。
- 只想要轻微运镜且没有动作参考:可以考虑普通图片转视频。
把动作放进具体的使用场合
挥手可以用于角色介绍,也可以作为演示视频的开场。这些是可参考的用途,实际选择取决于你的项目。先决定需要动作的哪一段,再考虑生成更长的内容。
例如,角色介绍可能需要机器人进场、向观众问好,再停下来为标题留出时间。本次实测只覆盖问候动作。进场、标题、音频和后续镜头都需要另外说明和检查。
常见问题
动作迁移和图片转视频一样吗?
两者都能让图片动起来,但动作迁移额外使用视频作为动作参考。普通图片转视频可以只用图片和文字运动要求开始。
能跟随手势,同时保留我的角色吗?
这是目标。本例跟随挥手顺序并保留了主要角色外观,但手部设计改变。需要分别检查身份和动作。
参考素材必须是舞蹈视频吗?
不需要。行走、转身、点头、挥手等清楚的动作都可以作为参考,本例使用的是问候动作。
示例由 Styvid 专门的 Motion Control 工具生成吗?
这次机器人示例通过 Seedance 2 模型 API 的多模态参考输入生成。专门的 Motion Control 页面使用另一种模型。两者都有图片加参考视频的输入思路,但具体设置和结果取决于模型。
能从 Creator 开始吗?
本教程链接到同时接受图片和参考视频的工具。Creator 当前的文章入口可以带入文字需求,但仅靠它的图片上传不能复现这个双输入流程。