Stable Video Portraits
Stable Video Portraits是一种创新的混合2D/3D生成方法，利用预训练的文本到图像模型（2D）和3D形态模型（3D）生成逼真的动态人脸视频。，Stable Video Portraits是一种创新的混合2D/3D生成方法，利用预训练的文本到图像模型（2D）和3D形态模型（3D）生成逼真的动态人脸视频。该技术通过人特定的微调，将一般2D稳定扩散模型提升到视频模型，通过提供时间序列的3D形态模型作为条件，并引入时间去噪过程，生成具有时间平滑性的人脸影像，可以编辑和变形为文本定义的名人形象，无需额外的测试时微调。该方法在定量和定性分析中均优于现有的单目头部化身方法
工具简介与核心定位
需求人群 目标受众包括但不限于：计算机视觉研究人员、人工智能开发者、数字媒体艺术家、电影和游戏制作人员。Stable Video Portraits技术因其逼真的动态人脸生成能力，特别适合需要创建虚拟角色或进行面部动画的专业人士。 使用场景 电影制作中，用于生成逼真的虚拟角色。 游戏开发中，用于创建具有高度真实感的NPC面部动画。 数字艺术领域，艺术家利用该技术创作独特的艺术作品。 产品特色 使用现成的3D面部重建方法、面部解析映射（FPM）模型和Mediapipe处理输入视频，提取每帧的3D面部重建（3DMM）、FPM和虹膜位置。 并行训练两个ControlNets，分别生成时间稳定的轮廓（第一阶段）和内部细节（第二阶段），生成逼真的个人化身。 个人化身可以通过文本进一步变形为名人，无需额外微调。 使用前一帧的预测，修改DDIM步骤t=τ的推理，以考虑前一帧，从而实现时间平滑输出。 面部变形功能，可以将个人化身变形为特定名人，如Scarlet Johansson或Emma Watson，并保持头部姿态一致性。 与当前单目头部化身方法的比较，展示其优越性。 通过消融研究，分析变形因子、输入控制和去噪过程变量对结果的影响。 使用教程 1. 访问Stable Video Portraits的官方网站。 2. 阅读有关该技术的研究论文和方法概述。 3. 下载并安装所需的软件和库。 4. 准备输入视频，确保视频质量满足3D面部重建的要求。 5. 使用3D面部重建方法、FPM模型和Mediapipe提取视频中的3DMM、FPM和虹膜位置。 6. 训练ControlNets以生成轮廓和内部细节。 7. 利用时间去噪过程生成时间平滑的视频输出。 8. 如有需要，通过文本输入调整个人化身的面部特征，以匹配特定名人的形象。
ADK 综合性能评测
核心特色与功能亮点 (Key Features)
典型应用场景与适用行业
核心能力
官方新手上手实操教程指南
1-STEP TUTORIAL准备训练数据并上传到Stable Video Portraits平台；2. 选择预训练模型和训练参数；3. 启动训练任务并监控进度；4. 评估模型效果，导出或部署使用。
1. 准备训练数据并上传到Stable Video Portraits平台；2. 选择预训练模型和训练参数；3. 启动训练任务并监控进度；4. 评估模型效果，导出或部署使用。
同类其它推荐 AI 工具
关于 Stable Video Portraits 的常见问题
Stable Video Portraits通常提供免费试用或免费基础版本，高级功能和更大使用量需要付费订阅。具体价格方案请以官网最新信息为准。
正规的训练模型工具通常会采取数据加密和隐私保护措施，但建议避免上传敏感个人信息或商业机密内容。使用前请仔细阅读产品的隐私政策。
Stable Video Portraits适合对训练模型有需求的人群使用，包括个人用户、自由职业者、中小企业以及大型企业的相关部门。具体适用场景因产品定位而异。
关联底层 AI技术 百科
点击查看 Stable Video Portraits 的底层模型原理，深入探索大算力神经网络构成：