机器之心报道
编辑:+0
制作一个视频需要几步?可以简单概括为:拍摄 + 配音 + 剪辑。
还记得 veo3 发布时引起的轰动吗?「音画同步」功能的革命性直接把其他视频生成模型按在地上摩擦,拍摄 + 配音 + 粗剪一键搞定。
那如果我就是想用自己迷人的声音呢?或者我自带精妙绝伦的配音?有没有其他解决方案?
有的朋友,有的!
8 月 11 日,Pika 推出了一个名为「音频驱动表演模型」(Audio-Driven Performance Model)的新模型。
Pika 允许用户上传音频文件(如语音、音乐、说唱或任何声音片段),并结合静态图像(如自拍或任意图片)生成高度同步的视频。视频中的角色会自动匹配音频,实现精确的口型同步(lip sync)、自然的表情变化和流畅的身体动作。
<button type="button" class="xg-icon-play"></button>
<svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78">
</svg>重播
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
播放
00:00
/
00:00
直播
<button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
进入全屏
<button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
50
<svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20">
</svg>
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
更通俗一点说就是,让任何一张静态图片,跟着你给的音频动起来,而且是活灵活现的那种。
你随便扔给它一张自拍,再配上一段马保国的「年轻人不讲武德」,你照片里那张帅气的脸,马上就能口型神同步,连眉毛挑动的时机都分毫不差,主打一个「本人亲授」。
这事儿要是放以前,你起码得是个顶级特效师,捣鼓个十天半个月才能弄出来。现在,Pika 告诉你,平均只要 6 秒。
你没看错,就是 6 秒。你上个厕所的功夫,那边视频都生成好了,而且还是 720p 高清,长度不限,想让蒙娜丽莎给你唱一整首《忐忑》都行。
不过目前功能仅限 iOS 端,且需要邀请码,期待功能尽快开放。
话不多说,我们来看看网友测评。
首先来看看我们前面提到的自拍 + 音频,效果可以说是相当惊艳了。
![]()
<video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/fa085a4b7014e97e0160e42c7b8c64a6/689c5c77/video/tos/cn/tos-cn-ve-e5b010/osNDFBBuD59BnCucIQOIEfluNPnwoEJJzAfhgi/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=1193&bt=1193&cs=0&ds=4&ft=WbaUMqBrffPdO.~SN1jNvAq-antLjrKjqB2CRkabNdDGejVhWL6&mime_type=video_mp4&qs=0&rc=PDU7OTU0Nzw2OGQ3OjhoaUBpajo2a3g5cmU2NTUzNDs6M0BgLzRiX2M1XjAxYDAwYC4zYSNmczFvMmRra2JhLS1kNmFzcw==&btag=c0000e00028000&dy_q=1755074055&feature_id=59cb2766d89ae6284516c6a254e9fb61&l=202508131634155F651032257CAB2679E6"></video>
不支持的音频/视频格式
请试试刷新
<button type="button" class="xg-icon-play"></button>
<svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78">
</svg>重播
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
播放
00:00
/
00:00
直播
<button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
进入全屏
<button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
50
<svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20">
</svg>
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
- 地址:https://x.com/WilliamLamkin/status/1954940047624372508
不论是说唱部分还是歌曲部分,唇同步准确性非常高,避免了以往 AI 视频中常见的「假唱」问题。
你如果仔细观察会发现说唱部分中间有一段停顿,人物的表情神态也很自然,活人感十足。不过也不是完美无缺,男歌手的手看起来就怪怪的。
Pika 官方也分享了几个用户制作的精彩视频。
- 地址:https://x.com/pika_labs/status/1955007656302924192
对于不同语言,Pika 生成的效果看起来也非常不错。
<video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/67b06428b5533a232d6c8114676269ff/689c5c32/video/tos/cn/tos-cn-ve-e5b010/ocJAQGbcKPoEfBxDoKDDxI5sCnPhEuFg6mC5uf/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=1146&bt=1146&cs=0&ds=3&ft=hGkwBy6LRR0s~dC52Dv2Nc.xBiGNbLNMHDdU_4w1XwTJNv7TGW&mime_type=video_mp4&qs=0&rc=ZDU2ZjppZTo3OTloODdnOUBpM3VleW45cmg2NTUzNDs6M0AvMV40NWIzNTAxYF80YC4uYSNrL2wwMmRja2JhLS1kNi9zcw==&btag=c0000e00010000&dy_q=1755074055&feature_id=5ecd8ea3ca9c3306454bb2c337ee3553&l=2025081316341501B61E56F0C43362EA1F"></video>
不支持的音频/视频格式
请试试刷新
<button type="button" class="xg-icon-play"></button>
<svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78">
</svg>重播
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
播放
00:00
/
00:00
直播
<button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
进入全屏
<button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
50
<svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20">
</svg>
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
还可以生成一段不是吉米的吉米秀,AI 演员的表现力非常不错。
<video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/063d38d43cd9ce34b2a62a5d02fdc121/689c5c38/video/tos/cn/tos-cn-ve-e5b010/o4ARIIOXiCTzeGHhnGEDpqecLAegIReGKmj9ww/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=1072&bt=1072&cs=0&ds=3&ft=hGkwBy6LRR0s~dC52Dv2Nc.xBiGNbLNMHDdU_431XwTJNv7TGW&mime_type=video_mp4&qs=0&rc=Njc8OTU2ZTU0aDk4Z2VkZ0BpMzRxcHI5cmo2NTUzNDs6M0BgMC4xXy0xXi0xNl8vLmFhYSNqMTNjMmRza2JhLS1kNi9zcw==&btag=c0000e00018000&dy_q=1755074055&feature_id=5ecd8ea3ca9c3306454bb2c337ee3553&l=202508131634152E8DB650BBD11C86112A"></video>
不支持的音频/视频格式
请试试刷新
<button type="button" class="xg-icon-play"></button>
<svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78">
</svg>重播
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
播放
00:00
/
00:00
直播
<button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
进入全屏
<button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
50
<svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20">
</svg>
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
用来拍电影怎么样?让亚洲面孔的大叔一口印式英语,吐槽露营的糟糕体验。
<video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/3b9a1d272651e0b9c02dfba13b65fea0/689c5c33/video/tos/cn/tos-cn-ve-e5b010/ogXMWELiOmwe4JfwAATLQ8hFMecXiinlfCmGAS/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=728&bt=728&cs=0&ds=4&ft=hGkwBy6LRR0s~dC52Dv2Nc.xBiGNbLNMHDdU_4X1XwTJNv7TGW&mime_type=video_mp4&qs=0&rc=PDtkOjU7OmhpZjVmNGU0NEBpM3E4OHA5cnI2NTUzNDs6M0AyMGAuMTM1XjQxMjQzXzAuYSMvbTIvMmRra2JhLS1kNjBzcw==&btag=c0000e00010000&dy_q=1755074055&feature_id=59cb2766d89ae6284516c6a254e9fb61&l=202508131634153779C0479D04D8E8681D"></video>
不支持的音频/视频格式
请试试刷新
<button type="button" class="xg-icon-play"></button>
<svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78">
</svg>重播
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
播放
00:00
/
00:00
直播
<button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
进入全屏
<button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
50
<svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20">
</svg>
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
还可以直接来一场 live 秀!
<video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/706382a7cf33ab3a69af4b82c205b78b/689c5c36/video/tos/cn/tos-cn-ve-e5b010/oYgmwLi9OEOmCbGeReXx9MAAIf8bocQl35fnGV/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=960&bt=960&cs=0&ds=3&ft=hGkwBy6LRR0s~dC52Dv2Nc.xBiGNbLNMHDdU_4y1XwTJNv7TGW&mime_type=video_mp4&qs=0&rc=N2loNWc2NzRmOTw5NDxkO0BpM3N1b245cnY2NTUzNDs6M0BjYTVhXjE1XmExYzFhMi81YSNpb2o0MmRra2JhLS1kNjBzcw==&btag=80000e00018000&dy_q=1755074055&feature_id=5ecd8ea3ca9c3306454bb2c337ee3553&l=202508131634156B4473C132B95063F3EF"></video>
不支持的音频/视频格式
请试试刷新
<button type="button" class="xg-icon-play"></button>
<svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78">
</svg>重播
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
播放
00:00
/
00:00
直播
<button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
进入全屏
<button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
50
<svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20">
</svg>
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
我们可以预见,它将很快成为社交媒体上的新宠,诞生无数有趣的 Meme 和创意短片。
但它的潜力远不止于此:独立游戏开发者可以用它快速生成 NPC 对话动画,教育工作者可以制作更生动的讲解视频,甚至在不远的将来,我们每个人都能拥有一个专属的、能言善辩的 AI 数字分身。
当然,技术总是一把双刃剑。当任何图片都能被赋予任何声音时,如何辨别信息的真伪也成了我们必须面对的新课题。
但无论如何,一个全民参与、创意迸发的视频新时代,似乎已经敲响了大门。下一个引爆全网的病毒视频,或许就将出自你我之手。
视频链接:https://mp.weixin.qq.com/s/EBQUtfKuPaXNLpAZcsM3NQ