AI热点 3小时前 195 浏览次数 0 评论

6秒造一个「视频博主」,Pika让一切图片开口说话

机器之心Pro

全球人工智能信息服务 发布了 144 文章

机器之心报道

编辑:+0

制作一个视频需要几步?可以简单概括为:拍摄 + 配音 + 剪辑。

还记得 veo3 发布时引起的轰动吗?「音画同步」功能的革命性直接把其他视频生成模型按在地上摩擦,拍摄 + 配音 + 粗剪一键搞定。

那如果我就是想用自己迷人的声音呢?或者我自带精妙绝伦的配音?有没有其他解决方案?

有的朋友,有的!

8 月 11 日,Pika 推出了一个名为「音频驱动表演模型」(Audio-Driven Performance Model)的新模型。

Pika 允许用户上传音频文件(如语音、音乐、说唱或任何声音片段),并结合静态图像(如自拍或任意图片)生成高度同步的视频。视频中的角色会自动匹配音频,实现精确的口型同步(lip sync)、自然的表情变化和流畅的身体动作。

<button type="button" class="xg-icon-play"></button> <svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78"> </svg>重播
<button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
播放
00:00 / 00:00 直播
00:00
<button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
进入全屏
<button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
50
    点击按住可拖动视频
    <svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20"> </svg>
    <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>

    更通俗一点说就是,让任何一张静态图片,跟着你给的音频动起来,而且是活灵活现的那种。

    你随便扔给它一张自拍,再配上一段马保国的「年轻人不讲武德」,你照片里那张帅气的脸,马上就能口型神同步,连眉毛挑动的时机都分毫不差,主打一个「本人亲授」。

    这事儿要是放以前,你起码得是个顶级特效师,捣鼓个十天半个月才能弄出来。现在,Pika 告诉你,平均只要 6 秒

    你没看错,就是 6 秒。你上个厕所的功夫,那边视频都生成好了,而且还是 720p 高清,长度不限,想让蒙娜丽莎给你唱一整首《忐忑》都行。

    不过目前功能仅限 iOS 端,且需要邀请码,期待功能尽快开放。

    话不多说,我们来看看网友测评。

    首先来看看我们前面提到的自拍 + 音频,效果可以说是相当惊艳了。

    <video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/fa085a4b7014e97e0160e42c7b8c64a6/689c5c77/video/tos/cn/tos-cn-ve-e5b010/osNDFBBuD59BnCucIQOIEfluNPnwoEJJzAfhgi/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=1193&bt=1193&cs=0&ds=4&ft=WbaUMqBrffPdO.~SN1jNvAq-antLjrKjqB2CRkabNdDGejVhWL6&mime_type=video_mp4&qs=0&rc=PDU7OTU0Nzw2OGQ3OjhoaUBpajo2a3g5cmU2NTUzNDs6M0BgLzRiX2M1XjAxYDAwYC4zYSNmczFvMmRra2JhLS1kNmFzcw==&btag=c0000e00028000&dy_q=1755074055&feature_id=59cb2766d89ae6284516c6a254e9fb61&l=202508131634155F651032257CAB2679E6"></video>
    不支持的音频/视频格式 请试试刷新
    <button type="button" class="xg-icon-play"></button> <svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78"> </svg>重播
    <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
    播放
    00:00 / 00:00 直播
    00:00
    <button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
    进入全屏
    <button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
    50
      点击按住可拖动视频
      <svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20"> </svg>
      <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>

      • 地址:https://x.com/WilliamLamkin/status/1954940047624372508

      不论是说唱部分还是歌曲部分,唇同步准确性非常高,避免了以往 AI 视频中常见的「假唱」问题。

      你如果仔细观察会发现说唱部分中间有一段停顿,人物的表情神态也很自然,活人感十足。不过也不是完美无缺,男歌手的手看起来就怪怪的。

      Pika 官方也分享了几个用户制作的精彩视频。

      • 地址:https://x.com/pika_labs/status/1955007656302924192

      对于不同语言,Pika 生成的效果看起来也非常不错。

      <video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/67b06428b5533a232d6c8114676269ff/689c5c32/video/tos/cn/tos-cn-ve-e5b010/ocJAQGbcKPoEfBxDoKDDxI5sCnPhEuFg6mC5uf/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=1146&bt=1146&cs=0&ds=3&ft=hGkwBy6LRR0s~dC52Dv2Nc.xBiGNbLNMHDdU_4w1XwTJNv7TGW&mime_type=video_mp4&qs=0&rc=ZDU2ZjppZTo3OTloODdnOUBpM3VleW45cmg2NTUzNDs6M0AvMV40NWIzNTAxYF80YC4uYSNrL2wwMmRja2JhLS1kNi9zcw==&btag=c0000e00010000&dy_q=1755074055&feature_id=5ecd8ea3ca9c3306454bb2c337ee3553&l=2025081316341501B61E56F0C43362EA1F"></video>
      不支持的音频/视频格式 请试试刷新
      <button type="button" class="xg-icon-play"></button> <svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78"> </svg>重播
      <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
      播放
      00:00 / 00:00 直播
      00:00
      <button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
      进入全屏
      <button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
      50
        点击按住可拖动视频
        <svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20"> </svg>
        <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>

        还可以生成一段不是吉米的吉米秀,AI 演员的表现力非常不错。

        <video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/063d38d43cd9ce34b2a62a5d02fdc121/689c5c38/video/tos/cn/tos-cn-ve-e5b010/o4ARIIOXiCTzeGHhnGEDpqecLAegIReGKmj9ww/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=1072&bt=1072&cs=0&ds=3&ft=hGkwBy6LRR0s~dC52Dv2Nc.xBiGNbLNMHDdU_431XwTJNv7TGW&mime_type=video_mp4&qs=0&rc=Njc8OTU2ZTU0aDk4Z2VkZ0BpMzRxcHI5cmo2NTUzNDs6M0BgMC4xXy0xXi0xNl8vLmFhYSNqMTNjMmRza2JhLS1kNi9zcw==&btag=c0000e00018000&dy_q=1755074055&feature_id=5ecd8ea3ca9c3306454bb2c337ee3553&l=202508131634152E8DB650BBD11C86112A"></video>
        不支持的音频/视频格式 请试试刷新
        <button type="button" class="xg-icon-play"></button> <svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78"> </svg>重播
        <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
        播放
        00:00 / 00:00 直播
        00:00
        <button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
        进入全屏
        <button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
        50
          点击按住可拖动视频
          <svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20"> </svg>
          <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>

          用来拍电影怎么样?让亚洲面孔的大叔一口印式英语,吐槽露营的糟糕体验。

          <video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/3b9a1d272651e0b9c02dfba13b65fea0/689c5c33/video/tos/cn/tos-cn-ve-e5b010/ogXMWELiOmwe4JfwAATLQ8hFMecXiinlfCmGAS/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=728&bt=728&cs=0&ds=4&ft=hGkwBy6LRR0s~dC52Dv2Nc.xBiGNbLNMHDdU_4X1XwTJNv7TGW&mime_type=video_mp4&qs=0&rc=PDtkOjU7OmhpZjVmNGU0NEBpM3E4OHA5cnI2NTUzNDs6M0AyMGAuMTM1XjQxMjQzXzAuYSMvbTIvMmRra2JhLS1kNjBzcw==&btag=c0000e00010000&dy_q=1755074055&feature_id=59cb2766d89ae6284516c6a254e9fb61&l=202508131634153779C0479D04D8E8681D"></video>
          不支持的音频/视频格式 请试试刷新
          <button type="button" class="xg-icon-play"></button> <svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78"> </svg>重播
          <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
          播放
          00:00 / 00:00 直播
          00:00
          <button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
          进入全屏
          <button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
          50
            点击按住可拖动视频
            <svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20"> </svg>
            <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>

            还可以直接来一场 live 秀!

            <video class="" playsinline="true" x5-playsinline="true" webkit-playsinline="true" tabindex="2" mediatype="video" src="https://v9-web.toutiaovod.com/706382a7cf33ab3a69af4b82c205b78b/689c5c36/video/tos/cn/tos-cn-ve-e5b010/oYgmwLi9OEOmCbGeReXx9MAAIf8bocQl35fnGV/?a=24&ch=0&cr=0&dr=0&er=0&cd=0|0|0|0&br=960&bt=960&cs=0&ds=3&ft=hGkwBy6LRR0s~dC52Dv2Nc.xBiGNbLNMHDdU_4y1XwTJNv7TGW&mime_type=video_mp4&qs=0&rc=N2loNWc2NzRmOTw5NDxkO0BpM3N1b245cnY2NTUzNDs6M0BjYTVhXjE1XmExYzFhMi81YSNpb2o0MmRra2JhLS1kNjBzcw==&btag=80000e00018000&dy_q=1755074055&feature_id=5ecd8ea3ca9c3306454bb2c337ee3553&l=202508131634156B4473C132B95063F3EF"></video>
            不支持的音频/视频格式 请试试刷新
            <button type="button" class="xg-icon-play"></button> <svg xmlns="http://www.w3.org/2000/svg" class="xgplayer-replay-svg" viewBox="0 0 78 78" width="78" height="78"> </svg>重播
            <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>
            播放
            00:00 / 00:00 直播
            00:00
            <button type="button" class="xg-get-fullscreen"></button><button type="button" class="xg-exit-fullscreen"></button>
            进入全屏
            <button type="button" class="xg-volume-small"></button><button type="button" class="xg-volume"></button><button type="button" class="xg-volume-mute"></button>
            50
              点击按住可拖动视频
              <svg xmlns="http://www.w3.org/2000/svg" width="20" height="20" viewBox="0 0 20 20"> </svg>
              <button type="button" class="xg-icon-play"></button><button type="button" class="xg-icon-pause"></button>

              我们可以预见,它将很快成为社交媒体上的新宠,诞生无数有趣的 Meme 和创意短片。

              但它的潜力远不止于此:独立游戏开发者可以用它快速生成 NPC 对话动画,教育工作者可以制作更生动的讲解视频,甚至在不远的将来,我们每个人都能拥有一个专属的、能言善辩的 AI 数字分身。

              当然,技术总是一把双刃剑。当任何图片都能被赋予任何声音时,如何辨别信息的真伪也成了我们必须面对的新课题。

              但无论如何,一个全民参与、创意迸发的视频新时代,似乎已经敲响了大门。下一个引爆全网的病毒视频,或许就将出自你我之手。

              视频链接:https://mp.weixin.qq.com/s/EBQUtfKuPaXNLpAZcsM3NQ

              机器之心Pro

              机器之心Pro

              全球人工智能信息服务

              144 文章 19474 浏览次数 0 粉丝

              评论 (0)

              睡觉动画