AI热点 2月前 114 阅读 0 评论

SDS 技术首次用于音频:英伟达携手 MIT 推 Audio-SDS,参数化控制 AI 音效生成

作者头像

AI技术专栏作家 | 发布了 246 篇文章

SDS 技术首次用于音频:英伟达携手 MIT 推 Audio-SDS,参数化控制 AI 音效生成
SDS 技术首次用于音频:英伟达携手 MIT 推 Audio-SDS,参数化控制 AI 音效生成

IT之家 5 月 13 日消息,科技媒体 marktechpost 昨日(5 月 12 日)发布博文,报道称英伟达携手麻省理工学院(MIT),推出了 Audio-SDS,一种基于文本条件的音频扩散模型扩展技术。

音频扩散模型近年来在生成高质量音频方面表现卓越,但其局限在于难以优化明确且可解释的参数。

英伟达和 MIT 的科研团队首次将 Score Distillation Sampling(SDS)方法应用于音频领域,结合预训练模型的生成能力与参数化音频表示,无需大规模特定数据集,可应用于 FM 合成器参数校准、物理冲击音合成和音源分离三大任务。

SDS 技术广泛应用于文本生成 3D 图像和图像编辑中,英伟达融合该技术推出 Audio-SDS,结合预训练模型的生成先验知识,能够直接根据高级文本提示调整 FM 合成参数、冲击音模拟器或分离掩码。

研究团队通过基于解码器的 SDS、多步去噪和多尺度频谱图等方法,实验结果表明,Audio-SDS 在主观听觉测试和客观指标(如 CLAP 分数、信号失真比 SDR)上均表现出色。

Audio-SDS 的创新在于,它用单一预训练模型支持多种音频任务,消除了对大规模领域特定数据集的依赖。尽管如此,研究团队也指出,模型覆盖范围、潜在编码伪影和优化敏感性等问题仍需解决。

IT之家附上参考地址

  • Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond

  • Audio-SDS Overview

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!