AudioLCM：浙江大学与阿里巴巴联合推出的高质量文本到音频生成模型

发布时间：2025-09-21 00:32:52 阅读量： 0 来源： 互联网转载

文本到音频生成(Text-to-Audio Generation, 简称 TTA)作为生成任务的一个子领域，涵盖了音效创作、音乐创作和合成语音，具有广泛的应用潜力。在影视后期制作、电子游戏开发、音频编辑等领域，高质量的文本到音频生成模型能够显著提高工作效率和创作质量。然而，传统的潜在扩散模型(Latent Diffusion Models, LDMs)尽管在多个生成任务中表现卓越，但其迭代采样过程带来了巨大的计算负担，导致生成速度缓慢，限制了它们在实际 TTA 应用中的部署。为了解决这一问题，浙江大学与阿里巴巴联合提出了一种新型的高效高质量文本-音频生成模型——AudioLCM。

一、AudioLCM是什么

AudioLCM 是一种基于一致性模型(Consistency Models, CMs)和潜在扩散模型(LDMs)的新型文本到音频生成模型。该模型通过集成一致性模型到生成过程中，并引入多步常微分方程(multi-step ODE)求解器的指导一致性蒸馏技术，极大地提高了生成速度和音频质量。同时，AudioLCM 还集成了 LLaMA 开创的先进技术，增强了基于 Transformer 的神经网络架构，进一步提升了模型的性能和训练稳定性。

二、功能特色

高效生成：AudioLCM 通过集成一致性模型，避免了传统 LDMs 依赖迭代过程去除噪声的缺点，实现了快速推理。实验结果显示，AudioLCM 仅需 2 次迭代即可合成高保真音频，同时保持了与使用数百步的最先进模型竞争的样本质量。在单个 NVIDIA 4090Ti GPU 上，AudioLCM 实现了超越实时 333 倍的采样速度，使生成模型在文本到音频生成部署中实际可行。
高质量输出：AudioLCM 通过引入多步 ODE 求解器进行单阶段的指导一致性蒸馏，克服了 LDMs 固有的收敛问题，减少了迭代步骤，同时保持了样品质量。实验结果显示，AudioLCM 生成的音频样本在频谱和分布上与真实音频的差异最小，证明了其高质量的输出能力。
强大的文本到音频合成性能：AudioLCM 通过集成 LLaMA 的先进技术，增强了基于 Transformer 的神经网络架构，提供了更高的性能和训练稳定性。这使得 AudioLCM 在文本到音频合成任务中表现出色，能够生成自然、准确的音频样本。
易于使用和扩展：AudioLCM 的代码已经开源，用户可以在 GitHub 上获取。仓库中包含了详细的指南和脚本，方便用户快速上手和扩展。同时，AudioLCM 支持多种数据集和预训练模型，用户可以根据需要进行选择和调整。

三、技术细节

一致性模型(CMs)的集成：AudioLCM 通过将一致性模型集成到生成过程中，实现了快速推理。一致性模型通过将任意时间步的任何点映射到轨迹的初始点，避免了因为减少反向迭代导致感知质量显著下降的问题。这使得 AudioLCM 在保持高质量输出的同时，显著提高了生成速度。
多步常微分方程(ODE)求解器的引入：为了克服 LDMs 的收敛问题并减少迭代步骤，AudioLCM 引入了多步 ODE 求解器进行单阶段的指导一致性蒸馏。这项创新在保持样品质量的同时，大幅度缩短了时间步长，从数千步减少到数十步，实现了快速的收敛。
增强的 Transformer-based 骨干网络：AudioLCM 通过集成 LLaMA 的先进技术，增强了基于 Transformer 的神经网络架构。这些技术包括预归一化、旋转嵌入和 SwiGLU 激活等，为量身定制的因果变压器架构提供了更高的性能和训练稳定性。这使得 AudioLCM 在文本到音频合成任务中表现出色。
反向扩散过程的 PF-ODE 重定义：为了减少计算开销并提升性能，AudioLCM 重新定义了反向扩散过程的 PF-ODE。引入一致性函数，将一致性噪声预测模型参数化以满足边界条件。通过利用 DDIM 作为 ODE 求解器在训练时确切估计音频潜在变量的演变，AudioLCM 实现了快速收敛和高质量生成。

四、应用场景

AudioLCM 作为一种高效高质量的文本到音频生成模型，具有广泛的应用场景。以下是几个典型的应用场景：

影视后期制作：在影视后期制作中，AudioLCM 可以用于生成各种音效和音乐。例如，通过输入文本描述，AudioLCM 可以快速生成符合剧情需求的背景音乐和特效音效，提高影视作品的制作效率和质量。
电子游戏开发：在电子游戏开发中，AudioLCM 可以用于生成游戏中的音效和背景音乐。通过输入游戏场景和角色的文本描述，AudioLCM 可以快速生成符合游戏氛围的音效和背景音乐，增强游戏的沉浸感和代入感。
音频编辑：在音频编辑领域，AudioLCM 可以用于生成各种语音样本和音效。例如，通过输入文本描述，AudioLCM 可以快速生成符合需求的语音样本和音效素材，为音频编辑工作提供便利。
语音合成：AudioLCM 还可以用于语音合成领域。通过输入文本描述，AudioLCM 可以生成自然、准确的语音样本，为语音合成技术提供新的解决方案。

六、相关链接

AudioLCM 论文链接：https://arxiv.org/html/2406.00356
AudioLCM 代码仓库链接：https://github.com/liuhuadai/AudioLCM

七、总结

AudioLCM 是一种基于一致性模型和潜在扩散模型的新型文本到音频生成模型。该模型通过集成一致性模型到生成过程中，并引入多步常微分方程求解器的指导一致性蒸馏技术，实现了高效高质量的文本到音频生成。AudioLCM 在影视后期制作、电子游戏开发、音频编辑和语音合成等领域具有广泛的应用前景。随着技术的不断发展和完善，AudioLCM 有望在更多领域发挥重要作用，为文本到音频生成技术的发展带来新的突破。

下一篇: HelloMeme：开源AI面部表情与姿态迁移框架

AudioLCM：浙江大学与阿里巴巴联合推出的高质量文本到音频生成模型

热门文章