阿里巴巴推AI画图框架(SCEdit)：可显著减少训练参数

发布时间：2025-09-21 11:25:19 阅读量： 0 来源： 互联网转载

阿里巴巴的新项目SCEdit是一个AI画图框架，可以显著减少训练参数、内存使用率和计算开销。在训练阶段，它减少了52%的内存消耗，仅利用ControlNet所需参数的7.9%，并实现内存使用量减少30%。

项目地址:https://scedit.github.io/

该项目的简介指出，图像扩散模型已被用于各种任务，如文本到图像生成和可控图像合成。最近的研究引入了微调方法，对原始模型进行细微调整，在基础生成式扩散模型的特定适应性方面取得了有希望的结果。

SCEdit并不是修改扩散模型的主干部分，而是深入研究U-Net中跳跃连接的作用，并揭示出在编码器和***之间聚合远程信息的分层特征对图像生成内容和质量产生重大影响。

基于这一观察，SCEdit提出了一个高效的生成式调整框架，它使用轻量级调节模块SC-Tuner来集成和编辑Skip Connection。此外，所提出的框架允许通过注入不同条件与可控SC-Tuner简化并统一多条件输入网络设计以实现可控图像合成任务。由于其轻量级调节器使得反向传播仅传递给***块，SCEdit显著减少了训练参数、内存使用率和计算开销。

在文本到图像生成和可控图像合成任务上进行了大量实验，结果表明SCEdit在效率和性能方面具有优势。同时，该项目也宣布了开源，尽管还没有提供具体的代码，但已经有开发者表示愿意帮助实现。

阿里巴巴推AI画图框架(SCEdit)：可显著减少训练参数

热门文章