ICEdit – 浙江大学联合哈佛大学推出的指令式图像编辑框架

ICEdit是什么

ICEdit（In-Context Edit）是浙江大学和哈佛大学推出的指令式图像编辑框架。基于大规模扩散变换器（Diffusion Transformer）的强大生成能力和上下文感知能力，用自然语言指令对图像进行精准编辑。ICEdit仅需0.1%的训练数据和1%的可训练参数，相比传统方法大幅减少资源需求，在多轮编辑和多任务编辑中表现出色。ICEdit具备开源、低成本、快速处理（单张图像约9秒）等优势，适合广泛的应用场景。

ICEdit的主要功能

• 指令驱动的图像编辑：基于自然语言指令对图像进行精准修改，例如更换背景、添加文字、改变人物服装等。
• 多轮编辑：支持连续多次编辑，每次编辑基于前一次的结果，适合复杂创作需求。
• 风格转换：支持将图像转换为不同艺术风格，如水彩画、漫画等。
• 对象替换与添加：替换图像中的对象或添加新元素，如将人物替换为卡通角色。
• 高效处理：处理速度快（单张图像约9秒），适合快速生成和迭代。

ICEdit的技术原理

• 上下文编辑框架（In-Context Editing Framework）：基于“上下文提示”（In-Context Prompting），将编辑指令嵌入到生成提示中，模型基于处理提示生成编辑后的图像。无需对模型架构进行修改，避免传统方法中复杂的结构调整。基于上下文理解，模型直接生成符合指令的编辑结果。
• LoRA-MoE混合微调策略（LoRA-MoE Hybrid Fine-Tuning）：结合参数高效的LoRA（Low-Rank Adaptation）适配器和动态专家路由（Mixture-of-Experts, MoE）。LoRA基于低秩矩阵分解，高效地调整模型参数，适应不同的编辑任务。MoE基于动态选择最适合当前任务的专家模块，进一步提升编辑质量和灵活性。仅需少量数据（50K样本）进行微调，显著提高编辑成功率。
• 推理时早期筛选策略（Early Filter Inference-Time Scaling）：在推理阶段，基于视觉语言模型（VLM）评估早期生成的噪声样本，筛选出最符合编辑指令的初始噪声。用少量步骤（如4步）评估编辑效果，快速选择最优的初始噪声，进一步提高编辑质量。

ICEdit的项目地址

• 项目官网：https://river-zhang.github.io/ICEdit-gh-pages/
• GitHub仓库：https://github.com/River-Zhang/ICEdit
• HuggingFace模型库：https://huggingface.co/sanaka87/ICEdit-MoE-LoRA
• arXiv技术论文：https://arxiv.org/pdf/2504.20690
• 在线体验Demo：https://huggingface.co/spaces/RiverZ/ICEdit

ICEdit的应用场景

• 创意设计：将照片转为艺术风格（如水彩画），或添加创意元素，用在设计和广告。
• 影视制作：快速生成角色设计或场景概念图，辅助影视前期开发。
• 社交媒体：编辑个人照片（如换背景、加特效），制作吸引人的社交内容。
• 教育领域：生成教学用图，如将历史人物转为漫画风格，辅助教学。
• 商业广告：快速制作产品宣传图，如更换背景、添加品牌标志。