近日,阿里云通义万相团队推出全新的图像编辑模型ACE,只需说一句话就能生成图片和修改图片,可应用于风格化写真、分镜制作、室内设计等场景。该模型已面向全球开发者开源,其局部风格化功能已上线通义APP。
图像编辑是图像生成模型的重要辅助功能,此前业界常用的方案是将LoRA、ControlNets 和 T2I 模型组合,从而实现图像编辑能力。但该方案流程相对复杂,且使用门槛较高,大多用户无法直接体验。与传统图像编辑模型不同,ACE模型可同时支持文生图和图像编辑,用户输入口语化指令,可完成可控视觉编辑、元素编辑、区域重绘编辑、分层编辑等任务,仅用对话的方式就能实现PS的功能,例如输入文字即可一键除水印、修改证件照背景等,极大地提高了编辑效率。
上传一张照片即可对图中特定对象的风格化处理
公开论文显示,该团队提出了Long-context Condition Unit模块(LCU),能支持通用编辑任务所需的各种多模态条件输入,并且搭建了全面的编辑成对数据构造链路和指令集生成链路,最终达到精准、高质量的图像指令编辑效果。测试结果显示,ACE模型在MagicBrush的单轮/多轮编辑的多项指标和EMU Edit数据集的单轮编辑指标上都取得了领先成绩。
据悉,ACE模型在魔搭社区、Github、Huggingface等开源社区和社交平台引起了国内外开发者的热议,一度登上Huggingface周榜第二,总榜第五。同时,该模型局部风格化功能已正式上线通义APP,用户上传一张照片就能实现对图中特定对象的风格化处理。
ACE登上Huggingface周榜第二,总榜第五
通义万相算法团队表示:“未来将进一步提升ACE编辑模型的准确性,同时将逐步开放重绘、定制化生成、组合生成等能力,让用户更便捷地实现创意设计。” 目前通义万相已推出图像生成、图像编辑、视频生成等能力,累计生成超2亿张图片。
开源地址:
魔搭社区:https://www.modelscope.cn/models/iic/ACE-0.6B-1024px
Github:https://github.com/ali-vilab/ACE
Huggingface:https://huggingface.co/spaces/scepter-studio/ACE-Chat
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )