开源项目 4小时前 123 浏览次数 0 评论

腾讯开源ToonComposer:根据彩色起始帧和草图照片,生成上色动画

AI-GitHub

发布了 23 文章

你是否想过,只需一张草图、一句描述,就能生成一部完整的动画短片?传统动画制作需要数月才能完成的复杂流程,如今借助AI技术,普通人也能轻松驾驭。

今天,小编就给大家介绍由北京大学、香港中文大学与腾讯ARC实验室联合打造的ToonComposer,它不仅能将关键帧绘制、中间帧补全、上色三大繁琐流程整合为“一键生成”,还能让零基础用户秒变动画导演!

技术创新

稀疏草图驱动

仅需1张关键帧草图+1张彩色参考图,AI自动补全动作与上色。通过位置编码映射技术,即使输入“猫咪跳舞”的简单线条,也能生成连贯流畅的舞蹈序列,肢体动作精准协调。

独家卡通适配器(SLRA)

传统AI难以适配卡通风格?ToonComposer创新设计空间低秩适配器,仅调整模型的空间特征提取能力,保留时间维度的运动规律。无论是赛璐璐线条还是水墨风格,都能保持画风统一且动作自然。

智能区域填充

草图中的空白区域(如背景)可标记为“自动生成”。绘制“火车驶过”时,AI自动补全月台、人群等元素,彻底告别“悬浮物体”的尴尬:

功能效果

模态输入:支持文本、草图、图片混合输入。上传现实照片后,可一键转为吉卜力风格动画。

动态分镜编辑:通过拖拽调整分镜顺序、时长,或点击角色添加预设动作(如“甩头”“转身”),实时预览效果,零基础用户也能轻松操作

风格自由切换:内置20+卡通模板(迪士尼、赛博朋克、水墨风等),甚至可上传画师作品训练自定义风格模型!

效果实测

在包含3.7万卡通片段的PKBench数据集测试中,ToonComposer表现惊人:

视觉质量提升40%:生成角色面部细节清晰,无扭曲变形(对比传统工具生成的“崩坏脸”);

运动连贯性领先:大幅动作下仍保持流畅过渡,避免闪烁断层;

人类偏好度达87%:47名专业评审在盲测中压倒性选择ToonComposer作品。

应用场景

oonComposer的灵活性使其适用于多元场景,真正实现“人人可动画”:

独立创作者:无需专业软件和团队,输入文字或草图即可生成分镜动画。效率提升3倍,完播率增加67%

企业宣传:中小型企业市场人员可快速生成品牌动画。某游戏团队用ToonComposer制作剧情CG分镜,节省60%前期策划时间,且风格与游戏美术高度统一

教育教学:教师将抽象概念(如“色彩混合原理”)转化为动态分镜,学生记忆保持率提升52%。家长也可将孩子作文转为动画,激发写作兴趣

社交媒体:用户输入“猫咪宇航员追蝴蝶”,AI自动生成6个分镜,搭配剪辑软件即可发布吸睛短视频,吸引粉丝增长

传统动画耗时数月的工作,ToonComposer只需几分钟。无论你是专业工作室、独立创作者,还是想为孩子制作童话故事的家长,这把“AI神笔”都将为你打开新世界的大门。

GitHub:https://github.com/TencentARC/ToonComposer

#AI开源项目推荐##github##AI技术##AI动画##AI草图上色

AI-GitHub

AI-GitHub

23 文章 3425 浏览次数 0 粉丝

评论 (0)

睡觉动画