淘宝发布图生视频技术框架AtomoVideo

2024-03-21 11:24:39

浏览

近日，淘天集团旗下阿里妈妈技术团队推出高保真图片生成视频框架——AtomoVideo（阿瞳木视频），可将图片素材自动化转换为高质量视频动效。目前，该技术已在阿里妈妈的万相实验室、广告投放平台等应用场景上线，所有商家都可以体验“图片一键变视频”的人工智能新技术，快速生成创意短视频。

记者在AtomoVideo的体验中发现，用户上传一张图，输入动作文字指令，静态的图片就能在各种场景中动起来。比如，上传一张玩偶图片后输入文字指令：穿红色衬衣的玩偶在街上散步。很快，一段短视频就生成了，玩偶迈开步伐行走，街景也跟着变化。

此外，静态的帆船也能在输入指令后在大海中扬帆起航，海报中的乐手也开始弹奏吉他演奏，场景还原和人物表情、动作，都接近专业动画师的水准。

以上视频生成功能已在阿里妈妈广告平台广泛应用，商家可以在阿里妈妈电商图片生成工具“万相实验室”中，一键将制作的商品图片转化为商品视频。同时，阿里妈妈的设计师也可以应用该技术，为商家客户量身定制视频创意并投放。

AtomoVideo应用了阿里妈妈技术团队自研的诸多新技术，包括优质数据集构建、多粒度图像注入、渐进性动作强度增加的多阶段训练等，目前可以支持任意像素的图片生成4秒视频动效，并兼容市面上各种文生图模型。

阿里妈妈一位受访技术人士称，当前技术还远未挖掘出视频生成的真正潜力，在视频画面稳定性、内容创造可控性以及视频时长等关键要素上，仍有非常广阔的探索空间。这位人士认为，当前的应用生成虽然只是起步，但随着技术模型不断迭代，视频生成的准确度和仿真度也会逐渐提高。

在创意生成领域，除了此次发布的AtomoVideo，阿里妈妈技术团队也研发出可扩展图片、视频的“尺寸魔方”等创意编辑工具，可以实现图片和视频的任意目标尺寸的拓展和补缺，同时保持素材的原生性。

一位服饰商家说，现在市面上已经有不少AI出图工具，但将图片变成视频的还很少，生成高质量视频的就更少了，很多商家认为图生、文生视频还只是个概念，甚至噱头。“虽然AtomoVideo生成的视频时长还不长，精度也有待提高，但是感觉苗头不错，是个趋势。”这位商家表示，很多商家在讨论AI电商，各界也在期待圈里能出现杀手级应用。

年初，淘宝基于AI大模型，升级智能客服机器人“店小蜜”，进一步提升“店小蜜”回答买家问题的准确度。最近，淘宝再次推出AI制图工具“绘蛙”，帮助商家生成各种风格的高品质图片，降低商家成本，该应用很快将结束内测并全量推广。