腾讯混元3D生成能力再升级 分钟级生成游戏3D资产

  1月21日，腾讯混元宣布开源3D生成大模型2.0版本，并上线D内容AI创作平台—混元3D AI创作引擎。开发者可在GitHub、Hugging Face等技术社区下载混元3D 2.0模型，用户也可以直接在混元3D AI创作引擎上体验。对比1.0版本，2.0版本也依然同时支持文、图生3D的能力，并在生成效果上得到非常明显提升，在几何结构上更加精细，纹理色彩更加丰富。

  据了解，3D AIGC技术快速迭代，3D技术应用落地进程也在不断加快，游戏制作、社交、电商广告、工业制造、具身智能、无人驾驶、AR/VR、三维打印等多个领域都积极应用AI能力辅助3D内容生产，如在制作环节，快速生成高质量的角色、道具、建筑等3D资产，提升游戏开发效率。面向UGC社交场景，创作个人3D形象、3D虚拟礼物等3D资产。面向电商广告场景，根据创意主题生成3D商品，帮助设计师和企业降本增效。面向工业生产、制造业场景，快速生成工业产品原型验证设计。此次混元3D生成大模型2.0的开源以及AI创作平台的上线，将逐步推动AIGC 3D的技术发展及产业应用落地。

  其中，腾讯混元上线D AI创作引擎，是业界首个低门槛、一站式的3D内容AI创作平台，包含了基础模型生成、3D功能矩阵、3D编辑、3D生成工作流、创作素材库等多种功能。既支持大众爱好者生成UGC 3D内容，也助力游戏开发、设计建模等专业领域的3D生产管线D内容创作效率，面向不同应用场景提供可低成本定制的解决方案。

  在基础模型生成方面，创作引擎同时支持文生及图生3D。其中，输入中/英文提示词，描述主体内容、特征、风格等，就能快速生成4个高质量3D模型，同时，也支持上传单图即生成3D模型。效果上，可以再一次进行选择不同纹理风格进行生成，同时支持PBR贴图，通过模拟物理特性可生成更逼真的材质贴图效果。

  另外，创作引擎支持端到端低多边形模型生成，可根据物体复杂程度，自适应生成几百至数千面的三角面，生成结果可在低面片的基础上最大化体现模型细节，拓扑布线更加符合美术标准，更适用于游戏引擎模型渲染。

  在3D功能矩阵方面，创作引擎涵盖了丰富的3D建模、编辑及驱动等能力，包括3D动画生成、3D纹理生成、草图生3D、3D人物生成、3D小游戏创作等。

  其中，3D动画生成可以支持骨骼绑定和动作驱动，选不一样动作模版即可让创作的角色模型轻松动起来，同时支持选不一样角色模型素材或上传本地模型生成3D动画。在游戏开发、动画制作等应用中，3D角色骨骼驱动是实现角色动画表现的关键步骤。

  3D纹理生成则针对白模及用户添加的模型，支持通过提示词或图像输入方式生成不同高清材质纹理，对不同类别3D模型一键换肤。

  草图生3D则支持仅用一张简笔画完成3D内容创作。通过文字描述草图主体的类别、颜色等信息，将二维草图快速转换为高质量的3D模型。

  3D人物生成仅需上传一张人物头像，选不一样主题类别的模版即可实现个性化的3D人物角色生成，实现个人UGC 3D形象定制。

  首个支持端到端生成低多边形low-poly模型，可根据物体复杂程度，自适应生成几百至数千面的三角mesh，面数更低的同时可保证模型细节效果，用于游戏引擎渲染效果更佳。

  3D小游戏创作支持上传一张头像并选择角色模版，一键生成个人专属IP角色的游戏动画视频，并能分享转发，让普通人也可以打造一款属于自身个人的3D小游戏。

  值得一提的是， 混元3D AI创作引擎还支持设计3D生成工作流，呈现3D创作管线核心流程。通过模块化的节点设计搭建，帮助专业用户在游戏开发、动画制作等领域快速搭建3D生成工作流，其中包含3D角色生成与3D道具生成。用户仅需加载模版，根据自己需求输入提示词或上传图片，调整节点生成参数，即可一键生成具有特定风格和特征的3D资产，逐步降低专业用户使用门槛，大幅改进3D创作管线在去年11月全面开源，是业界首个同时支持文字、图像生成3D的开源大模型。2.0版本也依然同时支持文、图生3D的能力，此外，通过将几何、纹理解耦生成，2.0版本还在生成效果上得到非常明显提升，在几何结构上更加精细，纹理色彩更加丰富。

  3D生成模型最重要的包含几何和纹理生成两部分，其中，几何大模型专注于捕捉物体的形状、结构和空间关系，而纹理大模型则专注于颜色、细节和表面特征。这种专注性使得每个模型能在其领域内进行更深入的学习和优化，而几何与纹理解耦生成的方式，让整体生成能力达到更高上限，能够生成更为精细和线D结果。几何大模型和纹理大模型各自表现优异。其中，几何大模型由Hunyuan3D-DiT模型和Hunyuan ShapeVAE组成，能实现超高精度的白模生成，几乎达到了设计师手工建模的水平。而纹理大模型Hunyuan3D-Paint采用多视图扩散生成的方案，可以基于用户输入的参考图像对生成的几何白模进行纹理贴图。不仅如此，还能支持对用户任意输入的几何模型进行任意文本或图像引导的纹理生成。

  腾讯混元从定量和定性两个维度进行了评估。在收集的 In-the-wild 测试集上，对 3D 生成质量进行了定量评估。根据 CLIP Maximum Mean Discrepancy (CMMD)、Frechet Inception Distance (FID) 和 CLIP-score 指标，不论是端到端最终3D资产的质量，还是几何模型生成的几何结构和纹理基模型生成纹理的质量，Hunyuan3D-2.0 的整体表现均优于当前业界包括闭源模型在内的最先进的模型。

  在定性评估方面，从整体满意度、3D 物体质量和指令遵循三个维度进行用户主观评估，结果显示，Hunyuan3D-2.0 在生成质量上优于当前最先进的开源模型。

  据了解，在实际应用上，混元 3D 生成大模型此前也慢慢的开始应用于UGC 3D创作、商品素材合成、游戏3D资产生成等司内业务及场景。比如，混元3D生成能力也开始应用于腾讯内部游戏业务，其生成3D质量已能满足部分游戏3D资产标准，包括几何布线合理性、贴图准确性与骨骼蒙皮合理性等，据统计，通过混元3D创作平台的助力，游戏业务3D资产制作时间成本可从5-10天级别下降到分钟级。此前，腾讯地图也已基于腾讯混元3D大模型，发布了自定义3D导航车标功能，支持用户创作个性化的 3D 导航车标，相比传统的3D车标重建方案速度提升了91%，有效提升了用户使用体验。

  腾讯混元3D负责人郭春超表示：“随着3D AIGC技术快速迭代，3D技术应用落地进程也在不断加快。混元3D生成大模型从1.0版本的率先开源，到快速升级2.0版本并开放业界首个一站式3D AI创作平台，希望切实帮助大众爱好者、开发者、创作者们降低使用门槛，提升创作效率，让3D大模型技术在各行各业发挥价值。混元也会持续为开源社区贡献力量，一起探索3D生成技术和应用，共创良好生态。”