元 3D 生成
Meta 3D Gen

原始链接: https://ai.meta.com/research/publications/meta-3d-gen/

Meta 3D Gen 是一种创新系统,可在一分钟内从文本生成 3D 资产。 它拥有高精度和出色的 3D 形状和纹理质量。 该管道包括用于逼真照明的 PBR,还可以根据添加的文本输入重新调整现有 3D 模型的纹理。 其核心部分 Meta 3D AssetGen 和 Meta 3D TextureGen 分别处理文本到 3D 和文本到纹理的转换。 3D Gen 通过三个视角全面呈现 3D 对象:标准视角、体积表示和纹理表面。 这些方法的融合增强了其相对于单阶段模型的性能,成功率达到 68%。 与各种行业基准相比,3D Gen 擅长保持文本输入的真实性,并为复杂的文本指令生成优质图像,同时节省大量时间。 您可以下载该论文以了解更多详细信息。

这位演讲者是一家领先的 3D 生成式人工智能公司的联合创始人,他认为,由于多种因素,3D 生成式人工智能的采用将落后于 2D。 首先,3D 涉及各种复杂性,包括基于表面拓扑的不同格式以及由于其三个自由度而导致的实施困难。 其次,创建 3D 资产的成本要高得多,高昂的制作费用使得独立创作者更喜欢 2D 方法。 尽管在生成式 AI 环境中具有潜在优势,但复制 3D 资产仍然具有挑战性。 演讲者认为,与原始 3D 资产类型相比,3D 风格的 2D 视频生成具有更大的广泛应用前景。 他们的结论是,虽然 3D 生成式人工智能在许多领域都具有潜力,但高效和实际的用途仍然难以实现。 尽管围绕可复制性和再现性存在争议,但共识似乎围绕在应用机器学习技术解决现实问题时持续获得准确可靠结果的重要性。 虽然 3D 生成式人工智能具有独特的优势,但其在日常生活中的可行应用尚未实现。
相关文章

原文

We introduce Meta 3D Gen (3DGen), a new state-of-the-art, fast pipeline for text-to-3D asset generation. 3DGen offers 3D asset creation with high prompt fidelity and high-quality 3D shapes and textures in under a minute. It supports physically-based rendering (PBR), necessary for 3D asset relighting in real-world applications. Additionally, 3DGen supports generative retexturing of previously generated (or artist-created) 3D shapes using additional textual inputs provided by the user. 3DGen integrates key technical components, Meta 3D AssetGen and Meta 3D TextureGen, that we developed for text-to-3D and text-to-texture generation, respectively. By combining their strengths, 3DGen represents 3D objects simultaneously in three ways: in view space, in volumetric space, and in UV (or texture) space. The integration of these two techniques achieves a win rate of 68% with respect to the single-stage model. We compare 3DGen to numerous industry baselines, and show that it outperforms them in terms of prompt fidelity and visual quality for complex textual prompts, while being significantly faster.

Download the Paper

联系我们 contact @ memedata.com