0°

OpenAI 发布 Shap-E,一种 3D 资产的生成模型。

  OpenAI 发布了他们的最新作品:Shap-E,这是一种专为 3D 资产设计的条件生成模型。与该领域的其他模型不同,Shap-E具有生成隐式函数参数的独特能力,仅需一个文本提示即可将其呈现为纹理网格和神经辐射场 (NeRF)。

  Shape-E 的 GitHub 存储库在这里

  作为 OpenAI 为数不多的开源产品之一,Shap-E 现在可以在 GitHub 上轻松获得,其中包含模型权重、推理代码,甚至还有一个入门示例。使用 Shap-E,3D 建模从未如此简单或更易于访问。

  如论文中所述,Shap-E 的训练过程包括两个不同的阶段。在第一阶段,编码器被训练来确定地将 3D 资产映射到隐式函数的参数中。在第二阶段,条件扩散模型然后在编码器的输出上进行训练,从而允许更细微和复杂的生成能力。通过这种独特的方法,Shap-E 为 3D 资产创建领域树立了新标准。

  根据这篇论文,Shap-E 拥有令人印象深刻的能力,在对 3D 和文本数据配对的大型数据集进行训练时,能够在几秒钟内生成复杂多样的 3D 资产。更值得注意的是,尽管 Shap-E 具有更高维、多表示的输出空间,但它设法更快地收敛并产生与Point-E相当甚至更好的样本质量。

  如何使用它

  强烈建议您在继续安装过程之前创建一个新的虚拟环境。

  完成后,激活它并使用以下命令克隆整个存储库:

  https://github.com/openai/shap-e

  然后,运行以下命令来安装 Shap-E:

  cd shape -e

  pip install -e .

  需要注意的是,官方仓库中的 setup.py 文件不完整,没有包含几个必要的 Python 包。例如:

  blobfile

  pyyaml

  ipywidgets

  要解决此问题,您需要通过pip install手动安装这些缺失的包。

  如果您在使用 Torch 时遇到任何问题,请参考官网的安装说明。

  例如,您可以参考以下包含必要包(以及一些未使用的包)的需求文件:

  blobfile==2.0.2

  certifi==2022.12.7

  charset-normalizer==3.1.0

  clip @git+https://github.com/openai/CLIP.git@a9b1bf5920416aaeaec965c25dd9e8f98c864f16

  colorama==0.4.6

  contourpy==1.0。 7

  cycler==0.11.0

  filelock==3.12.0

  fire==0.5.0

  fonttools==4.39.3

  ftfy==6.1.1

  humanize==4.6.0

  idna==3.4

  imageio==2.28.1

  ipywidgets

  Jinja2= =3.1.2

  kiwisolver==1.4.4

  lazy_loader==0.2

  lxml==4.9.2

  MarkupSafe==2.1.2

  matplotlib==3.7.1

  mpmath==1.3.0

  networkx==3.1

  numpy==1.24.3

  packaging= =23.1

  枕头==9.5.0

  pycryptodomex==3.17

  pyparsing==3.0.9

  python-dateutil==2.8.2

  PyWavelets==1.4.1

  PyYAML==6.0

  regex==2023.5.5

  requests==2.30.0

  scikit-image==0.20.0

  scipy==1.10.1

  six==1.16.0

  sympy==1.11.1

  termcolor==2.3.0

  tifffile==2023.4.12

  torch==2.0.0+cu118

  torchvision==0.15.1+cu118

  tqdm==4.65.0

  typing_extensions==4.5.0

  urllib3==2.0 .2

  wcwidth==0.2.6

  用法

  安装pip install -e .。

  要开始使用示例,请参阅以下笔记本:

  sample_text_to_3d.ipynb — 以文本提示为条件对 3D 模型进行采样

  sample_image_to_3d.ipynb — 以合成视图图像为条件对 3D 模型进行采样。

  encode_model.ipynb — 加载 3D 模型或 trimesh,创建一批多视图渲染和点云,将它们编码为潜在的,并将其渲染回来。为此,请安装 Blender 3.3.1 或更高版本,并将环境变量设置BLENDER_PATH为 Blender 可执行文件的路径。来源

  局限性

  尽管生成的 3D 对象最初可能显得粗糙或像素化,但仅需一次文本输入即可生成它们的事实确实具有开创性。然而,值得注意的是,Shap-E 目前在生成具有多个属性或提示的对象方面存在局限性,正如论文所强调的那样。

  最近,OpenAI 还推出了 Point-E,它被宣传为 3D DALL-E 的继任者。与其前身一样,Shap-E 使用扩散技术,但这一次,用户可以生成支持 NeRF 的纹理网格而不是点云。凭借 Shap-E 的尖端技术,3D 资产创建的前景确实一片光明。

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
ChatGPT中文官网 @ chatgpt使用教程 2023/5/06

OpenAI 发布 Shap-E,一种 3D 资产的生成模型。

  OpenAI 发布了他们的最新作品:Shap-E,这是一种专为 3D 资产设计的条件生成模型。与该领域的其他模型不同,Shap-E具有生成隐式函数参数的独特能力,仅需一个文本提示即可将其呈现为纹理网格和神经辐射场 (NeRF)。   Shape-E 的 GitHub 存储库在这里   作为 OpenAI 为数不多的开源产品之一,Shap-E 现在可以在 GitHub 上轻松获得,其中包含模型权重、推理代码,甚至还有一个入门示例。使用 Shap-E,3D 建模从未如此简单或更易于访问。   如论文中所述,Shap-E 的训练过程包括两个不同的阶段。在第一阶段,编码器被训练来确定地将 3D 资产映射到隐式函数的参数中。在第二阶段,条件扩散模型然后在编码器的输出上进行训练,从而允许更细微和复杂的生成能力。通过这种独特的方法,Shap-E 为 3D 资产创建领域树立了新标准。   根据这篇论文,Shap-E 拥有令人印象深刻的能力,在对 3D 和文本数据配对的大型数据集进行训练时,能够在几秒钟内生成复杂多样的 3D 资产。更值得注意的是,尽管 Shap-E 具有更高维、多表示的输出空间,但它设法更快地收敛并产生与Point-E相当甚至更好的样本质量。   如何使用它   强烈建议您在继续安装过程之前创建一个新的虚拟环境。   完成后,激活它并使用以下命令克隆整个存储库:   https://github.com/openai/shap-e   然后,运行以下命令来安装 Shap-E:   cd shape -e   pip install -e .   需要注意的是,官方仓库中的 setup.py 文件不完整,没有包含几个必要的 Python 包。例如:   blobfile   pyyaml   ipywidgets   要解决此问题,您需要通过pip install手动安装这些缺失的包。   如果您在使用 Torch 时遇到任何问题,请参考官网的安装说明。   例如,您可以参考以下包含必要包(以及一些未使用的包)的需求文件:   blobfile==2.0.2   certifi==2022.12.7   charset-normalizer==3.1.0   clip @git+https://github.com/openai/CLIP.git@a9b1bf5920416aaeaec965c25dd9e8f98c864f16   colorama==0.4.6   contourpy==1.0。 7   cycler==0.11.0   filelock==3.12.0   fire==0.5.0   fonttools==4.39.3   ftfy==6.1.1   humanize==4.6.0   idna==3.4   imageio==2.28.1   ipywidgets   Jinja2= =3.1.2   kiwisolver==1.4.4   lazy_loader==0.2   lxml==4.9.2   MarkupSafe==2.1.2   matplotlib==3.7.1   mpmath==1.3.0   networkx==3.1   numpy==1.24.3   packaging= =23.1   枕头==9.5.0   pycryptodomex==3.17   pyparsing==3.0.9   python-dateutil==2.8.2   PyWavelets==1.4.1   PyYAML==6.0   regex==2023.5.5   requests==2.30.0   scikit-image==0.20.0   scipy==1.10.1   six==1.16.0   sympy==1.11.1   termcolor==2.3.0   tifffile==2023.4.12   torch==2.0.0+cu118   torchvision==0.15.1+cu118   tqdm==4.65.0   typing_extensions==4.5.0   urllib3==2.0 .2   wcwidth==0.2.6   用法   安装pip install -e .。   要开始使用示例,请参阅以下笔记本:   sample_text_to_3d.ipynb — 以文本提示为条件对 3D 模型进行采样   sample_image_to_3d.ipynb — 以合成视图图像为条件对 3D 模型进行采样。   encode_model.ipynb — 加载 3D 模型或 trimesh,创建一批多视图渲染和点云,将它们编码为潜在的,并将其渲染回来。为此,请安装 Blender 3.3.1 或更高版本,并将环境变量设置BLENDER_PATH为 Blender 可执行文件的路径。来源   局限性   尽管生成的 3D 对象最初可能显得粗糙或像素化,但仅需一次文本输入即可生成它们的事实确实具有开创性。然而,值得注意的是,Shap-E 目前在生成具有多个属性或提示的对象方面存在局限性,正如论文所强调的那样。   最近,OpenAI 还推出了 Point-E,它被宣传为 3D DALL-E 的继任者。与其前身一样,Shap-E 使用扩散技术,但这一次,用户可以生成支持 NeRF 的纹理网格而不是点云。凭借 Shap-E 的尖端技术,3D 资产创建的前景确实一片光明。 0 收藏
扫描二维码继续阅读
给ChatGPT中文官网打赏
2
5
10
20
50
¥0
您的当前余额:¥0
付费内容
付款金额
¥0
您的当前余额:¥0
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
问题反馈
您没有权限发布私信
发起一个您感兴趣的内容
您没有权限发布内容,请购买会员或者提升权限。

忘记密码?找回