PyTorch3D 是一個用于處理 3D 數據的深度學習函數庫，該庫高度模塊化且經過專門優(yōu)化，具備獨有的功能，旨在通過 PyTorch 簡化 3D 深度學習。PyTorch3D 為 3D 數據提供了一組常用的 3D 運算符和快速且可微分的損失函數(loss function)，以及模塊化的可微分渲染 API。

?

PyTorch3D 主要特性

• 用于存儲和操作三維物體的數據結構
• 可在三維物體上進行高效運算，諸如投影變換、圖卷積、采樣、損失函數等
• 可微分的三維物體渲染器

PyTorch3D 旨在與深度學習方法平穩(wěn)集成，以預測和處理 3D 數據。因此，PyTorch3D 中的所有運算符：

• 使用 PyTorch 張量實現
• 可以對異構數據進行批量處理
• 可微分
• 可以利用 GPU 進行加速

案例與教程

▲?將球體網格變形為海豚

▲?渲染紋理網格

▲?優(yōu)化相機位置

示例代碼

1. 安裝 PyTorch3D

   conda install pytorch torchvision -c pytorch  # OSX only
   conda install pytorch3d -c pytorch3d  # all systems
   

2. 嘗試使用一些 3D 運算符，如計算兩個網格之間的倒角損耗（?chamfer loss）

   from pytorch3d.utils import ico_sphere
   from pytorch3d.io import load_obj
   from pytorch3d.structures import Meshes
   from pytorch3d.ops import sample_points_from_meshes
   from pytorch3d.loss import chamfer_distance
   
   # Use an ico_sphere mesh and load a mesh from an .obj e.g. model.obj
   sphere_mesh = ico_sphere(level=3)
   verts, faces, _ = load_obj("model.obj")
   test_mesh = Meshes(verts=[verts], faces=[faces.verts_idx])
   
   # Differentiably sample 5k points from the surface of each mesh and then compute the loss.
   sample_sphere = sample_points_from_meshes(sphere_mesh, 5000)
   sample_test = sample_points_from_meshes(test_mesh, 5000)
   loss_chamfer, _ = chamfer_distance(sample_sphere, sample_test)