随着 Nano Banana 和 Qwen Image 等软件的发布，图像处理技术迎来了复兴，突破了以往的界限。我们不再局限于多余手指或断断续续的文字。这些模型能够生成栩栩如生的图像和插图，媲美设计师的作品。Meta 最新发布的 SAM3D 也加入了这一生态系统。凭借其巧妙的 3D 物体和人体建模方法，SAM3D 将成为任何设计师工具箱中不可或缺的利器。
本文将详细介绍 SAM3D 的功能、使用方法以及实际操作，帮助您了解其强大之处。
什么是SAM3D？
SAM3D，全称 Segment Anything Model 3D，是一款用于全 3D 场景空间分割的新一代系统。它可处理点云、深度图和重建体数据，并接受文本或提示信息，而非固定的类别标签。这是利用人工智能驱动的理解，直接在三维空间中进行物体检测和提取的工具。虽然现有的 3D 模型可以分割诸如“人”或“椅子”之类的宽泛类别，但 SAM3D 可以提取出更具体的概念，例如沙发旁的落地灯。
SAM3D 通过在 3D 空间中使用可提示的概念分割来克服这些限制。无论您使用简短的短语、一个点还是一个参考形状进行提示，它都可以找到并提取扫描场景中您描述的任何物体，而无需依赖预设的类别列表。
如何访问SAM3？
以下是一些访问 SAM3 模型的方法：
- 基于 Web 的演示/体验区：您可以访问名为“Segment Anything Playground”的 Web 界面，上传图像或视频，提供文本提示（或示例），并体验 SAM3D 的分割和跟踪功能。
- 模型权重和代码可在 GitHub 上找到：Meta Research 的官方代码库 (facebookresearch/sam-3d-body) 包含推理和微调代码，以及训练好的模型检查点的下载链接。
- Hugging Face 模型中心：该模型可在 Hugging Face (huggingface/SAM3D) 上找到，其中包含模型描述、加载方法以及图像/视频示例。
您还可以从 SAM3D 的官方发布页面找到其他访问该模型的方法。
SAM3的实际应用
让我们开始动手实践。为了测试 SAM3D 的性能，我将在以下两个任务中对其进行测试：
- 创建 3D 场景
- 创建 3D 人体
用于演示的图像是 Meta 在其 Playground 上提供的示例图像。
创建3D场景
此工具允许您从图像创建 3D 对象模型。只需单击对象，它就会在其周围创建一个轮廓，您可以进一步细化该轮廓。本次测试我们将使用以下图片：
响应：
选择咖啡机后，我收到了以下响应：
模型识别出这是一台咖啡机，并能够对其进行建模。仔细观察可视化结果，你会发现有些咖啡的成分在图像中并不存在，但模型却根据其对咖啡机的理解自行生成了这些成分。
创建3D人体模型
对于 3D 人体识别，我将测试模型在给定图像中对人体的映射效果。为了演示，我将使用以下图像：
响应：
它正确识别了视频片段中唯一的人物，并根据他的身体创建了一个可交互的 3D 模型。模型与人物体型非常接近，这令人满意。对于不包含多个人物且图像质量较高的照片，这款工具将非常实用。
结论
该模型能够完成其工作。但我感觉使用它时存在一些限制，尤其是与可定制性更高的 SAM3 相比。此外，3D 建模并不完美，尤其是在物体检测方面。
以下是我在使用该工具时发现的一些明显问题：
- 仅限于简单图像：当我使用 Meta 提供的示例图像作为输入时，3D 人体模型表现良好。但当我提供质量较低且未针对该工具进行优化的图像时，它的表现就显得很差。
选择多个书籍（对象）时建模错误
- 无法手动选择：3D 人体工具会自动识别人体，不允许进行任何划分。因此，当人体轮廓不正确或不符合预期时，该工具难以使用。
- 崩溃和超时：当输入图像复杂且包含多个对象时（如第一点所述），模型不仅需要花费大量时间来识别人体，还会占用大量硬件资源。有时甚至会因为资源不足而导致网页直接崩溃。
小结
SAM3D 通过大幅简化高级空间分割的使用，提高了 3D 场景处理的标准。它为点云和体数据处理带来了重大进步，而其跨多个视图的分割能力则开辟了新的可能性。SAM3D 与 SAM3 结合使用，对于任何希望在 2D 和 3D 环境中进行 AI 驱动的场景理解的用户来说，都是一个强有力的选择。该模型仍在不断发展，随着研究的成熟，其功能也将不断扩展。
评论留言