NVIDIA LocateAnything-3B

1. 模型概览

2. 关键示意图

能力总览与 PBD 对比

这张图最适合售前开场使用：上半部分展示 LocateAnything 覆盖多物体定位、点选定位、版面定位、GUI grounding、检测和 OCR；下半部分展示它和传统坐标 token 解码的区别。传统方法需要逐 token 生成坐标，PBD 将一个 box 作为原子单元并行生成。

模型架构与结构化块输出

架构图说明：输入是图像 + 文本查询；视觉编码器为 Moon-ViT，语言侧为 Qwen2.5，中间通过两层 MLP projector 连接；输出不是普通自然语言，而是包含 semantic block、box block、negative block、end block 的结构化定位序列。

Parallel Box Decoding 方法图

这张图适合解释核心技术创新：把一组 box 坐标视作耦合几何结构，而不是彼此独立的 token。对于定位任务，这有助于减少坐标顺序生成带来的延迟和几何不一致。

数据覆盖

官方资料说明训练数据覆盖自然场景、机器人、驾驶、GUI、文档、OCR、开放世界检测等多域。模型卡提到训练集包含 12M unique images、约 140M 自然语言 queries、785M bounding boxes。

GUI / OCR / Detection 等 benchmark 图

这些图分别对应 GUI grounding、layout/OCR、通用目标检测等能力，适合放在客户材料中说明它不是单一检测器，而是面向多种视觉定位任务的通用 grounding 模型。

3. 它到底能做什么

LocateAnything-3B 的核心任务可以概括为：给它一张图片和一句自然语言指令，它输出目标在图像中的位置，通常是 bounding box 或 point。

4. 核心技术亮点

4.1 Parallel Box Decoding

传统 VLM grounding 通常把 2D box 坐标序列化成多个 1D token，再逐 token 自回归生成。这有两个问题：第一，坐标之间天然是耦合的几何结构，但逐 token 生成会削弱几何一致性；第二，严格串行生成会成为推理瓶颈。

LocateAnything 的 PBD 将 box 或 point 作为原子几何单元并行解码。官方论文摘要称，PBD 同时改善了解码吞吐和定位准确率，并推动 speed-accuracy frontier。

4.2 三种推理模式

模型卡建议使用 max_new_tokens=8192 和 generation_mode="hybrid"，以避免输出被截断，并平衡速度与准确率。

4.3 大规模多域数据

模型卡和项目页强调 LocateAnything-Data 包含大规模、多领域训练数据：

4.4 高吞吐 batch inference 工具

模型仓库不仅给了 model weights，还提供 batch_infer.py、batch_utils 和 kernel_utils。其中 la_flash 后端用于 FlashAttention varlen sparse range 计划，目标是避免构造 dense [B,H,Q,K] attention mask。

模型卡给出的 A100 4K 图像 probe 示例：

售前解释：它不仅是模型权重，还包含面向高分辨率、多目标 batch 检测的推理工程优化思路。

5. 适用场景

5.1 GUI Agent / Computer Use

LocateAnything 能做 GUI element grounding：给定屏幕截图和自然语言指令，定位按钮、菜单、图标或区域。它可作为视觉 GUI Agent 的感知模块，帮助 Agent 从“理解界面截图”走向“知道该点击哪里”。

适合场景：

5.2 文档理解和 OCR/Layout

它支持 layout grounding 和 OCR localization，可用于定位标题、段落、公式、表格、文本块、特定字段等。

适合场景：

5.3 工业视觉和质检

开放类别检测和指代表达 grounding 适合做工业视觉 PoC，尤其是客户对象种类多、长尾缺陷多、传统检测器维护成本高的情况。

注意：商业落地不能直接使用该模型许可证，需要把它作为技术验证、选型参考或与 NVIDIA 商务授权沟通。

5.4 机器人 / 具身智能 / 自动驾驶

项目页和模型卡都提到 robotics、driving、Physical AI。LocateAnything 可作为“语言指令到视觉位置”的桥接模块，例如“抓取左边的杯子”“定位红色按钮”“指向路口信号灯”。

5.5 自动标注和数据生产

它可以用于生成 grounding / detection / pointing 的候选标注，再由人工或规则复核。适合训练数据准备、长尾对象标注、GUI 数据集构建。

6. 不太适合的场景

7. 怎么用

7.1 安装依赖

模型卡给出的基础依赖：

pip install opencv-python-headless==4.11.0.86 transformers==4.57.1 numpy==1.25.0 Pillow==11.1.0 peft torchvision decord==0.6.0 lmdb==1.7.5

PyTorch 需要按 CUDA 版本单独安装。Hopper / Blackwell GPU 可选安装 MagiAttention，用于更快的 MTP inference；未安装时会回退到 PyTorch SDPA。

7.2 Python 调用方式

模型卡提供了一个 LocateAnythingWorker 模式：启动时加载 tokenizer、processor、model，之后通过 predict() 和任务方法服务检测、grounding、OCR、GUI grounding 等请求。

简化示例：

from PIL import Image

worker = LocateAnythingWorker("nvidia/LocateAnything-3B")
img = Image.open("example.jpg").convert("RGB")

result = worker.detect(img, ["person", "car", "bicycle"])
print(result["answer"])

result = worker.ground_gui(img, "the search button", output_type="point")
print(result["answer"])

输出格式中 box/point 坐标是归一化到 [0, 1000] 的 token，需要再转换成像素坐标。

7.3 支持的 Prompt 模板

7.4 Batch inference

python batch_infer.py \
  --model nvidia/LocateAnything-3B \
  --attn la_flash \
  --scheduler pipeline \
  --batch-size 4 \
  --image /path/to/image.jpg \
  --query "personcar"

这个模式适合离线批量检测、自动标注和评测，不适合训练路径。

8. 售前可以怎么讲

面向业务方

面向技术方

9. PoC 建议

9.1 推荐 PoC 方向

9.2 PoC 设计建议

9.3 验收指标示例

10. 风险和注意事项

11. 与相关技术的关系

12. 我的售前判断

LocateAnything-3B 是一个很适合“视觉 Agent / Physical AI / GUI grounding”方向交流的模型。它把很多客户关心的问题串起来了：AI 不仅要看懂图，还要告诉系统“目标在哪里”；不仅能识别常见物体，还能通过自然语言定位 GUI 控件、文档区域、OCR 文本和密集目标。

它的售前价值在于提供一个强 demo：客户输入一句自然语言，模型直接在复杂图像里定位目标。对于 GUI 自动化、文档智能、工业质检、机器人和自动驾驶感知，这类能力非常直观。

但它当前不适合作为直接商用交付的开源模型，因为许可证限制非常关键。更合适的定位是：用于研究评估、PoC 验证、方案原型、技术路线选型，或者作为与 NVIDIA 生态/授权合作的入口。正式商业方案需要提前解决授权、模型部署、硬件成本、隐私合规和稳定性验证。

13. 常见客户 Q&A

14. 参考资料

• Hugging Face 模型页：nvidia/LocateAnything-3B
• NVIDIA 项目页：LocateAnything
• Hugging Face Demo Space
• GitHub 代码：NVlabs/Eagle/Embodied
• 论文：LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding
• 模型 License
• NVIDIA Nemotron
• NVIDIA Cosmos