SAM2-tiny
通过点或框提示分割图像中的目标，轻量编码器适合交互式标注与视觉应用。
模型简介
SAM 2 是 Meta 的可提示视觉分割模型。给定图像与少量点或框提示，模型生成目标的像素级掩码。Tiny 规格使用较小的图像编码器，适合作为交互式分割应用的起点。
端侧部署需要配套的图像编码器、提示处理与掩码解码流程。不同资源包的 CPU / NPU 分工可能不同，应以对应 README 为准。本文以静态图像的点提示分割为范围；上游 SAM 2 还支持视频分割，但完整视频记忆与跟踪流程需要另外验证。
点提示交互
用前景点和背景点逐步修正选区，适合人工辅助分割。
编码结果复用
同一张图片的特征可以复用，多次交互无需重复编码。
明确适配范围
当前关注静态图像分割，视频应用需要单独验证。
适用场景
部署配置与性能
| 部署精度 | 部署状态 | 后端 |
|---|---|---|
| 犀牛派 X1QCS8550 | ||
| 已部署，未实测 | QNN 2.36 | |
| 犀牛派 A1QCS6490 | ||
| — | 需适配 · Model Farm 尚无本板卡的可加载构建 | — |
犀牛派 X1QCS8550
已部署，未实测
犀牛派 A1QCS6490
需适配 · Model Farm 尚无本板卡的可加载构建
时延为模型单次推理耗时，不含前后处理；所有数字为真机实测。
部署指南
以下步骤基于官方部署文档整理，请以资源包内 README 与实际查询结果为准。
开始之前
- 一块与所选 SoC 一致的开发板，以及可用的终端与网络连接。
- 使用与模型包匹配的系统镜像、推理 SDK 和后端版本。
- Model Farm 账号及板卡内置 MMS 工具；首次使用需完成账号登录。
- 1
检查环境并登录
在目标板卡终端中运行。若没有 mms，请先参考下方 MMS 文档完成系统组件准备。
command -v mms mms login - 2
查询可用模型构建
核对查询结果中的模型名称、芯片、精度与后端版本。以实际返回值为准。
mms list 'SAM2-tiny' - 3
获取对应资源包
下方命令跟随当前板卡与精度生成。下载前确认查询结果中存在同一配置。
mms get -m 'SAM2-tiny' -p fp16 -c qcs8550 -b 'qnn2.36' -d ./sam2-tiny - 4
解压并检查资源目录
进入刚才下载的目录，解压 ZIP 并找到包内说明。资源包可能自带一层目录，后续命令应在 README 指定的工作目录执行。
cd ./sam2-tiny for archive in ./*.zip; do [ -f "$archive" ] || continue unzip -n "$archive" done find . -maxdepth 4 -iname "*readme*" - 5
准备输入与运行环境
准备图片以及一个前景点。使用包内一致版本的图像编码器与掩码解码器，将原图中的点击坐标转换到编码器输入坐标系。
python3 -c "import aidlite; print(aidlite.get_library_version())" - 6
运行官方示例
按资源包说明先计算图像 embedding，再传入点坐标及前景／背景标签运行解码器。对输出掩码执行裁剪和尺寸还原；同一图像的后续提示可复用 embedding。 选择犀牛派 X1 / FP16 时，下方提供官方示例命令；请先进入解压后含 python 目录的模型包根目录。其他构建使用对应包的 README。
python3 python/run_test.py --imgs python/truck.jpg --point-coordinates "500,375;1100,600" --invoke_nums 10
验证与注意事项
- 检查掩码与原图的尺寸和位置对齐，避免把低分辨率掩码直接覆盖到原图。
- 同时记录图像编码时间与提示解码时间，不将二者混成单一模型时延。
- 细小、透明或遮挡物体通常需要补充提示；此资源不等同于完整的视频分割服务。
数据来源
- superweb Model Farm 支持矩阵核对于 2026-11-03
- APLUX Model Farm · SAM2-tiny ↗核对于 2026-11-15