适用场景

以下步骤基于官方部署文档整理，请以资源包内 README 与实际查询结果为准。

1. 1

   检查环境并登录

   在目标板卡终端中运行。若没有 mms，请先参考下方 MMS 文档完成系统组件准备。

   在目标板卡终端运行复制命令

   command -v mms
   mms login

2. 2

   查询可用模型构建

   核对查询结果中的模型名称、芯片、精度与后端版本。以实际返回值为准。

   在目标板卡终端运行复制命令

   mms list 'Qwen3-4B-Instruct-2507'

3. 3

   获取对应资源包

   下方命令跟随当前板卡与精度生成。下载前确认查询结果中存在同一配置。

   在目标板卡终端运行复制命令

   mms get -m 'Qwen3-4B-Instruct-2507' -p w4a16 -c qcs8625 -b 'qnn2.36' -d ./qwen3-4b-instruct-2507

4. 4

   解压并检查资源目录

   进入刚才下载的目录，解压 ZIP 并找到包内说明。资源包可能自带一层目录，后续命令应在 README 指定的工作目录执行。

   在目标板卡终端运行复制命令

   cd ./qwen3-4b-instruct-2507
   for archive in ./*.zip; do
     [ -f "$archive" ] || continue
     unzip -n "$archive"
   done
   find . -maxdepth 4 -iname "*readme*"

5. 5

   准备输入与运行环境

   准备一个简短中文问答作为首轮验证。安装与资源包匹配的 AidGen / AidGenSE，保留包内 tokenizer、配置文件与 chat template。

6. 6

   运行官方示例

   按资源包说明使用 AidGen 命令行示例完成单轮生成，再按 AidGenSE 文档启动服务。先用短输入和较小输出长度验证，再逐步增加上下文；不要混用其他版本的 tokenizer。

7. 7

   使用 AidGenSE 启动本地服务（可选）

   已安装 AidGenSE 的犀牛派 X1 / W4A16 用户，可使用下方流程。先确认 remote-list 返回了同名资源，再拉取并启动；其余平台应使用实际查询到的模型标识。服务默认端口为 8888。