AI 对话
操作设备前
对话里执行的点击、截图、跑工作流等，依赖 USB 设备授权 与 运行环境。请先阅读 环境与授权。
打开 AI 智能体后，默认就是 AI 对话 页。在这里用 中文 描述想做的事，AI 会帮您选设备、找流程、下发执行。
页面长什么样
- 上方：工具栏（连接状态、模型、设置、任务等）
- 左侧：选设备 + 工作流库（卡片列表，可运行、编辑）
- 中间：聊天记录，支持多个 对话标签
- 下方：输入框；已配大模型时，还可选 本会话用哪个模型
顶部可在 「对话」 和 「工作流编辑」 之间切换。
工具栏常用按钮
| 按钮 | 干什么用 |
|---|---|
| 连接状态 | 看 AI 服务是否在线；离线时点 启动 AI |
| 模型配置 | 添加、修改大模型（DeepSeek、OpenAI 等） |
| 历史会话 | 打开以前的聊天，可继续聊或删除 |
| 任务面板 | 看正在跑、跑完的任务（详见 任务与监控） |
| 设置 | 数据存放位置、同时跑多少台设备等 |
| 工作流编辑 | 去编排自动化流程 |
| 新会话 | 新开一个空白对话 |
| CLI/MCP 集成 | 对接外部命令行等（进阶，见 外部集成） |
怎么用：三步
- 左侧勾选设备（没选的话，AI 会追问要在哪台手机上操作）
- 在输入框用中文说需求，按 Enter 发送（Shift + Enter 换行）
- 等 AI 回复；需要执行时会创建任务，可到 任务面板 看进度
可以这样说
- 「帮我在第一台手机上打开 Safari」
- 「现在有哪些自动化可以跑？」
- 「运行登录流程」
- 「无自动化截图 看看当前界面」（设备已连上即可，不用开自动化）
- 「自动化截图 保存当前画面」（需先启动自动化环境）
- 「识别屏幕文字，看看有没有登录按钮」
- 「无自动化找图，用模板 btn_ok.png 找按钮」（需事先准备好模板路径）
- 「用 视觉定位 找右上角设置按钮」（需配置 VLM）
AI 会用中文回复；信息不够时会 追问，不会乱编不存在的流程名。
截图、OCR 与找图
AI 对话与工作流使用 同一套名称：
截图与 OCR
| 说法 / 步骤 | 含义 | 要不要开自动化 |
|---|---|---|
| 无自动化截图 | Bridge 直截全屏 | 不用 |
| 自动化截图 | Agent 服务截全屏 | 要 |
| 无自动化 OCR | Bridge 截屏 + 识文字 | 不用 |
| 自动化 OCR | Agent 截屏 + 识文字 | 要 |
图色找图
| 说法 / 步骤 | 含义 |
|---|---|
| 无自动化找图 / 自动化找图 | OpenCV 模板匹配 |
| 无自动化偏色找图 / 自动化偏色找图 | 透明/偏色小图 |
模板路径、区域裁剪、中心点提取等 复杂配置 建议在工作流编辑器里用 找图预览 完成，详见 图色找图。
工作流里对应步骤
编辑器菜单：截图、OCR识别、图色识别、视觉定位 (VLM) 等，名称与上表一致。
tip
每个对话标签可以选 不同的模型，方便对比效果。切换标签后，输入框下方的模型选择会跟着变。
左侧工作流库
这里列出您保存的 主流程（子流程在编辑器里看）。每张卡片可以：
| 操作 | 说明 |
|---|---|
| 运行 | 在已选设备上立刻执行（需先选设备） |
| 编辑 | 打开工作流编辑器修改 |
| 打开文件夹 | 在电脑上打开该流程文件所在文件夹（备份用） |
| 删除 | 删除这条流程 |
| 新建 | 创建空白流程 |
上方搜索框可按名称、说明过滤。
没配大模型时
若尚未配置 API 密钥，只能输入 固定指令：
| 输入 | 作用 |
|---|---|
list workflows | 列出所有工作流 |
run 工作流ID | 在已选设备上运行；可带设备 ID |
建议还是按 快速开始 配好大模型，体验更自然。
小提 示
- 聊天记录 会自动保存，下次可从 历史会话 打开
- AI 回复是 逐字显示 的，等不及可以点取消
- 对话里 看图找按钮 的能力不如工作流编辑器里完整；固定图标请用工作流 图色找图 + 找图预览，见 图色找图