跳到主要内容

蓝牙BLE教程

说明​

  • 目前iOS支持ESP32C3的开发，分别有带焊引脚和不焊引脚的两个固件，注意对应
  • 蓝牙的模拟动作和代理ipa的所有功能都不冲突，可以组合使用，也可以分开使用
  • 蓝牙的方案，可以不安装代理ipa，直接使用image.captureFullScreenNoAuto截图，与市面上其他的硬件方案不同，这截图函数不走屏幕镜像，极大的避免风控检测
  • 固件是免费的，开发板自己去淘宝、拼多多、1688去买

下载固件​

  • 请到网盘iOS资源文件夹-USB版本-蓝牙固件文件下载对应开发板的固件

刷入固件​

  • 刷入固件和安卓是一样，这里不再重复，参考安卓蓝牙刷入固件
  • 刷入的时选择iOS USB的蓝牙固件，不要选择错了
  • 获取蓝牙的mac地址也参考安卓版本如何获取

设备与蓝牙绑定​

  • 建议将开发板上面写上蓝牙MAC地址标签，手机上也贴上对应的蓝牙MAC地址标签，方便管理和对应
  • 打开iOS USB中控，选择一个设备，鼠标右键菜单，选择蓝牙HID设置-绑定蓝牙BLE
  • 选择一个已经链接的串口，如果找不到串口，可以去掉只显示已绑定的，然后强制刷新，上述都找不到，也可以直接在MAC地址输入框输入 蓝牙MAC地址的后8位,绑定即可
  • 绑定完成后，在中控的列表中，可以看到蓝牙MAC一栏就是绑定的蓝牙硬件了

测试蓝牙功能​

  • 绑定完成蓝牙后，在手机上，手机设置-蓝牙找到需要链接的蓝牙，链接上
  • 按照本章节的常见问题的蓝牙BLE手机需要开启哪些选项，开始设置好所有配置
  • 选择一个设备，鼠标右键菜单，选择蓝牙HID设置-测试蓝牙BLE
  • 上述都配置完毕，开始选择通信方式，然后点击鼠标移动或者HOME按键，如果观察到手机上面有动作，代表成功
  • 如果没有，就重新链接蓝牙和配置手机的选项

通信功能​

  • 和开发板通信有串口和WIFI模式，串口是通过USB直接发送和接收数据，这个无需其他配置
  • WIFI通信，需要预先设置开发板的WIFI用户名和密码
  • 中控右键菜单，蓝牙BLE设置-设置WiFi信息菜单
  • 设置好后重启一下开发板，中控会定时扫描蓝牙开发板的IP，如果扫描到了会在中控的列表中，可以看到硬件IP一栏
  • 中控启动后，在配置好蓝牙和手机对应后，会自动扫描,无需关心

键盘快捷键​

  • 该功能是为了配合手机设置-辅助功能-键盘与键入，全键盘控制中的命令，完成键盘快捷键的使用，同时配置好后在脚本中也可以使用
  • 中控右键菜单，蓝牙BLE设置-新增键盘快捷键菜单
  • 案例：
    • 可以打开手机设置-辅助功能-键盘与键入，全键盘控制中的命令，下拉找到 通知中心，点击一下，会有提示键盘快捷键对话框
    • 在中控的键盘快捷键的对话框中，组合键选择gui，字符输入 b，点击发送，可以看到手机上面的 键盘快捷键对话框中的快捷键变化了，点击完成
    • 在中控的键盘快捷键的对话框中，组合键选择gui，字符输入 b，点击发送，手机上即可切换到通知中心
  • 其他的快捷键，以及快捷指令的快捷键都是这样的绑定，同时脚本中也是使用bleEvent.keyPressChar进行快捷键调用

输入功能​

有代理IPA情况​

  • 如果你有代理IPA，可以自动启动自动化，那就直接使用代理的模式进行输入，例如调用 inputText 函数

自定义输入法​

  • 没有代理ipa，但是有安装EC脱机版本主程序作为输入法的，可以使用imeApi模块，需要先开启imeApi.forwardImeServer转发服务，才能调用其他的imeApi其他函数

没有代理IPA也没有输入法​

  • 到EC官方网盘。文件夹是--- iOS资源-iOS快捷指令助手.zip*下载这个文件，然后解压后双击运行
  • 利用快捷指令进行请求网站接口内容并复制到剪切板，然后在进行粘贴动作
  • 案例
    • 在手机，快捷指令新建一个指令内容如下
    • 解释：
      • 以下的说明都是基于 iOS快捷指令助手 程序的
      • http://192.168.2.26:8696 这个是iOS快捷指令助手所在的电脑地址
      • key=4eb2e1c1，代表手机的唯一标识，这里使用的是蓝牙MAC地址，也可以使用其他的，目标是区别是哪个手机
      • 设备震动，是为了在后台也能获取到数据，放到剪切板
      • 最后回调suc接口，是为了告诉程序，这个指令执行成功了
    • 快捷指令配置完成后，请到手机设置-辅助功能-键盘与键入-全键盘控制-命令选项，划到最下，找到刚才新建的快捷指令的名称,这里的案例叫获取URL内容，点击一下
    • 在中控，绑定这个指令的快捷键，右键蓝牙BLE设置-新增键盘快捷键输入你自己的快捷，这里输入的组合键是gui,字符是u，点击发送，然后在手机上点击完成
    • 再一次在蓝牙BLE设置-新增键盘快捷键输入刚才的字符和组合键，点击发送，即可在看到快捷指令执行效果
    • 配置稍微麻烦一些，但是完成后可以分享给其他的手机，具体可以自己百度如何分享快捷指令
    • 在脚本代码中如何使用，请看这个链接脚本代码中使用快捷指令进行输入

视频图片功能​

有代理IPA情况​

  • 直接利用代理ipa插入视频图片到手机相册

没有代理IPA​

  • 到EC官方网盘。文件夹是--- iOS资源-iOS快捷指令助手.zip*下载这个文件，然后解压后双击运行
  • 利用快捷指令下载视频到相册
    • 案例：
      • 新建快捷指令参考 没有代理IPA也没有输入法的新建和绑定键盘快捷键，这里给快捷指令的截图

      • 这里测试案例绑定的是 gui+i 快捷键
      • 为什么快捷键指令调用两次获取URL内容，因为第一次返回真实资源的地址URL，第二次获取的资源内容
      • 在脚本代码中如何使用，请看这个链接脚本代码中使用快捷指令进行插入相册

常见问题​

蓝牙链接不上​

  • 按住开发板的RST键过5后松开重新链接，也可以手机上的蓝牙选项，点击感叹号，进入忽略该设备后重新链接
  • 一个开发板设定只能链接一个设备，链接后，蓝牙名称自动隐藏，防止检测的，如果换绑蓝牙，注意先在手机上断开并忽略该设备，再按开发板RST按键
  • 刷入固件后重启开发板，手机上看不到就重新开关手机蓝牙搜索

蓝牙BLE手机需要开启哪些选项​

  • 设置 -> 辅助功能 -> 触控 -> 辅助触控,打开辅助触控开关
  • 设置 -> 辅助功能 -> 触控 -> 辅助触控，找到 “跟踪灵敏度”：将其拉到最左侧（龟速）
  • 设置 -> 辅助功能 -> 触控 -> 辅助触控 ，打开执行触控手势，打开显示屏幕键盘，如果想要点击有声音，就打开点按声音选项
  • 设置 -> 辅助功能 -> 触控 -> 辅助触控-鼠标键，初始化延迟和最大速度拉倒最左侧，可以开启鼠标键、Option键切换、使用主键盘
  • 通用-触控板与鼠标-跟踪加速度，拉到最左侧
  • 设置-辅助功能-键盘与键入，打开全键盘控制
  • 设置-辅助功能-键盘与键入，进入命令选项，可以自定义键盘的快捷键，以及快捷指令的快捷键

开发板灯语提示​

  • 蓝牙配对 常亮三秒 灯熄灭
  • 蓝牙断开 慢闪10次 灯熄灭
  • 查找蓝牙 快闪15次 灯熄灭

鼠标漂移或者不准确​

  • 手机的选项没有打开，参考[蓝牙BLE手机需要开启哪些选项]
  • 没有校准坐标，使用bleEvent.resetZero恢复到0,0坐标
  • 没有设置鼠标的缩放比或者设置不对，函数是bleEvent.getIPhoneScale，如果没有你的手机型号，需要抓图后自己使用某个固定坐标点使用移动坐标函数测试缩放比例
  • 没有设置屏幕的高度宽度，尤其是横竖屏切换的时候，没有设置对应的尺寸导致偏移

如何配合脚本使用​

  • 在idea图色面板中，使用 无自动化抓图 按钮截图，测试的时候 也使用 实时测试(无自动化) 按钮
  • 脚本使用的时候就用 image.captureFullScreenNoAuto，或者 image.startPreCapScreen 预截图，加快速度
  • 除了节点功能不能使用，OCR、YOLO、图色、模版匹配 等都可以正常使用的