豆包手机

概述

参考:

B 站 - 老戴Donald,【老戴】豆包手机到底在看你什么?我抓到了它的真实工作流程

实现逻辑: bitmap + 事件注入

主要自动化的操作在 autoaction APP 中。有一块虚拟屏幕,实现类似后台执行的效果,从 GPU 渲染的图形缓冲区拿走 bitmap 交给模型识别。

识别完成后要执行的操作,由 autoaction 通过 android.permission.INJECT_EVENTS 事件注入的方式,模拟屏幕点击。也就是说直接将平时人们点击屏幕产生的事件直接注入到系统中