AI 实验室 · 安卓实机验证
让 AI 操作一次安卓手机,结果怎样?
用现有安卓手机查一次公开套餐信息,观察智能体怎样完成点击和滚动,以及动作之间为什么会等待。
把任务限定到一个能看到结果的页面
我把现有安卓手机接到电脑,先由人准备好起始页面,再让智能体查公开套餐信息。给出的目标是找到套餐详情并读出屏幕可见信息。操作里有看页面、找入口、点详情和向下翻。最后拿到了目标信息,任务停在页面查阅。
一次点击前后都有等待
智能体先看当前画面,再判断哪个入口和任务有关,随后交给工具点按。页面变化后,它还需要看一次新画面来判断是否点对。现场可见的等待分布在截图传输、模型判断和动作反馈几处。想优化速度,可以分别记下每一步用时,再定位等待集中在哪一段。
套餐查阅的结果只适用于这一段操作
这次用的是准备好的安卓环境,完成的是一次公开信息查询。换设备、换应用、改页面或扩展到跨平台比价,都会引入新条件。要评估能否反复交给智能体做,先在同一个只读任务上重复测试,逐次记录是否找到正确详情、人工介入次数,以及结果能否回到原页面核对。
给流程写清楚该停在哪
我会给后续只读任务约定一个结束动作,例如记下页面标题和可见信息就停。中途遇到页面与预期不符,先检查当前画面,再决定是否继续。登录、授权和支付有自己的后果,应当留给人判断。这样得到的操作记录,也更容易看出哪一步需要改。
