本示例展示如何使用Python进行基础图像识别编程,涵盖安装必要的库、加载图片以及应用预训练模型来识别图像中的对象。
在自动化测试实施过程中,如果遇到Android或Web部分控件和区域无法通过uiautomator、hierarchy、selenium等工具获取相关属性的情况,导致无法直接使用控件属性进行操作和断言的自动化处理时,可以采用集成截图查找功能的方法。这种方法允许我们在编写脚本的过程中截取图片中的特定区域用于预操作或设置断言条件,在执行过程中动态地从终端设备中截取当前屏幕截图,并通过对比来完成自动化的点击与判断动作。
具体来说,实现点击操作(Click By Image)时,我们首先在自动化脚本编写的阶段捕获指定屏幕上的一个特定区域。当运行该测试用例时,系统将尝试匹配此预定义的图片片段于当前设备屏幕上所处的具体位置,并计算出该部分图像中心点或任意一点的实际坐标值。之后利用uiautomator或者webdriver提供的点击坐标的接口来模拟真实的用户操作。
断言操作(Assert Image)则是在自动化测试结果判断时,当某些控件或区域无法通过属性进行验证的情况下使用的一种扩展方法。我们同样截取特定屏幕上的一个局部图片,并在执行阶段将其与当前的截图对比以确认预期的结果是否达成。这种方法为那些难以直接通过代码控制和检查的部分提供了一种有效的替代方案。