测试背景

SDK 具有上百个接口，测试场景、测试用例繁多，对于修改某个模块的代码或 SDK 上线前均需要投入大量资源（人力、时间）进行回归验证。目前 QA 资源有限，希望通过梳理 SDK 的功能，尝试使用自动化测试替代部分重复性的测试工作，提升测试效率。

SDK 整体架构

SDK 主要模块如下图所示：

SDK 数据流向如下图所示：

SDK 现有功能梳理

主要功能模块	信息描述	备注
基础数据采集	通过 track 接口采集事件数据，profile_x 接口采集用户属性数据，item_x 接口采集物品属性数据
事件属性	通过自定义属性、动态公共属性、静态共属性等方式，对部分事件或全体事件增加特定的属性
用户标识	通过 login、logout、identify、resetAnonymousId 等接口，调整、修改用户的标识信息
全埋点采集	通过在初始化中设置，采集 App 启动、页面浏览、元素点击、退出，Fragment 采集（初始化后设置）
H5 打通	原生 SDK 和 JS SDK 实现数据打通，JS SDK 的数据将发送到原生 SDK，由原生 SDK 统一上报
可视化全埋点	扫码连接到 SDG 前端页面，通过圈选 App 控件/页面创建可视化全埋点事件，通过对该事件的查询，可以统计到所有点击/浏览该事件的次数或用户数
App 点击分析	扫码连接到 SA 前端页面，展示 App 页面上原生的点击情况及热力图
数据加密	SDK 开启加密后，使用接收到后台下发的密钥对采集的数据进行加密
采集控制	SDK 请求到远程配置信息后，对部分数据的采集进行限制
渠道追踪	用户点击到第三方链接/页面后，进入到目标 App，通过调用 SDK 的激活事件，统计进入目标 App 的用户来源
数据存储与上报	设置采集的数据存储/上报的最大条数、时间间隔
计时器	统计某个事件的时长
推送点击采集	采集推送消息的点击事件
页面停留时长采集	采集当前停留在当前页面的时长

自动化框架设计原则

• 代码规范
• 模块清晰明确
• 通用性强
• 可拓展、可维护
• 错误机制处理机制
• 系统日志清晰，方便调试
• 报告详尽

SDK 自动化测试框架

测试框架详细设计

初始化模块

• App 集成神策 SDK，并正确完成初始化操作，其中注意开启后续自动化测试过程中所需的配置项，例如：数据加密、页面停留时长等
• 调用 SDK 获取预置属性的接口，得到设备相关基础信息，并对该基础信息进行人工校准。该基础信息非常重要，是后续所有数据检验的预期值 *
• 校准完毕后，人工启动自动化测试服务 

为什么要进行人工校准？

由于 SDK 对设备信息的获取，对于用户来说是一个黑盒操作，如果不进行数据人工数据校验，直接将该份数据作为预期值的话，就可能会出现数据校验通过，但真实情况下这个值是错误的情况。

例如：SDK 获取当前设备的操作系统是 Android，事件属性中的操作系统也是 Android，但 App 是运行在 Harmony 系统上。

测试用例模块

• 将自然语言中的测试用例转换为可执行的测试代码
• 测试用例抽象化，方便多个用例使用相同模版
• 测试用例类包含的基础信息包括：测试执行前环境准备（beforeTest）、测试执行（Test）、测试完成后环境处理（afterTest）
• 灵活强，不同测试用例均可执行
• 耦合性低，调整测试用例时只需修改业务测试用例代码
• 校验机制生效，可正常判断用例测试是否通过 *

如何进行校验 ？

神策 SDK 返回的数据，不仅包括接口的返回值，还包含无返回值的接口触发的数据。例如：getDistinctId 是有返回值的接口，需要将该返回值与预期值进行比较。

track 接口并没有返回值，但会触发事件数据，我们需要截获到触发的事件数据，与预期数据进行比较。

针对不同的测试点，我们需要在测试用例中分别进行测试代码设计，从而得到可以比较的预期值与实际值。

例如：当我们需要对计时器事件的时长需要测试，就需要手动对事件触发的起止时间进行打点，得到预期值，最后再进行预期值与实际值进行比较。

测试服务模块

• 利用反射机制，获取全量用例
• 用例增加、修改、删除后，均无需进行代码调整
• 控制测试用例执行，为不同测试用例所需环境提供逻辑支持
• 全量用例测试完成，输出测试结论

数据库模块

• 每一条测试用例的执行都需要进行持久化记录，使用数据库记录上述信息是一个绝佳的选择
• 使用 ORM (Object Relational Mapping，对象关系映射)设计的数据，可以很方便的与测试用例类对应，开发者只需像操作对象那样操作数据库，而无需编写繁琐易错的 SQL 语句
• 数据库单条数据的结构在测试用例类的基础上增加额外的信息，需要包括：用例编号（数据 ID）、执行时间、优先级、用例名称、用例描述、预期结果、实际结果、是否通过、失败原因、备注等

测试报告模块

• 自动化测试需要支持实时输出及结束后输出测试结果的功能
• 实时输出测试结果，对应于 IDE 的运行日志，可动态的展示每一条测试用例的执行情况
• 结束后输出测试结果，针对各端特性，可分别为 App 端输出整体结论（包括用例执行条数、通过率、测试结论等），更丰富的测试信息需要在网页端进行展示（读取数据库模块存储的数据）

最终效果

企微机器人推送测试报告信息：

测试报告详情：

测试代码相关信息

开源 SDK 地址：https://github.com/sensorsdata/sa-sdk-android 

自动化测试代码地址：https://github.com/liuweiqiang2016/SDKTest