A/B Test
1. 什么是A/B Test
A/B Test是在应用稳定变现期，寻求增量空间的重要手段。A/B Test可帮助您将受众按照比例，随机的分成对照组与实验组，两组用户进行逻辑切分，享用独立的策略配置。在通过数据看板进行对照组与实验组的测试数据后，您可基于数据做出决策，将全量切换至对照组或实验组，从而来提升整体的变现效果。
2. A/B Test功能介绍
ToBid聚合工具现支持相同流量分组下，创建A/B Test，既针对瀑布流配置，进行A/B Test。
3. 主要应用场景及建议关注指标
| 常见测试内容 | 对照组（A组） | 实验组（B组） | 其他配置保持一致 | 建议关注指标 |
|---|---|---|---|---|
| 开启应用内竞价是否会带来整体收益的提升 | 纯瀑布流 | 瀑布流+应用内竞价 | - 瀑布流中广告源的价格、排序、广告网络 - 瀑布流请求模式 - 瀑布流超时时长 | ARPDAU |
| 使用并行补位请求模式，是否可以降低瀑布流的请求耗时和增加整体填充率 | 固定数量并行/同价格并行 | 并行补位请求模式 | - 瀑布流中广告源的价格、排序、广告网络 - 瀑布流超时时长 | 填充耗时 流量填充率 ARPDAU |
| 新增某一广告网络是否能带来整体收益的提升 | 原配置 | 新增广告网络的瀑布流配置 | - 除新增广告网络的相应配置外，其余广告源保持不变 - 瀑布流请求模式 - 瀑布流超时时长 | ARPDAU |
| 进阶操作 | 文档链接 |
|---|---|
| 瀑布流请求模式解析 | 查看 |
| 如何使用应用内竞价 | 查看 |
4. 平台操作指引
4.1 创建A/B Test
在【ToBid聚合工具】-【瀑布流管理】，选择对应的APP和聚合广告位，点击屏幕右侧的【创建A/B 测试】，进行创建。
在弹出页面内，默认设置对照组与实验组比例各50%，并将对照组（A组）的瀑布流配置复制到实验组（B组）。
4.2 在A/B Test设置页面进行瀑布流属性配置
点击【下一步】，可进入A/B Test的瀑布流配置页面，在该页面内，可进行流量占比的切换、添加广告源、瀑布流请求模式/超时时长配置等。
4.3 保存A/B Test草稿
在瀑布流属性的编辑页面，如点击【取消测试】，会弹出二次确认面板。如开发者选择【保存草稿】，系统将会自动保存本次A/B Test的编辑信息。
选择【保存草稿】后，开发者可在瀑布流管理页面，右侧选择【编辑A/B测试】，直接进入A/B Test的瀑布流配置页面，继续之前的操作。
4.4 开启A/B Test
在A/B Test的瀑布流配置页面，点击下方的【开启测试】，系统将会开启本次测试。在开启测试后，服务端将会为每一台独立设备进行逻辑划分，将流量随机的分配至对照组（A组）或实验组（B组）。
在开启A/B Test后，系统将在流量分组的标签上，以及聚合广告位列表页，将会有特殊的icon标记，来标示当前分组/广告位正在开启A/B Test。
4.5 分析A/B Test结果
在瀑布流管理页面，右侧点击【查看A/B测试数据】，可以查看当前正在开启的A/B Test的统计型结果数据。
在A/B Test测试数据概览页，系统会披露DAU、流量填充率、流量填充耗时、预估收益、DAU人均展示、eCPM、ARPDAU、展示量等变现核心指标在对照组（A组）、实验组（B组）的详细数据，以及相应数据指标在两个组的涨幅数据对比，开发者可根据实际的业务需要，选择需要进行【全量】操作的组别，点击【全量A组】或【全量B组】即可即时生效。
5. 常见问题
5.1 三方广告位参数可以复用么？
可以，ToBid会依赖SDK的打点数据进行预估收益、ARPDAU等指标的计算。请确保瀑布流中的排序价格与实际结算价格保持一致。
5.2 A/B Test开启后，多久生效？
A/B Test的开启、全量结束都是立即生效。
5.3 为什么开启A/B Test后，瀑布流的数据会消失？
在瀑布流开启A/B Test后，系统会自动生成新的试验id来记录每次A/B Test的数据结果。所以在开启/关闭当次A/B Test后，瀑布流将不再保留本次A/B Test试验前的数据，仅会披露当次A/B 试验开启以后的数据。历史详细数据可在【综合报表】中查看。
举例说明：
| 时间顺序 | 瀑布流披露数据 |
|---|---|
| 5月15日 12:30查看瀑布流数据 | 选择时间段为5月15日，披露截至12:00的全部数据 |
| 5月15日 13:00开启A/B Test | 因为刚刚开启A/B Test，生成新的试验ID，所以选择任意时间段，报表披露数据全部为空 |
| 5月15日 16:00查看瀑布流数据 | - 选择时间段为5月15日，披露13:00~16:00期间 A组或B组分别产生的数据 - 选择时间段为5月15日以前，披露数据为空，因为当前的试验ID，在15日13点以前无任何数据产生 |
| 5月15日 17:30进行A/B Test的全量操作，全量使用A组配置 | - 选择时间段为5月15日，披露13:00~17:00，A组试验数据 - 选择时间段为5月15日以前，披露数据为空，因为当前全量使用A组试验数据的试验ID，在5月15日以前没有产生数据 |
5.4 一个用户分在了A组，那一直就是在A组么？
- A/B Test在开启后，会进行一次流量的随机分配。
- 同一个用户，会在下一次流量比例调整时，再次进行随机分组。如果开启试验后流量比例保持不变，那么同一用户将始终分在同一个分组内。
- 某些特定情况下，卸载重装APP，也会重新触发随机分组。