ab测试
从图中可以看出,AB测试是对比两个或多个变体在同一地方好坏的方法,并且需要保证样本的同时和同质。
同时性:两个变体是同时投入使用的,而不是今天使用A变体,明天使用B变体,这样会有其他因素影响。比如,对于电商网站来说今天没有活动,而明天是双十一,在这个条件下我们不能判断变体B比变体A好。
同质性:两个变体对应的使用群体需要保证尽量一致。比如,想想一个极端场景:变体A里全是女性,变体B中全是男性,我们根本无法判断出来究竟是方案影响了最终效果还是性别。
为什么要使用AB测试?
先来看下最近挺火的一个概念:增长黑客。
俗话说:人挪活,树挪死。互联网想要成长也得挪一挪,我个人理解增长黑客的核心就是:变。
观察力惊人的你一定还发现了增长黑客里边有个红色星星是干啥的?
增长黑客里叫北极星指标,他的作用是:
重点抓取;
明确优先级;
提高行动力;
北极星指标举例:
1. 管理后台
我们习惯定义每一个AB测试都属于一个独立的实验,方便管理和查看统计数据。
在管理后台当中可以创建、管理实验,还可以在实验进行中、结束后查看实验数据。
举例国外和国内分别做的比较好的AB测试平台的实验架构:
国外:Google 的 Optimize。Google的实验架构一共有五层:
为了方便计算,假设现在有12个人(Customer),我们给12个人进行编号,C1~C12;有6个桶(bucket)我们编号为B1~B6。
每个用户在访问实验时,会先进入到分流算法中,由算法来决定分到哪个桶里面,都分完后最理想的是每个桶里正好有2个人。(实际上基于大数定律原理,数据量越大分配的会越平均)
那么现在,假设每个变体的流量是50%,变体A我们假定对应的是三个桶B1、B2、B3桶,变体B也是对应的是B4、B5、B6桶。
实际上有没有发现,变体A选中的概率是50%,所以只要对应任意三个桶即可:
算法:保证分每个桶分到的越随机越平均越好。
节点:前端分流和后端分流
分流主体:Cookie、session
国内的AB测试一般采取的是Cookie分流,Google采取的是Session分流。
3. 结构数据
埋点方式:主要是数据的采集和上报
目前市面上常用的埋点方式为:代码埋点、可视化埋点、全埋点(或者无埋点)
数据仓库:埋点数据的清洗、计算、储存。
结构数据的准确性决定了,AB测试数据分析准确性,如果你所在的公司埋点没有搞起来,并且无法保证数据的准确性,我劝你还是不要做AB测试浪费时间 [尴尬又不失礼貌的微笑]。
4. 对接方式:业务方接入到AB测试的方式
对接方式更偏技术,但是从产品的角度需要知道不同方式对AB测试竞争力的影响。
如果是商用的AB测试软件SDK肯定是首选,因为你不可能每次都与业务方对接接口,并且SDK里面是会包含埋点的。
如果只是内部使用,并且是初步搭建AB测试系统,最好还是选取接口的方式,方便快捷并且比较稳定。
5. 从访问到产生实验统计数据的流程
上面是拆分了不同的模块做了简单的介绍,下面介绍一下用户从访问到产生实验统计数据的整个流程。
)