产品或设计师在做设计方案时，会有1套方法论来制作多个方案，经过评审以后1般都会得出1个平衡了用户体验和业务目标的方案。但常常也存在1种情况：A方案和B方案各有优劣，实在没法主观判断两个方案上线以后数据如何。如果AB方案的实现本钱不是很高，就能够使用AB Testing来解决。根据上线以后的数据表现，终究上线数据更好的方案。
1、原理
数理统计学中有1个概念叫“假定检验(Hypothesis Testing）”，其基本的原理是对整体特点做出某种假定，然后通过抽样研究的统计推理，对此假定应当被谢绝还是接受作出推断。
在假定检验中，存在原假定和备择假定，以下图为例。
改变按钮样式的AB Testing
原假定指改变按钮样式会带来转化率的提升，备择假定是改变按钮样式不会带来转化率的提升。
原假定和备择假定有且只能有1个为真。
2、背景
Google是最早将AB Testing利用到互联网产品的公司，谷歌工程师在2000年进行了他们的第1次AB测试，试图肯定在搜索引擎结果页面上显示的最好结果数量。后来AB测试不断发展，但基础和基本原则通常保持不变，2011年，谷歌首次测试后11年，谷歌进行了7,000屡次不同的AB测试。
目前像Facebook、LinkedIn等公司都有专门的增长团队来做AB Testing的实验（增长团队的核心就是不断的进行AB Testing来提升产品数据），并且团队负责人直接向CEO汇报，最近两年国内很多公司也愈来愈重视数据增长。
3、 AB Testing愈来愈被重视的缘由
为何数据增长会在互联网行业兴起，我认为有两点缘由，1是互联网产品的表现情势趋于成熟，目前市场上主流的智能手机操作系统只有iOS和Android，它们在交互和视觉层面愈来愈规范和统1；2是互联网产品设计的方法论逐步成熟，互联网公司产品设计流程的分工已很细，产品经理、交互设计师、视觉设计师，而且每一个岗位都有成熟的方法论。由于这两点缘由，致使大家做出来的东西在用户体验层面已拉不开很大的差距，这时候候如何在同质化产品中脱颖而出变得更加困难，其中通过科学的方法，采取认知心理学和统计学相干知识的AB Testing展现了它的威力，并为互联网产品的数据增长带来了新的动力。
4、具体方法论：如何做实验？
1.提出想法，设定假定
得出假定的方法有很多，包括福格模型、头脑风暴、经验总结、行业鉴戒、公司不同部门人员提出建议、用户调研、数据分析。方法有很多，以后我们会详细介绍。
2.预估本钱/设定优先级
有些实验方案不但触及设计和开发本钱，还需要额外的资金本钱，像增加现金或优惠券嘉奖来提升转化率的实验，这个时候需要对该类实验经济本钱预估，并且结合ICE模型来设定优先级，决定哪一个实验先做，哪一个实验后做。
ICE模型是指：Impact Level 重要度；Confidence 自信度； Ease 容易度。每项满分为10分，ICE总分为3项的平均分，ICE分值越高，对应的优先级也越高。
3.设计方案
决定了哪些实验先做，哪些后做，接下来就要开始进入方案的设计阶段了，有些简单的实验可能不需要经过设计阶段，可以直接开发上线。
主要跟交互设计师，根据第1步提出的假定，提出多种方案，最后选择1到两个方案进行AB testing。
著名的资讯公司Upworthy会对每篇行将上线的文章讨论出25个标题，终究选择2个标题进行A B testing。
4.肯定实验人数和周期
关于计算实验人数和周期，有很多工具网站可使用，例如Evanmiller网站。打开这个网站，你会发现有4个字段需要输入，1个是Baseline conversion rate，指原本的转化率，2是Minimum Detectable Effect，指预计会提升的百分比，另外两个是β和α值，你只要记住设定这两个值是为了保证实验结果的准确性。1般β值会设定在5%/10%，α值会取1%~10%之间。
5.安排开发与测试
这个大家太熟习了，就不多说。
6.分析实验结果
在分析实验结果的时候要特别注意两点，1要排除其他因素致使的数据变动，例如你的产品是受季节影响的话，实验得出的数据要扣除季节对数据产生的影响；2是确保关联数据也有相应增长，例如你的实验是要提升活动详情页到支付页的转化率，实验结果显示，转化率从之前的5%提升到了6%，这相当于增长了20%，但是别高兴太早，你要看看这增加的20%的用户，有无成功进入下1步，也就是支付成功，很有可能本次实验只是把用户从活动详情页吸引到了支付页，但是吸引来的用户并没有去真正下单。
7.扩大实验或失败
分析完实验结果后，如果判定实验成功，接下来就扩大实验范围，把本次改进覆盖所有用户；如果实验失败，也不要灰心，毕竟AB Testing的成功率其实不是很高，大胆的接受实验失败，并开始下1个实验吧。
5、注意事项
1.确保实验的变量唯1；
2.确保实验周期不能太长，1般控制在2到3周，最好不要超过1个月；
3.确保α和β值在公道的区间内，保证实验的准确性；
4.分析实验结果时，记得排除其他因素在实验中的影响。
如果觉得文章对你有所帮助，欢迎留言并且推荐给你的好友。
来源：邹志楠（ID：UXxiuyang）
