前言

为什么要写这本书

AB实验作为利用数据驱动增长的重要手段，可以在推断因果效应的同时量化策略效果，在产品创新、优化和改进中发挥着越来越重要的作用。AB实验是一项复杂的系统工程。如果没有坚实的理论基础、强大的平台能力、丰富的实践经验作为支撑，那么很容易得出错误的AB实验结论，进而让组织做出错误的决策，错失发展机会。

从我的亲身经历和对大量企业的调研了解来看，当前有相当多的从业者，甚至大型互联网企业的技术人员，对AB实验的理解还处于比较粗浅的阶段，甚至存在很多误解。许多企业的AB实验实践停留在初级阶段，对于如何高效开展AB实验、构建基于数据和实验的企业文化，还没有形成成熟的方法论，导致实验过程反复和低效。同时，在市面上，系统阐述AB实验原理、平台建设、实践、文化建设等方面的图书非常少，大量希望学习AB实验的读者找不到有效的渠道来获得专业知识。

我曾参与过多种类型业务场景下AB实验的设计与分析，也负责过大型AB实验平台的建设。通过学习国内外公司先进的经验，并在实践中不断尝试，我积累了丰富的AB实验经验。本着分享、交流、学习的心态和初衷，我撰写了本书。AB实验是一个系统性的工程，涉及的知识非常广泛。本书以AB实验相关的知识为重点，扩展了与AB实验紧密相关的内容，比如指标体系建设、AB实验之外的因果分析方法、用户调查方法等。

希望本书能对广大正在践行AB实验的读者有所启发，加深行业对于AB实验的理解，提升AB实验实践的科学性，促进AB实验文化的发展。希望读者能借助AB实验这个有力的工具，成功实现产品增长。

读者对象

本书适合所有对AB实验有需求的企业管理者、相关从业者，以及对于数据驱动增长、数据科学等领域感兴趣的读者。目前大部分AB实验集中在互联网行业，因为其天生具有进行在线AB实验的优势和强烈需求。我们以典型的互联网公司中主要角色的视角来看本书对不同的角色的主要价值。

●企业管理者和决策者：对于企业管理者来说，如果企业当前还没有AB实验，他们需要确定企业当前阶段是否需要引入AB实验，以及以什么样的方式引入（自建或采购）。因为涉及企业当前的财务、人力状况以及产品未来的规划，所以只能由他们做出决策。对于已经在进行AB实验的企业，管理者和决策者需要了解AB实验的原理以及AB实验是如何运行、如何分析的，充分了解后他们在阅读AB实验报告的时候才不会被数据戏法所欺骗。本书介绍的很多案例中，针对同一个实验，实验报告如果采用不同的口径或者指标，得出的结果是完全不一样的，决策者必须学会自己看数据和实验报告。

●产品经理和运营人员：对于有增长需求且适合进行AB实验的产品来说，产品经理和运营人员就是AB实验的主要发起者。他们需要对自己策划的产品功能、策略、运营活动、方案进行测试，以保证产品的优化和迭代按照组织期望的方向进行。只有具备了系统的AB实验知识，才能设计出合理的AB实验方案，并能够准确判断实验是否正常运行，实验收集数据是否可用且满足实验评估的要求。如果没有扎实的实验知识，得出的实验结果很难保证是科学的、可信的。

●数据分析师、数据科学家等数据工作者：AB实验分析是数据分析中一个非常重要的方向，很多公司AB实验的结果是由数据分析师统一输出的，以保证客观性和准确性。在互联网领域，数据分析工作中AB实验分析的比重甚至可能超过30%。不懂AB实验分析的数据分析师在就业竞争中会处于明显的劣势。对于数据科学方向的从业人员来说，有两个区别于传统数据分析的关键点，一个是模型构建能力，另一个就是实验设计和解析能力。在许多大型公司中，数据科学部门肩负着构建实验团队和实验平台以及进行实验评估和实验文化推进的任务。可以说掌握AB实验相关的知识是数据科学家必备的。

●前后端、算法等技术开发人员：AB实验的实现涉及整个产品研发链的很多环节，比如前端涉及UI和交互逻辑的下发，后端涉及分流逻辑、触发时机的实现，算法研发更是要频繁使用实验平台进行AB实验。如果这些技术实现者系统地掌握了AB实验的相关知识，那么他们不仅能更好地设计和规划技术架构，而且在代码出现问题的时候，也能通过原理的分析快速定位和修复问题。同时，开发人员也可以用AB实验来测试不同的架构、代码方案的性能等。

本书特色

本书有以下几个主要特色。

●内容全面系统、主次分明。本书以AB实验为中心，包含AB实验方方面面的知识，不仅有AB实验相关的理论基础知识、平台建设、文化建设，还涵盖指标体系建设、增长实践、AB实验的局限性以及因果推断、用户研究等内容，内容全面且系统。同时，本书将重点放在对AB实验关键环节的深入理解、关键问题的解决上，力争把问题从原理和实践角度剖析到位，而不是面面俱到地泛泛而谈。

●案例丰富，算例清晰，理论扎实又容易读懂。书中重要的知识点都配有翔实的行业实践案例，帮助读者更深入地理解应用场景。我还给出了生动易懂的例子以及严密公式的推导，以深入浅出的方式阐述AB实验涉及的复杂数理知识。比如，统计学中假设检验中的P值、显著性水平等问题，AB实验为什么能进行因果推断，以及需要具备什么条件等。

●视野广阔，内容与时俱进，具有先进性。在写作本书时，我对国际前沿热点、新近实践经验、研究成果、最新行业动态进行了持续的跟踪和解析，同时调研了国内多家大型互联网公司的AB实验实践情况，力求让本书具有全球视角下与时俱进的指导意义。

本书主要内容

本书分为6个部分，共21章。

第一部分　了解AB实验（第1章），主要从AB实验的原理、行业案例出发，帮助读者建立对AB实验的基本认知，并从应用视角阐述AB实验的优势、价值，让读者了解学习AB实验的原因。

第二部分　深入AB实验（第2～9章），对于AB实验中的关键问题和挑战、实践中容易出现的问题、较难理解的环节进行深入细致的解析，包括统计学相关、实验分流、实验灵敏度和长期影响评估等方面。

第三部分　AB实验评估指标体系（第10、11章），主要对产品的指标体系和实验评估指标体系进行系统的阐述，介绍了从指标设计、评估、进化，到如何选择好的实验评估指标体系和合并OEC指标。指标体系既是数据体系的基础，也是数据驱动的抓手。没有好的指标体系，就无法计算和度量，数据就无法体现真正的价值。

第四部分　AB实验的基础建设（第12～14章），主要讨论了如何构建AB实验体系，包括实验平台建设相关的工作，以及实验组织和文化应该如何建设，总结了AB实验解决方案框架，以及如何适配不同的行业、产品和业务场景。

第五部分　基于AB实验的增长实践（第15～18章），以增长为目标，围绕AB实验，通过构建想法、验证想法、沉淀想法介绍了AB实验如何在实践中落地。

第六部分　AB实验的局限与补充（第19～21章），重点介绍了AB实验的局限性，以及在不能进行AB实验的时候，还有哪些方法可以进行归因分析和用户调查。

分角色重点导读

分角色重点导读的目的是帮助那些时间有限或者已经有一定基础的读者进行重点学习、快速了解。建议对AB实验了解还比较粗浅或者时间充裕的读者按照顺序学习。

资源和勘误

由于本人水平有限，书中难免会有一些不当之处，恳请批评指正。读者可以通过微信公众号“AB实验与产品增长”中的“交流”板块与我联系，真挚期待得到你的反馈。由于篇幅有限，一些内容无法放入书中，比如图片、论文、案例等相关学习资料。读者可以在微信公众号“AB实验与产品增长”中下载这些内容。

致谢

感谢我的家人、朋友的支持和理解！这本书完全是我利用业余时间编写的，牺牲了大量陪伴家人和朋友的时间。在写书期间，你们不仅为我创造了良好的环境让我安心写作，还帮助我进行校对和审阅！没有你们的支持，完成这20多万字的撰写会更加困难。

我将本书献给AB实验践行者、数据科学从业者、产品增长实践者，以及所有致力于数据驱动业务的朋友。正是你们的不懈努力和实践，才使我们对数据科学、AB实验的理解不断深入！

刘玉凤

2022年5月