以指标形式呈现看似不容置疑的确凿事实，会给人一种关于数字稳健性以及根据这些数字做出的决策的虚假安全感。
但实际上，我们可能会得出错误的结论，并有可能做出降低绩效的决策。
让我用一个悲惨的故事来解释一下。一个品牌在他们的博客上发布了一个真实的 A/B 主题行拆分测
主题 B 的打开率增加了 5.7%，点率提高了25% 。
结论显而易见。不要使用个性化名称，对吗？
这就是该品牌得出的结论，他们停止使用名称个性化。
事实上，这次测试什么也没证明。问题是 工作职能邮件数据库 测试样本量不足，每个测试单元只有 100 人。
这意味着打开率提高 35% 到 37% 只需要多两个人，点击率提高 3% 到 4% 只需要多一个人点击。
这就像抛硬币四次，因为四次中有三次是 新加坡数据 正面，就断定硬币的正面概率较大。需要更大的样本量才能得出可靠的结果。
要将现实世界实验中的正常随机变异与真 如果您提前做好准备 实差异区分开来，需要一些统计学知识。统计显著性是关键武器。这告诉我们两个样本之间的差异是否归因于随机变异。
对于这个特定的品牌，他们说服自己不应该进行个性化，尽管在许多测试中我都看到个性化可以提高绩效。也许他们不这样做是对的，但问题是他们现在正在根据潜在的错误事实做出未来的决定。
值得庆幸的是，您不需要成为统计学家来检查您的结果，只需将数字输入专业的在线计算器即可，例如这个免费的A/B 分割测试重要性计算器，可以简单检查测试结果。
但在您满意离开之前，这还不够。统计意义也无法让您了解全部情况。
统计显著性回答了一个特定的问题，但是它没有解决几个问题。
新的冲击
假设您更改了名字或创意设计，并对新设计与旧设计进行了拆分测试。
您检查结果的统计显著性，新设计获胜。好极了。
但我们是在与人打交道。抛硬币与以往的结果不会影响将来的结果不同，人们的行为会根据以往的经验而改变。