观众可能对某个设计感到厌倦和麻木。通过改变设计，可以重新吸引观众。不是因为它从根本上更好，而是因为它是新的，与以前的体验不同。
随着时间的推移，最初的提升可能会下降，性能可能会降低到与原始控制相同或更差。
为了确定原来看到的差异不仅仅是由于新因素造成的，需要在观众体验过几次改变的版本后重复测试。
六次活动之后重新测试可以缓解这个问题。
提升精度
想象一下样本量为 500 的测试，点击率从 4% 增加到 7%。
75% 的提升具有 95% 的统计显著性。
统计显著性表明，95% 的概率表明对照组和 行业电邮清单 治疗组之间存在实际差异。但这并不意味着 75% 的概率也存在。
重复测试，您可能会看到 40% 的提升。在根据测试结果做出投资回报率决策或收入预测时，这一点很重要。
对于较小的样本量来说，这种影响尤 新加坡数据 其明显，可以看到巨大的提升，而一旦推广到完整的数据库，收益就会变得小得多。
使用更大的样本量重新测试或在多个活动中重复测试可以缓解这个问题。
盲点
这些小精灵可能会把你控制良好的测试搞 如果您的现有客户喜欢使用您的产品 得一团糟，而你对这些外部因素可能知之甚少甚至一无所知。
- 技术故障。也许是随机抽样过程或结果跟踪出了问题，导致某个单元格出现偏差？主题行的更改是否导致某个版本被发送到垃圾邮件中？确实会发生这种情况。
- 您在其他渠道或竞争对手的渠道开展的活动。您可以通过其他营销活动向受众发送哪些消息和图片？这是否会改变他们对您的主题行测试的看法？
- 测试是否完全按照您的预期执行？对于更复杂的测试，测试计划执行中的错误可能意味着结果与您想象的不一样。
在多个活动中重复测试并审查测试过程和结果可以缓解这个问题。
因此，总而言之，确保样本量充足，检查结果的统计显著性，随着时间的推移重复测试并审查执行的稳健性。如果一切仍然顺利，那么您就拥有了真正的赢家