ABTest：用户转付费转化率

一、实验背景与实验设计实验背景当前产品默认免费试用期为 3 天免费转付费转化率仅为 8%。产品团队认为3 天的试用期过短用户无法充分体验产品核心功能导致转化偏低。因此设计实验对比 3 天和 7 天两种试用期长度验证更长的试用期能否显著提升转付费转化率。实验目标验证 7 天免费试用期相比 3 天试用期能否将免费用户转付费转化率提升 15% 以上同时保持退款率不显著上升。实验假设原假设H0对照组和实验组两组付费转化率没有显著性差异。备择假设H17天试用期的付费转化率显著高于3天试用期的付费转化率。指标设计指标类型指标名称计算公式一票否决核心决策指标免费转付费转化率试用期内付费的用户数 / 注册并激活的免费用户数否辅助诊断指标试用期内日均活跃率试用期内每日活跃用户数 / 总免费用户数否人均功能使用数试用期内用户使用的功能总数 / 总免费用户数否护栏指标7 天退款率付费后 7 天内申请退款的用户数 / 总付费用户数是上升≤2%注册转化率完成注册的用户数 / 访问注册页的用户数是下降≤2%二、计算最小样本量基线数据3天试用期平均转付费转化率 p08%0.08预期相对提升幅度 Δ15% → 目标转化率p10.08×1.150.092绝对差值 δ0.092-0.080.012代入公式n (1.920.84)^2 * 0.08(1-0.08)0.092(1-0.092) / 0.012^2 ≈ 8544两个最小样本量计算公示的对比2×p(1−p)(实际上是 p(1−p)p(1−p)假设两组方差相同)通常较大偏保守更安全样本量确定每组理论最小样本量8544 个注册并激活的免费用户考虑 5% 异常值剔除率 用户流失率每组实际需要8544×1.05≈8971个激活用户按历史注册激活率 90% 计算每组需要约 9968 个注册用户总样本量约 19936 个注册用户验证该产品日均注册量约 1500 人14 天可获得约 21000 样本满足统计要求。三、实验回收数据组别注册用户数激活用户数付费用户数转付费转化率相对提升幅度对照组3 天试用期998289657398.24%-实验组7 天试用期1005690428689.60%16.5%初步观察7 天试用期转付费转化率比 3 天高 1.36 个百分点相对提升 16.5%超过业务预期的 15% 提升目标两组激活率基本一致89.8% vs 89.9%说明更长的试用期没有影响用户注册激活意愿护栏指标。四、统计检验Z检验与卡方检验 双验证Z检验计算Z值Z ≈ 3.2计算 p 值单侧检验 p 值NORM.S.DIST(-3.20,TRUE)≈0.0007双侧检验 p 值0.0007×2≈0.0014计算 95% 置信区间≈[0.0053,0.0219]业务解释我们有 95% 的把握认为7 天试用期比 3 天试用期的转付费转化率高 0.53 到 2.19 个百分点区间下限大于 0结果稳健。辅助指标与护栏指标指标对照组3 天实验组7 天差异是否达标试用期日均活跃率42.5%58.3%15.8%显著提升人均功能使用数3.25.72.5显著提升7 天退款率3.1%3.8%0.7%达标2%注册转化率65.2%64.8%-0.4%达标-2%五、实验结论与业务决策统计结论汇总卡方检验^210.10df1p≈0.00150.05差异显著Z 检验Z3.20p≈0.00140.05与卡方检验结果完全一致7 天试用期转付费转化率 9.60%相对 3 天提升 16.5%超过业务预期的 15% 提升目标;95% 置信区间为 [0.53%,2.19%]结果稳健所有辅助指标和护栏指标均达标。业务决策全量上线 7 天免费试用期预期收益该产品月均注册用户约 45000 人按转化率提升 1.36 个百分点计算每月可增加约 612 个付费用户。按人均年客单价 1200 元计算每年可增加约 73.4 万元营收实施计划3 天内完成全量上线上线后持续监控转付费转化率、退款率和用户活跃度 30 天后续优化测试 14 天试用期的效果进一步探索最优试用期长度。