14 如何用数据做出产品决定?

今天这篇文章我用一个增长日活数的案例,跟你分享一下如何用数据做出产品决定。

案例背景:通过提高新用户的留存率来提高日活数

我们希望能够把不同活跃程度的用户区分开来,于是就发明了一个指标:七天活跃天数。我们用D7表示这个指标,直观体现留存率:D7=1,代表用户在过去的7天只使用了这个APP一天;D7=7,代表用户在过去的7天中每天至少使用这个APP一次。D7>4代表高活跃度用户,2

通过对已有数据的分析,我们发现很多低活跃度用户并没有关注其他用户,他们的朋友圈根本没有任何内容,只能通过搜索来看内容。因此,我们认为用户关注其他用户的数量会影响到用户留存率,此时我们并不是非常清楚其他因素是否会影响留存率,所以我们可以先假设,关注其他用户对提高用户留存率非常重要。

形成假设

第一个问题是,影响用户留存率的原因是什么。

这个问题需要考虑以下两种情况:

  • 第一种假设是,用户没有关注其他用户(或关注的数量非常少),他们的朋友圈里没有足够的内容,因此在APP里停留的时间也就非常短。
  • 第二种假设是,用户没有被其他用户关注(或关注他的人非常少),他们的朋友圈虽然有内容,但是他们自己发出内容时很少会有人回复,久而久之丧失了对APP的激情。

我们假设这两种情况都会影响用户的留存率,但是影响留存率的原因并不一样。所以我们需要弄清楚,哪种情况发生的频率更高、对用户留存率的影响最大、应该先优化哪部分。

第二个问题是,用户的关注数量到底会不会影响留存率。

当用户关注100个人、1000人和只关注1个人时,对留存率的影响是同一个级别的吗?用户自己的粉丝数量会不会影响留存率?当你有100个、1000个和只有1个粉丝的时候,是不是也会不同程度影响你的留存率呢?

形成假设时要避免的坑是,切记要分情况考虑。不能简单地归类为增加关注数,而是要考虑清楚增加关注数其实影响了两类人,一类是关注别人的人,一类是被关注的人,这两种情况很有可能带来的结果完全不一样,所以要分开考虑、分开假设。

解决问题

第一个问题,影响用户留存率的原因是什么,我们通过A/B测试的方式来解决。 我们需要设计两组独立的实验来区分关注和被关注对用户留存率的影响。

  • 关注其他用户与否: 我们给实验组用户的朋友圈推荐好友关注,他们可以直接一键关注所有人。这个推荐内容在用户每次打开朋友圈时都出现在第一条状态的上面,以增加用户使用这个功能的概率。对照组用户的朋友圈没有添加这个功能,只显示已经关注的朋友的内容。
  • 被其他用户关注与否: 我们把实验组用户的账号作为推荐放到其他用户朋友圈的第一条,增加他被其他用户关注的概率。对照组用户的账号,我们会避免它们被推荐给其他好友。

我们通过两组实验对比发现, 当我们帮助用户关注更多其他用户后,他们的D7增加了6%;而当我们帮助用户获取更多粉丝后,他们的D7增加了4%。这说明,帮助用户关注更多人或者帮他们吸粉,可以让增加他们的留存率。

我们还设置了一组对比实验,分别在用户使用APP的第一周、第二周、第三周和第四周帮助他们关注其他更多用户。通过实验数据,我们发现,在用户开始使用的第一周时就让他们关注更多人,否则他们非常容易流失,而且再也不回来了。

除了帮助用户尽快关注别人,也要考虑尽快帮助用户吸粉,为此我们对比了第一周帮他们吸粉和过几周后再帮他们吸粉的数据,结果发现虽然第一周帮他们吸粉的效果会好一些,但是影响没有很明显。

通过上面的分析过程,我们制定了产品策略:增加一个“你可能想关注”的版块,在新用户第一周使用APP时,向他们推荐其他用户,并在这个板块里预留几个名额给其他的新用户。那么,这个版块既可以帮助新用户关注更多其他用户,又可以帮助新用户吸粉,相当于一箭双雕。

之后我们又做了一些优化:推荐什么用户才能帮助新用户提高留存率呢?为此,我们增加了推荐系统,根据新用户提供的个人信息进行推荐,或者根据新用户所在的位置、年龄、手机类型等进行推荐。

第二个问题,用户的关注数量到底会不会影响留存率,我们用统计图的方式来解决。

  1. 针对帮助用户关注更多其他用户的假设,统计图的横轴设置为新用户第一个周内关注其他用户的数量,纵轴为D7。 我们发现,当用户关注的其他用户数量在20个左右的时候就到了所谓的临界点,也就是说,D7逐渐趋于平坦,增速显著放缓。因此,我们发现了“20”这个魔法数字。所以我们把“帮助新用户在第一周内关注更多的其他用户”的策略,调整为“帮助新用户在第一周关注20个其他用户”。 通过上面的数据,我们做出了另一个重要决定,我们需要开发一系列功能,来帮助新用户快速发现、搜索其他用户,探索值得关注的主题以及每个主题对应的活跃用户,最终达到一周关注20个其他用户的目的。
  2. 针对用户粉丝数量对留存率的影响,我们做了同样的统计图:横轴设置为用户的粉丝数量,纵轴为D7。 通过数据,我们发现用户的粉丝量不在多,如果有几个特别忠实的粉丝给你评论、发消息,你照样可以坚持在APP上发状态,增加D7。所以,我们需要帮助你的忠实粉丝找到你,让你的忠实粉丝在你刚使用APP发东西时就能找到你、关注你。

这里需要注意的是,当你验证了某个指标对你的成功有影响时(比如用户关注其他用户的数量对于产品留存率有积极作用),不要仅仅停留于此,还要更深入的研究这个影响是正面的还是负面的、到底有多大、在什么情况下影响最大。你要找到那个可以发挥最大影响力的点,比如这个例子中的“20”,否则就会出现效果未达到预期或者事倍功半的结果。

产品决定

根据上面的数据分析,我们决定做以下的产品功能:

  1. 将“你可能想关注”板块作为重点,特别是针对第一周使用APP的新用户。
  2. “你可能想关注”板块中,涵盖高质量老用户以及其他新用户。高质量老用户用来帮助这个新用户找到有意思的内容,推荐其他新用户是为了帮助他们增加粉丝量。
  3. 除此之外,想尽可能多的方式帮助新用户在第一个星期内关注20个用户。我们可以通过优化搜索推荐的方式,给这些新用户推荐更有价值的用户,并引领他们到广场上发现有意思的内容从而增加他们关注其他用户的数量等。

总结

这篇文章我用一个增长日活数的例子跟你分享了如何用数据做决定。

首先,要形成具体的假设,注意要把不同的假设分开写,而不是合起来写一个泛泛的假设。

其次,可以通过A/B测试的方式验证假设,每个假设需要单独设置对比实验来验证。

然后,验证完了某个变量对总体的成功指标有积极影响后, 需要找到这个变量影响整体指标提升的规律。

最后,要通过验证的假设决定产品功能,这才能保证你的产品可以真正能提升成功指标。

思考题

如何增加抖音用户的留存率?你有哪些假设,如何验证这些假设?