首页 POWER4EDU Duolingo技术总监Karin Tsai表示,A/B测试在Duolingo的产品研发中至关重要
Duolingo技术总监Karin Tsai表示,A/B测试在Duolingo的产品研发中至关重要

Duolingo技术总监Karin Tsai表示,A/B测试在Duolingo的产品研发中至关重要

  最近,知名语言学习应用Duolingo递交了上市招股书,我们也用了5000多字来较为详细地向大家介绍了下Duolingo是一款怎样的应用,大家也第一次通过财报了解到了这家已经估值约24亿美元(最近一轮融资的投后估值)的营收表现。

  今天,我们再用一点时间来了解下Duolingo在产品研发方面的观点和经验。最近,Duolingo的技术总监Karin Tsai接受了外媒的报道,我们可以更深入地来了解Duolingo的产品开发思路。

Duolingo的技术总监Karin Tsai

  Karin Tsai在2012年加入Duolingo,和Duolingo公司的170多名工程师一起工作,这些工程师组成了Duolingo公司员工大多数。她提到,在Duolingo,A/B测试(A/B testing)是公司产品研发的重要核心策略,这对于打造一款有效地且具有包容性的游戏化应用特别重要。在任何时候,可能都会有100个不同的A/B测试在同时运行,这使得Duolingo的分析团队甚至构建了一个仪表板来跟踪的A/B测试影响。

  Karin Tsai表示,A/B测试是我们取得今天成绩的关键。我认为对我们来说最重要的一件事就是对失败的测试保持开放的心态。所以我认为,我们面临的一个诱惑是,在进行测试时,我们对能够获得哪种结果并不会抱有先入为主的想法。如果测试没有获得某种结果,我们就会假设存在一些漏洞或错误,而不会停下来去想为什么测试会失败。所以,我建议那些想要将A/B测试整合到决策过程中的初创公司:对于用户通过数据告诉你的信息,你应该保持开放的心态。同时,对你实际测试的东西保持开放的态度。一开始,我们只是笼统地衡量学习者的留存率,以及每天有多少活跃用户。但在一段时间后,我们决定对测试的内容进行更细致的分析。所以我们会衡量新用户留存率和现有用户留存率来观察新用户对Duolingo的看法。随着时间的推移,你就会添加越来越多的这些指标,你可以得到一个更完整的印象,你的某种改变实际上会带来什么样的结果。

  比如说,Duolingo的产品开发团队通常会将A/B测试用在面向英语母语者的法语课程的新功能上。不是因为有什么秘密偏好,而是因为这门课太受欢迎了,所以在将其推广到其他语言之前先在这门课上测试一下会更有统计学意义。相比之下,如果团队在面向英语母语者的印地语课程中测试同样的一个特性,则需要更长的时间才能得到有用的结果。

  Karin Tsai提到了Duolingo的A/B测试的另一个案例,如Duolingo的订阅页面(subscription page)。她提到,在以往的Duolingo的订阅页面中,经常看到的是“免费使用7天”(start your seven day free trial)的字样。在后来,我们更改为了“开始使用Duolingo吧,可以免费使用一周”(start using Duolingo for free for a week)。我们并没有过去期待从这个改变中得到什么结果,我们只是为了缩短下文本。

  但是,我们却得到了意外的更多回报,每天的收入也更多了。但是,学习者的留存率却受到了影响,特别是对新注册Duolingo的用户。我们当时的假设是,当从“start my free trial”改为“start my free week”之后,会让很多新用户觉得使用Duolingo是要付费的。因此,尽管我们的收入增加了,因为有一部分用户会认为需要付费使用。但是我们也因此失去了其他的用户,因为他们认为要使用Duolingo总体上不是免费的。因此,最后我们实际上恢复了以往的说法,尽管之前的改变让我们赚了一些钱,但是我们学到了很多关于如何准确地传达意思的教训。这是一个很好的学习吸收经验的过程,让我们发现了Duolingo需要一种更为透明的盈利模式。

  在Duolingo刚刚发布的时候曾有过一个设想,这是一个没有广告、可以通订阅付费使用支持的应用程序。但是万事开头难,当你要开始向用户收费的时候就会遇到。Karin Tsai见证了公司从15个人到发展到400多个人的过程,看到了Duolingo的用户会有一部分是付费的,这部分用户大概占了整个Duolingo用户的5%左右。

  Karin Tsai认为我们在处理这个问题的方式上可能太理想化了。我个人认为,通常情况下,当一家公司开始想要赚钱的时候,他们要么变得邪恶,要么感觉自己变得邪恶。事实上,托管成本、员工薪水等都确实要花很多钱。如果你想继续雇佣顶级人才,你就需要创造收入,并能够支撑这种收入。

  我们在Duolingo的做法是,我们知道如果不能够成为一家可持续发展的公司,我们就无法完成我们的使命。如果Duolingo一直依赖风险投资,我们也将无法长期持续下去。要做到这一点,我们需要确保我们以一种可持续的方式赚钱,所以我认为解决公司内部矛盾的方法是,无论你在哪个领域工作,每个人都要有一个共同的目标。

  Karin Tsai所提到的公司文化在疫情期间被重新创造。在疫情期间,Duolingo和许多科技公司一样都转向了远程工作。我想知道远程工作是否会让争论和分歧变得困难,不管是关于像A/B测试这样的小事情还是想公司的盈利机会的大事情。Karin Tsai提到了Duolingo的联合创始人Luis von Ahn每周发的一封公司内部电子邮件,这让一切都变了样,还有一些关于透明的失败的讨论。

  Duolingo公司的首席执行官Luis von Ahn每周一早上会给我们发送公司的每周更新。他最先更新的内容之一就是提醒大家要关心我们称为Duo的同事,或者Duolingo的同事。他经常会提醒我们。我认为这种同理心和不断提醒的文化表明,在无法互相见面的时候,在很难有社交和身体暗示的时候,你可以比平时更为容易把更多的东西带到工作中。当我们可能有争论的时候,我们总是被提醒要有同理心,要意识到每个人的生活中都在发生着很多事情,而我们所交流的可能不是某些人正在经历的全部。

  这样整个公司就会继续知道我们是如何做决定的,以及会怎么做,整个公司都能与我们的决策保持一致。

Powered by Froala Editor