用户体验是决定互联网产品能否长久生存的基础,每一个基于产品功能、使用、外观的微小体验,都将极大关系到用户留存影响。本文将讲述火山引擎A/B测试(DataTester)助力企业协作平台飞书进行用户体验优化的案例。
对飞书而言,用户体验旅程从打开产品页面的一瞬间就已开始,这里有一个十分重要的指标——页面秒开率,秒开率是指页面在一秒之内打开的比率。为了能够持续吸引用户,一款产品则至少需要在1000毫秒以内呈现出交互内容。飞书为了提升用户体验,对其各项功能的秒开率指标的优化下了大功夫。在这个过程中,火山引擎DataTester通过严格的变量控制,落地更精准的实验结果,帮助研发团队直接佐证并明确了所选优化方案的收益。
影响秒开率其实有很多种因素,如代码冗余,插件拖累…… 在其中,有一项重要的影响因素是“类加载”。类加载是指当页面被打开时,背后是调用的多个元素的代码,它们会经历验证、准备、解析、初始化等环节后,才能被使用,这个流程是比较耗费时间的。
(相关资料图)
以飞书的一项功能“飞书妙记”加载为例。当飞书整体进行冷启动时,如果用户是首次打开飞书妙记界面,就会伴随着接近1600个类的大量加载,这对页面启动速度有着不可忽视的影响。如何减少如此高的类加载数量对秒开率的影响呢?飞书团队希望尝试采用的方案是:接入SnapBoost方案。
SnapBoost方案的思路是让App能够提前对页面使用到的"类"进行加载,通俗来说,也就是在用户打开页面之前,将耗时较长的部分提前进行加载,当用户在打开页面的时候,这些代码省去了编译和解析的时间,可以直接执行,使秒开率得到提升。
那么SnapBoost方案是否能有效降低“飞书妙记”的加载时间呢?飞书团队采用了火山引擎A/B测试(DataTester)进行方案可行性的重要验证。
本次A/B实验三大指标:
· 类加载数量
· Activity切换耗时 :Activity通常指一个单独的屏幕(页面),此指标指在不同页面之间的切换耗时。
· 可感知耗时 :指用户操作相关动作(点击播放、滑动卡片等)到首帧渲染出来感知到的耗时。
优化前后收益验证:
火山引擎DataTester的实验结果,对SnapBoost方案的提升性能假设给予了强有力的佐证,通过SnapBoost方案等一系列优化,飞书妙记的秒开率可以达成37%的优化提升,目前该方案已经成功地进行了全量上线。
除了飞书妙记的秒开率提升,飞书的视频会议等全线功能,其实都在使用火山引擎DataTester进行A/B实验。DataTester为飞书的产品功能迭代带来了明确收益佐证能力。
“ DataTester是结合A/B测试方法论最好的一个工具。”飞书的研发成员在采访时讲到。除了使用DataTester,飞书团队也会通过灰度等方式来做对比实验。相比起灰度等实验方式,DataTester的最大优势在于更加严格的变量控制,实验创建者可以更直白地看清楚优化效果,在灰度的基础上,进一步提升实验结果的说服力。
火山引擎DataTester目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业,支持了多种业务场景需求,为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。(作者:康晏)