讲谈社从B级到S级,我们应当如何看待手游测试数据?

编辑:张起灵 发布时间:

说说关于手游测试的一些事。

  龙虎豹最近在接触开发者时,常听到这样一句话:“最近产品的测试数据不好,在调。”一次两次还好,听到的次数多了,我们也不自觉地关注起这个话题来。

  作为从业者,大家对于游戏测试并不陌生。端游时代的游戏测试多为人工测试,分为黑盒与白盒两种。白盒测试指的是对游戏内部逻辑以及路径进行测试;黑盒测试则是仅从玩家角度来体验游戏,进行游戏的安装、启动、操作体验。

  而上文开发者口中的测试数据绝非白盒测试,而是从玩家的角度体验游戏之后以数据的形式反馈给CP的结果。这一过程中涉及的玩家多了,直观体现在数据上的就是产品的次日留存率、七日留存率等信息指标。而龙虎豹今天要说的就是如何正确利用手游“黑盒”测试数据。

  有一位在游戏行业有着多年运营经验的从业者这样告诉我们:从目前的量级和情况来看,手游测试远没有到达可以“透过现象看本质”的阶段。因为这类测试并非AB测试,它是没有对照组可言的。

  的确,在现有的人力物力下,谁会仅仅为了测试就专门用两个版本甚至两款产品来做数据比对呢?所以大家也就没有办法通过数据,细致了解到每一环节存在的具体问题。也正是这一点使得在手游测试这条分水岭之下体现出了大公司和小公司在技术与团队经验上的差别。

  比如腾讯在游戏测试期间可以依托庞大的用户储备作为样本,数据平台足够强大就可以较为细致地追踪数据,看看用户到底在哪一步流失了,再问问用户的心流体验如何。没错,很多公司已经引入“心流体验”理论了(游戏情景内,玩家虽在体验中,但是并没有全身心投入,着重考察游戏中挑战和技能的对应关系),而普通CP甚至渠道主要还是以“次日留存”“7日留存”“活跃用户数”等数据作为主要依据。

  在这里需要澄清的是,以上这段话并不是在说“你看,大公司就是会玩”“小公司都没有生存空间了”云云,而是在说随着时间的推移,行业的发展,玩家向的手游测试内容以及衡量标准也在不断细化,大家完全可以借助各方的资源与积累测出想要的数据,同时做到不仅仅“以数据论英雄”。而且事实证明,如果一款MMO游戏测试期间次日留存率不高,制作人也很可能凭借自己经验暂时忽视这点,转而选择看付费情况以及LTV。

手游测试:测试人群引导测试环境

  测试环境和测试人群永远是一项实验中的先决条件。对于手游测试而言,测试环境的选择主要基于人群定位。来自全球最大手游测试平台Testin的相关负责人告诉我们,手游测试的类型可以按照接触人群划分为平台、网吧和专业团队等。第一种是与有平台的公司进行合作(比如腾讯),与对应的运营事业部进行对接,对具有相关特权的玩家进行开放测试;第二种是与相应的线下网吧进行现场地推式合作;第三种是专业团队,找到具体的专业产品测试团队,针对产品的具体功能、实际需求导入用户进行针对性测试。

  而从CP的角度来说,根据不同的游戏类型和市场策略,各大游戏公司都会根据自己以往的测试流程制定测试计划,目的就是了解游戏各系统的用户反馈以及上线前期预热的效果。选择的人群一般都是从游戏品类或者题材的核心用户到泛游戏用户,数量上从少量封测到大范围测试。

  一般来说,休闲游戏前期测试可以直接利用渠道或者广告平台导量;MMO等重度手游可以在测试期从核心玩家入手。但是其中的利弊需要大家仔细衡量。通常来说,通过贴吧、官网限号等方式可以找到目标玩家进行测试,但是有时由于项目周期短,测试人员会选择特定团队进行测试,其中不得不提到的就是公会。

  由于现在很多公会的会长和游戏公司之间会存在利益关系,很可能为了产品提高留存率,以获得渠道的高评级争取内部资源来寻求更高收益,所以很难获得比较客观公正的结果。而且公会会员并非小白玩家,对于新手引导以及一些游戏的设计完全可以应对,如果游戏公司是为了内部产品调优,这个群体是不可取的。同时我们也建议各渠道在拿到前期测试数据时可以针对测试人群进行大致分析。

不同人群,不同目的,不同测试

  游戏的测试环境和步骤并没有很严格的模型之说,而是看是否适合某一款产品的测试节奏。比如风贼互娱最近推出的《新莽荒纪》前后进行了四轮测试,每次测试的目的与选择的用户群体都有不同。

  通常来说,一款产品之前初期测试关注的是适配等技术问题,同样是连接网络,端游测试看显卡适配;页游要关注Flash、浏览器版本的兼容性;手游则是不同型号的收集、iOS平台以及不同Android平台之间的兼容程度。此外就是客户端性能测试、安全测试、网络、耗电量等调试,手游压测选择的人群也是小到1千,大到几万。由于本文主要以运营用户向数据为主,也就不在此多做描述了。

  之后的测试就是围绕核心用户与泛游戏用户的游戏体验和数据展开了。现在很多IP游戏测试期在寻找核心玩家时多数会通过微博、贴吧、官网限号等方式进行定向。当然,如果条件允许,项目组也可以将核心粉丝群拉到公司来“坐坐”,在现场体验游戏,即时反馈。

  像昆仑推出《艾尔战记》就曾把二次元用户邀到公司来看游戏的设计,畅游也曾在端游时期请玩家现场体验,观察玩家现场反应与行为得到反馈调整产品。也就是说,数据不仅限于后台与纸面,还有个体真实反应。而且美术、音效等因素一般是不能通过数据直观得出的,这就需要调查问卷或者现场采访进行补充。

  不过有趣的是,有时候因为玩家知道自己在接受测试,所以总会给出非常符合三观的回答,比如“公交车上应该主动给老人小孩儿让座”神马的,然而现实情境中还会具体问题具体分析。

  之后就是单一渠道到多个渠道的横向对比。通常一款游戏的次日留存率如果达到50%-60%,可以在渠道获得A级或者S级的评价,可分配的资源也就更多。这也就解释了为什么有些公司会让公会介入测试了。到了多渠道介入时,次日留存率可能会下降10%左右。

为什么两次测试的数据差异那么大?

图片来源于知乎

  通常来说一款手游从用户安装到付费,进行不同阶段的测试时,上图中列出的数据都具有普遍参考价值。行业中次日留存率、7日留存率、30日留存率、付费率、APPU以及LTV都是常用数据。然而还有一些数据其实可以进一步关注。比如游戏处于封测删档,封测不删档等不同的开放版本时,可以关注流失率来观测模块中的用户参与度以及黏性,以便后续开新服时进行参考。

  此外,登录注册数量可以在一定程度上衡量广告素材与前期推广的效果,进入游戏大厅的人数、玩家等级、在线市场以及用户峰值在线时间段都可以作为统计要素。因为如休闲游戏者,它的付费程度普遍低于重度游戏,但是根据在线时长以及用户在线的时间段可以进行广告添加。而且这些数值可以作为渠道参考的依据。

  当然,目前行业中大多数参考的数据还是留存率,可是前期测试留存率高,后期公测留存率暴跌也是最为常见的情况之一。

  Testin的负责人向我们介绍,通常会有几点造成前期测试数据与渠道大范围测试时数据差异较大:

  首先就是没有抓住自己想关注的点或者关注点不够深入,比如登录注册人数。大家都希望用户进入率不低于70%,但是测试阶段导入的量不够,以至于测试数据高于70%,但是大批量用户进入后,流失率激增,甚至会减至50%。

  除了用户数量以外,还有用户质量。测试时的核心玩家忠诚度、对同类游戏的了解情况都比较好,一旦范围扩大用户质量就会下降。而且值得注意的是,全部为核心玩家在游戏内构成的“社会结构和社会形态”(原谅我找不到更恰当的词了)在大量普通玩家进入游戏后会被破坏、重塑。这就和“《阴阳师》爆火之后,大家会纠结、吐槽抽不到SSR,而日本玩家对这一点只是‘微笑不语’”是一个道理。

  其次就是测试时添加了假数据。通过相关数据库,GM命令等方式达到验证功能的结果,而实际玩家(包含R玩家跟非R玩家),都是通过真实的时间积累成长的数据,而且使用的时间段,成长方式都是不同的。

  此外,开服停服,更新升级,跨服等等也都会对结果产生影响。

测试也细分:结合自身,具化测试点

  为此,Testin给出的建议是:“各个产品的特性不同,各游戏公司基本都有自己的测试人员,很多时候我们是应游戏公司的需求对于某一特定功能进行测试。大家可以根据自身产品的情况以及特征不断细化测试点,找到符合自己定位的测试方法和参照数据。”

  龙虎豹也在此前的文章《解读腾讯专用的手游数据考核标准——登录比》中提到过腾讯用“三日留存除以次日留存”的方式看产品情况。

  再比如,现在很多公司会以“热力图”的方式进行测试,说白了,就是依据玩家手指或者鼠标在屏幕上的点击行为的集中程度来分析用户的行为轨迹。《英雄联萌》就曾用这个方式测试过英雄的技能数值是否符合设计初衷。比如说英雄龙女是偏“上单”的角色,如果热力图显示龙女在上路、中路死亡次数较多,就可以判断人物设计符合整体预期;如果龙女在野区和下路死亡次数较多,则说明玩家通常启用龙女“打野”或者辅助战斗,和设计初衷不符,这就需要设计者调整数值,让角色更“肉”一点。

  目前,“热力图”测试已经在被某些大公司应用于手游测试了,一些第三方公司也推出了相应功能,只不过对接之前CP需要更多的时间成本和技术成本来适应。

  总体来说,真实的测试数据在产品推行之前具备一定的参考意义,但是也只是“一定”。龙虎豹以为《新莽荒纪》团队负责人的一句话倒是可以作为这篇文章的结尾:“测试数据一方面是验证优化方向的正确性,另一方面则是补充更多遗漏的优化点。而测试数据之外永远不能忽视人的操作与体验。”


《魔灵召唤》十周年:结缘游戏,共创美好人生

2024年,迎来了《魔灵召唤》10周年纪念,这款游戏自2014年首次上线以来,在无数玩家心中留下了深刻的印记。然而,这款游戏不仅仅是一款娱乐产品,它还成为了许多玩家建立深厚感情的见证者。在这个特别的十周年里,让我们一起来倾听那些因《魔灵召唤》而结缘的夫妻们的美好回忆。.