业界资讯TestBird发布《2015年上半年中国手游兼容性测试白皮书》

编辑:张起灵 发布时间:

手游测试服务商TestBird时隔半年多再度联合国家手游测试中心发起对手游兼容性问题的专项研究,并发布了《2015年上半年中国手游兼容性测试白皮书》。

  2015年被称为手游行业的调整年,打造精品手游已经成为国内手游红海时代企业立足和延长手游生命周期的必要举措。随着市场的逐渐成熟和移动智能终端的日益多样,长期影响用户流失的兼容性问题,逐渐由隐性问题升格为一项影响手游品质和收入的重要问题,成为精品手游的一项重要考核标准,那天,2015年上半年的中国手游兼容性测试的整体情况到底如何?

  手游测试服务商TestBird继年初对兼容性问题进行系统性研究并发布《2014年中国手游兼容性测试白皮书》之后,时隔半年多再度联合国家手游测试中心发起对手游兼容性问题的专项研究,并发布了《2015年上半年中国手游兼容性测试白皮书》(以下简称白皮书)。

  相较去年,本次白皮书的研究采样在基数上有了裂变式的提升,使得这一版白皮书在问题的研究上相较去年会显得更加深度。同时,新版白皮书亦在紧随行业变化,不断汲取行业经验,修正分析方法,在内容上不断丰富,譬如新近加入了开发者比较重视的SDK测试研究和兼容性测试Log日志分类查看及分析方法研究等,为开发者提供了更丰富的兼容性问题解决方案,期待能与行业共究共寻精品手游量产之道。

  1款游戏65个兼容性问题,兼容性问题不降反升

  新版白皮书的统计数据来源于整个2015年上半年TestBird真机兼容性测试平台测试的游戏13172款,这个采样基数相较年初的研究,有了极大的提升,也使得数据越来越具有手游行业普适性。在13172款游戏测试中,总共发现兼容性问题869152个,这意味着平均每款游戏存在着65个兼容性问题,而在去年这一数字还是在52个。兼容性问题数量不升反降,说明CP在2015年正面临着更加严峻的机型适配压力,而兼容性问题带来的玩家流失将进一步加剧。导致这一问题的原因究竟何在?

  从白皮书给出的数据来看,一方面由于更多的开发商逐渐正视兼容性问题的严重性,送检游戏数量和测试频次增加,于是大量原本隐性的问题得以暴露了出来;另一方面,从平台统计数据可以发现,重度游戏在TestBird平台上的比例已达到37.9%,从上半年的各大榜单也能看出, 2015年上半年重度游戏数量呈明显增加的趋势,《花千骨》、《梦幻西游》等一大批重度长期霸榜,正在加剧着机型适配的困难,更高级的游戏制作水准意味着更严苛的兼容性要求,在这样的情况下不难想象兼容性问题将异常突显。


  54%的兼容性问题为闪退+卡死,启动失败问题增加近3倍

  在兼容性问题发生类型上,可以看到,闪退和卡死依旧是发生概率最高的两大问题,更令人隐忧地是,游戏闪退现象正在发生进一步的恶化,占比从去年的37.2%上升到了39%,而相应的游戏卡死的占比则从去年的18.5%下降至15.5%,建议开发者持续重视和优先解决游戏闪退问题。

  更明天的变化是,而启动失败的情况却正在急剧加重,问题发生率持续上升,占比从去年的4.4%上升到了12.2%,建议开发者们要多消耗一些精力来重点关注游戏的启动优化了。而去年排名第三的UI异常现象的有所下降,这主要是因为UI异常属于显性问题,比较容易优化,也能看出更多的CP对游戏做了兼容性适配测试。


  主流品牌兼容性问题较少,安卓5.0以上版本亟待重视

  市面上,安卓系统的手机品牌高达数十个,到底哪个品牌的手机兼容性较好?不同品牌手机的CPU也有所异同,是否也会影响到兼容性问题的发生?安卓版本迭代频繁,不同版本的兼容性问题是否有所不同?

TestBird通过2120款测试手机(覆盖智能终端机型98%的市场),历经13172款游戏测试后发现:对比各品牌的兼容性问题数,主流品牌的兼容性整体好于非主流品牌。兼容性问题最少的品牌为小米和三星,每终端每款游戏的失败率(即平均每款终端在每款游戏上的不兼容率)分别仅有9%和10%,而其他非主流品牌的失败率则高达21%以上,兼容性问题非常严重。


  通过与2014年数据对比,记者还发现,2015年由于大量新机的发布导致4.0以下终端锐减至4%,5.0及以上终端不断新增。在兼容性方面,白皮书研究表明,Android4.4的兼容性情况最好,Android2.X的兼容性问题最严重,除开Android 2.x的系统外,Android 4.0,5.0和5.1系统版本问题检出率比较高,分别达到了32%,39%,32%。Android 5.0和5.1系统刚出来不久,兼容性问题需要游戏厂商特别关注。


  在内存大小对手机游戏的兼容性的影响方面,白皮书的研究表明,而随着内存的加大,兼容性问题发生概率明显呈现出逐步减小的趋势,1.5G,2G,3G内存终端的兼容性问题检出情况较好。


  而在不同CPU品牌在兼容性问题的表现上,展讯出现的兼容性问题占比最大。兼容性表现最好,检出率最低的,并非我们所熟知的联发科和高通两大类CPU品牌——当然,它们二者表现也不错——而是海思和三星,而去年表现较好的Marvell的检出率有所增加。


*兼容性问题检出率:即兼容性问题的数量占该品牌总数的比值。

  在游戏引擎方面,自定义引擎出现的兼容性问题依旧最多,检出率达27%,而常用的cocos2D-X和unity3D游戏引擎的兼容性问题的检出率分别是21%和23%,相对表现较好。


  12类游戏兼容性各有不同,动作格斗类游戏问题最多

  13172款游戏,白皮书将其分为12类,分别为卡牌游戏、策略经营、角色扮演、塔防游戏、跑酷竞速、飞行射击、消除游戏、棋牌扑克、动作格斗、体育运动、虚拟养成、休闲益智等,在逐个进行分析后发现,相较2014年,今年上半年,动作格斗类游戏兼容性问题最多,在平台测试的1085款动作格斗类游戏中一共发现88160个问题。但是在每个具体的问题上,每类游戏确实各有不同。


  白皮书的报告显示,在CPU占用率上,体育运动类游戏最高,棋牌扑克类最低;在启动时延上,体育运动类游戏最大,塔防类最小;在内存占用上,角色扮演类游戏最高,棋牌扑克类最低;在平均流量消耗上,属于轻度游戏的跑酷竞速类游戏却最大,塔防类游戏最小;在IO等待率上,棋牌扑克类游戏较高,动作格斗类较低;在手机平均温度上,体育运动类游戏最高,棋牌扑克类最低。

  另外,记者也发现,这其中,体验运动类游戏在启动失败、启动时延、温度等各项兼容性问题和性能指标上,像较去年都更加严重,这可能是因为2015年体育类游戏增加,但国内开发商经验不足,导致游戏优化较差,需要格外重视。

  多渠道SDK测试首次被研究,兼容性问题解决方案再被优化

  目前能提供SDK接入的渠道已经达到几十甚至上百家,为了覆盖更多的用户,CP不得不接入更多的渠道SDK,白皮书紧随市场的变化,意识到游戏本身与SDK的兼容性问题亦愈发收到重视,故本次白皮书首度新增关于多渠道SDK测试的研究。Testbird在强大的兼容性测试基础上针对多渠道SDK测试提供,覆盖注册登陆、账号论坛管理、充值三大部分的多渠道SDK测试。


  报告显示,多渠道SDK测试过程中最常见的问题是到账延时过长,到账延时涉及到了游戏的支付体验,这也是游戏公司和渠道商最关注的一个问题。在支付过程中遇到到账延时的问题将会很大程度上造成直接的经济流失,这是每一个厂商或渠道都不愿看到的。

  2015年上半年,TestBird不仅为客户发现了大量的游戏兼容性问题,还参与分析了大量游戏兼容性问题,故而本次白皮书在延续去年的16条兼容性问题详细解决方案的同时,也为开发者了公布了一些查看崩溃日志的方法,以便能够自动过滤无用的系统Log,帮助开发者快速进行BUG定位。此处简单摘要如下:

  Q3:为什么用了log.h还是看不到游戏日志?

  A3:很可能的原因是LOG LEVEL太低。android logcat默认打印LEVEL INFO以上日志,VERBOSE, DEBUG默认不会打印。所以在使用log方法的时候需要注意LOG_LEVEL参数的设置,需要设置到INFO以上才会打印。

  Q4:如何查看崩溃日志?

  A4:(i) 查看游戏包名(如图1)

 

图1

(ii) 搜索关键字“died”,“crash”,“force stopping”等信息,如果包含以上任何一个信息,则留意一下附近几行是否有目标包名。如果有类似“08-12 01:29:51.067 I/ActivityManager( 966): Process com.llsser.saierhao (pid 6834) has died. ” 这样的信息,则证明被测APP闪退。

(iii) 查找"XXXException" 或者 "XXXError"相关打印信息,如果该信息和游戏相关,并且附近有 uncaught 字样,则可判断程序闪退。注意:如果没有uncaught,只有打印信息的话,不代表程序闪退。(如图2)


图2

  兼容性测试作为手游产品上线前的第一关,随着行业的成熟,越来越受到开发者的重视。透过多13172款游戏的真实测试数据,本次白皮书完整地展现2015年上半年中国手游的兼容性问题现状和变化,有助于行业深度解析影响手游质量的兼容性问题的根源,探索精品手游生产之道。 

  P.S:需要完整版白皮书的读者可以自行至TestBird官网进行下载。


《魔灵召唤》十周年:结缘游戏,共创美好人生

2024年,迎来了《魔灵召唤》10周年纪念,这款游戏自2014年首次上线以来,在无数玩家心中留下了深刻的印记。然而,这款游戏不仅仅是一款娱乐产品,它还成为了许多玩家建立深厚感情的见证者。在这个特别的十周年里,让我们一起来倾听那些因《魔灵召唤》而结缘的夫妻们的美好回忆。.