您所在的位置: 首页 / 联盟动态
手机游戏体验评测标准 1.0 (上)
【发布时间:2019-06-14 09:15:03】


前  言  


手机游戏近几年蓬勃发展,成为用户每天使用时长最多的场景之一。游戏场景几乎是手机中的最重载场景,且游戏场景是个综合场景,涉及到手机性能、耗电、散热、画质、易用性等各个方面,对手机的各个方面都提出了严苛的要求。然而当前手游也面临标准缺失,涉及到的各个方面无法客观量化的现状,无法满足用户日益增长的需求。制定一套业界认可的游戏体验评价标准也成为了势在必行的任务。 

安卓绿色联盟与业界相关企业根据长时间的游戏测试经验积累总结出了一套游戏体验评测指标,现在向业界开放,为手机游戏的质量评估提供必要的参考依据,帮助手机厂商、游戏厂商能更好的规范用户的体验。 

 

 本标准由安卓绿色联盟提出; 

 本标准归口单位:安卓绿色联盟; 

 本标准起草单位:华为技术有限公司、深圳市腾讯计算机系统有限公司、网易(杭州)网络有限公司、泰尔终端实验室,中国移动通信集团终端有限公司; 

 本标准主要起草人:黄然,岳闯,郑宗斌,张凯,张其田,曾镇城,简浩良,董千洲,赵晓光,刘秀姬,曾灿夫,曾坚。 


1 范围

 

本标准适用于智能手机游戏体验的评测指标及计算方法。涉及流畅、发热、续航、画质、易用性等方面。 

本标准适用于指导游戏厂商、手机厂商、第三方评测机构对手机游戏体验的测评工作。 

本标准用于评测的游戏选择规则:国内用户活跃基数 TOP,且对手机设备与系统要求属于重载类型的游戏。 

本标准会根据手机的变化、游戏的变化、指标的变化持续刷新。 

国内 TOP 重载游戏推荐:王者荣耀、和平精英、QQ 飞车、荒野行动、崩坏 3,龙族幻想(具体游戏根据市场 top 变化,半年更新一次)。 

选用的具体游戏根据“4 测试方法”章节中具体细则按要求选择。 

 

评测手机档位定义: 

依照手机单机价位进行分档(被测机型最低配置),建议值如下: 

一类手机:在国内市场价格高于 3500 元人民币; 

二类手机:在国内市场价格在 2500—3500 元(含)之间; 

三类手机:在国内市场价格在 1500—2500 元(含)之间; 

四类手机:在国内市场价格在 1500 元(含)下; 

价格阈值可根据市场实际情况,每半年更新一次。 

海外评测范围依据以上涉及到的规则,各机构根据实际情况引用。 


2 术语、定义和缩略语 


2.1 术语和定义 


2.png

2.2 缩略语 

3.png

3 指标 


3.1 总述 


通过大量的用户调研和用户反馈,发现用户对游戏的体验集中体现在:游戏启动速度和游戏加载速度是否快、游戏过程是否流畅、是否烫手、电池续航能力如何、画质是否细腻、手机系统是否提供多种人性化的设置。针对用户的以上诉求,转化为客观指标,详述请见下方各指标说明。 

4.png

3.2 启动时间 


因大型游戏加载内容多,游戏启动时间一般都较长,游戏启动时间越短,用户体验越好。 

启动时间分为两种,一种是游戏启动时延,另一种是游戏加载时延。 


3.2.1 游戏启动时延


游戏启动时延表示从点击启动游戏开始,到用户可以点击操作游戏界面(游戏登录界面)结束,启动时间数值越小越好。计算公式为: 

5.png

 

3.2.2游戏加载时延 


游戏加载时延表示用户在游戏中选定点击开始游戏起始,到用户进入具体的游戏场景为截止,该段时间越小越好。计算公式为: 

6.png

3.3 流畅 


通过大量的实践,当用户反馈不流畅、卡顿时,主要是分为以下三种情况:丢帧卡顿、触控卡顿、网络卡顿,而这三个方面的衡量指标是完全不同的,下面分别解释这三种卡顿的客观量化指标。 


3.3.1帧率卡顿 


帧率卡顿是用户最常见的卡顿,表现为游戏过程中,用户感受画面突然停止了一瞬间然后恢复,与用户心理预期产生了错位,引起的游戏体验下降。

画面停止表示在一段时间内屏幕一直显示同一个画面,即画面一直显示同一帧。因为人眼的视觉暂留生理特性,如果每秒 60 帧是画面会有流畅的效果。所以帧&帧率是一个表达游戏体验的优劣的重要的客观指标。

但是帧/帧率是非常单一的单位,需要在此基础上做延伸,才能表达游戏的体验。因此我们在帧率卡顿方面引入平均帧率、低帧率、抖动率、连续丢帧次数四项子指标项。其中平均帧率表示游戏概况、低帧率表示保证用户基本的体验,反映硬件的基础能力、抖动率表示游戏是否“持续的”流畅,而连续丢帧次数情况表达用户的卡顿情况。以上四项指标是层层递进关系。 


3.3.1.1 平均帧率 


游戏测试的一整段过程中平均帧率,表达了该时间段内的游戏的一个整体表现,平均帧率越接近游戏的满帧,游戏体验越好。计算公式为:

7.png

3.3.1.2 低帧率 


在平均帧率良好的情况下,进一步查看低帧率指标,其中低帧率表示游戏的基本体验,指标计算方法为游戏过程中,帧率低于某一阈值的占比。针对最高帧不同的游戏,阈值不同,其中 30 帧游戏阈值为 25 帧,40 帧游戏阈值为 30 帧,60 帧游戏为 45 帧。低帧率值越大,则游戏体验越差。计算公式为: 

8.png

3.3.1.3 抖动率


在平均帧率和低帧率两项指标都表现较佳的情况下,通过抖动率指标进一步表达帧率的抖动情况,抖动率指标通过前后两秒的帧率的差值做加权平均得到,具体如下。抖动率值越大,游戏体验越差。各满帧情况下计算公式为: 

9.png

3.3.1.4 连续丢帧次数

 

上述的平均指标、低帧率、抖动率三项指标数据都很优异的情况下,会存在一个问题,当测试时长足够长(如一小时),出现帧率较差的次数较少,而低帧率和抖动率是计算占比,因为分母较大,数值结果表现较好,此时较差的帧率会被平均,弱化了用户感受到的卡顿情况,针对这种情况,引入连续丢帧次数指标,进一步指出用户的玩游戏的时段内的卡顿情况。 

为了计算连续丢帧次数,需要引入连续丢帧概念,即屏幕刷新两次间隔的 Vsync 周期数,举例说明,当前的市面主流手机的屏幕刷新次数(Vsync 同步方式)都是 60Hz,即一秒刷新 60 次,每次间隔 16.7ms,我们计算屏幕 刷新的两帧的间隔时间,如果间隔时间在 16.7ms~33.3ms,则我们认为丢一 帧数据,如果间隔时间在 33.3ms~50.1ms,则认为连续丢 2 帧,以此类推。

随着手机的发展,如果屏幕刷新次数进一步增加,该指标项需进一步刷新。 

通过对专业电竞用户和半专业的业余比赛选手的访谈,当连续丢帧大于等于阈值时,用户是有感知的。同步人因数据和动画视觉暂留理论,阈值暂规定为 1/24 s,计算公式为:

10.png

3.3.2触控卡顿 


触控卡顿不同于帧率卡顿,触控指标表示用户的操作流畅感,主要表现为操作响应及时,量化为客观指标为操作响应时延(点击、滑动),从用户碰触屏幕开始,到屏幕图像开始变化截止的时间。操作时延进一步细化为两个子项:平均时延和高时延率;其中平均时延表示的是多次操作的一个基本情况,高时延率表示相同操作执行多次的时延的波动状况。 


3.3.2.1 触控平均时延 


在定义的 TOP 游戏的滑动和点击场景,测试多次,对响应时延取平均 值,表示被测场景的触控的基本概况,计算公式为: 

11.png

3.3.2.2 触控高时延率

 

在平均时延稳定的情况下,通过高时延率表示操作响应时延的波动情况,通过测试数据确定阈值,计算超过阈值的占比,其中阈值为平均时延与标准差的和。计算公式为: 

12.png


13.png

3.3.3网络卡顿 


3.3.3.1 网络高时延率 


网络卡顿表现为用户正在正常操作,游戏人物无法移动或者突然跳回到几秒前的画面,该情况是因为用户所处环境网络差,手机端与服务器端没有同步或同步慢,出现游戏人物无法移动的情况,当手机端与服务器链接上

时,已经晚了一段时间,此时手机端界面会跳回到服务器端记录的界面。

网络的优劣会对游戏体验产生至关重要的影响,网络的客观指标主要表现为网络时延,因此将网络体验通过网络高时延率指标项来量化,根据经验王者荣耀阈值定为 200ms,其他参测游戏在后续章节具体的评测方法中确 定。计算公式为: 

14.png

15.png

3.4 发热 


3.4.1手机壳温 


手机的温度与用户的感受息息相关,手机温度过高,会让用户产生烦躁感,如果温度进一步上涨甚至产生烫伤用户的严重后果。当手机过热,手机依据设定好的措施给手机降温时又势必会影响到性能。发热的指标通过用户直接接触的壳温表示。在评测手机正面和反面的热成像图区域取最高温度,计算公式为: 

16.png

3.5 续航 


3.5.1耗电量 


手机的耗电量是指用户持续玩游戏的过程中耗电量的变化。长期的运行游戏后单位时间内的耗电越小,游戏和系统联合的功控能力越强。单位mA。评测计算公式为:


17.png

18.png

3.6 画质 


3.6.1分辨率 


分辨率是画质中的一项重要指标,决定了位图图像细节的精细程度,通常情况下分辨率越高,所包含的像素越多,画质越精细和细腻。 

此项在画质评测中,作为基础指标进行定级评分。各档分辨率根据实际情况,每年进行一次刷新。 


3.6.2特效 


在游戏自身设置中,也包含画质相关选项,如抗锯齿、HDR 画质、描边、阴影、粒子质量等选项,诸如此类选项的开启和关闭也会对游戏画质产生重要影响,可通过对比开启和关闭选项的游戏截图查看画质的差异。

具体评测方法,在 4.6.2 中详细描述。 

特效生效如下所述示例,可供参考: 

HDR 效果画质开启后,有阳光穿过树叶的光线效果。 

19.png

开启抗锯齿之后,人物边缘明显锯齿减少

20.png 


如下图所示,开启角色描边后,角色边沿更加清晰。

21.png

3.7 易用性


游戏过程中手机系统若提供的防打扰等优秀的交互体验,会极大提高用户的使用体验。具体建议方法参见 4.7 章节。

建议基础观察项如下:

a.按键防误触

b.消息免打扰


点我直接跳转到:手机游戏体验评测标准 1.0 (下)