应用游戏评价指标研究（征求意见稿）
    应用游戏评价指标研究课题组

       注：此为《2012中国网络游戏市场年度报告》附件之一

一、应用游戏的定义

  　应用游戏是指以知识传播、技能训练、情志养成等应用需求为主要目的，集趣味性、知识性、功能性等特征为一体的游戏类型。在一些国家也称严肃游戏或功能游戏。
应用游戏将教育、科研等领域的知识、技能等应用元素植入游戏的核心功能，利用游戏的仿真、模拟等技术手段和表现形式，使用户在使用过程中达到学习知识、训练技能、培养情志的目的，具有应用成本低、应用效益高、普及性强的优势和特点。应用游戏自产生以来，在发达国家已经广泛应用于教育、科研、经济、社会、文化、军事等领域，取得了良好效果。我国应用游戏起步晚，行业认知程度低，研发机构少，应用领域拓展缓慢。近年来，文化部和业界通过举办应用游戏论坛、创新峰会等活动，为应用游戏的发展起到了良好的引导作用。

二、应用游戏发展现状
1.国外应用游戏（严肃游戏）发展现状
国外应用游戏（严肃游戏）发展较早。早在2004年，第一届“严肃游戏高峰会议”就在美国首都华盛顿对“严肃游戏”应用领域进行了首次界定。这样游戏在各个领域得以应用而不只是单纯娱乐领域的发展趋势获得普遍认同。而且在此之前出现了大量的应用，市场需求初见规模，相关政策较为完善。由于具备以往大量项目的研发经验，在技术方面积累雄厚。在国外，严肃游戏自20世纪80年代诞生以来，已经广泛应用于军事、医学、工业、教育、科研、培训等诸多领域，取得了良好的效果。
1.1军事
美国陆军用来训练士兵的《美国陆军》游戏已经发展成为了一个系列，涵盖征兵、射击、巷战、坦克操控、指挥等各个方面，其经典之作《美国陆军》甚至还推出了民用版，《美国陆军》是一款免费军事模拟射击游戏，游戏强调真实性，其声效、动作捕捉全部由陆军士兵实际演示完成，是志愿参军者入伍前的绝佳训练软件。
由BIA开发, 采用民用游戏《闪电行动》和《突袭》的游戏引擎制作的《VBS1》和《VBS2》一款是交互性、三维空间的优秀综合军用单兵训练系统。英国陆军和海军陆战队使用其为训练工具并且许多其他国家的军队也采用这套系统进行军事训练。这套系统主要适用于大尺度空间内的军事（或者准军事）训练及相关试验。在该训练系统中，使用第一人称视角的受训者，将进行包括移动、同周围环境和人物进行交互在内的多种活动。而这些活动的情况与真实世界中并无差别。此外，受训者还可以使用这个系统进行飞机驾驶、武器操作、车辆驾驶等方面的训练。
eSim Games公司开发的的模拟游戏“Steel Beasts Professional” 是一款坦克模拟游戏，该游戏提供了逼真的场景真实感和战术系统。在游戏中，用户可驾驶各种风格的著名战车，根据真实的野外地形，准确地判断出地形起伏高低，计算出敌人的等高线。《钢铁猛兽》的真实性为军事培训提供了演练战术的机会，目前已经为许多国家的陆军所采用。
1.2 医学
《Re-Mission “再生任务”》由美国科研机构Hope Lab开发，是一款新型治疗游戏，由于教育年轻的癌症患者理解自己体内发生的病变原理，并培养他们对治疗保持希望和信念。
《GVET: START Triage Trainer》是arpexa multimedia公司发布于APP store上的一款减伤类教育游戏，该游戏的目的主要是训练玩家根据伤员的受伤情况对进行紧急救助，十分适合普通公众的医疗教育。
除此之外，科学家们制作一系列帮助人们战胜疾病的游戏，如美国科学家联盟研发的《免疫攻击》，加州霍普实验室制作的《免除》，以及《逃脱糖尿病》等，通过游戏让人们了解某种疾病，改变其行为习惯，增强身体的健康，在心理治疗方面则有使用重度射击游戏来治疗病人对蜘蛛的恐惧的报道等。
另外，由日本任天堂公司推出的适用于wii游戏机的《Trauma Team》是一款外科医疗游戏。这款游戏有6个主要人物，每个人物都有自己的主线剧情，他们分别是6个不同领域的专家，包括：外科，整形外科，法医学，内窥镜，第一反应救援和一般诊断，每个类型都有完全不同的游戏方式。像真实的手术不可能一个人完成，游戏也十分贴近医疗程序，在有些关卡需要他人协助完成游戏。对于简单的医疗流程医疗操作有很好的培训效果。
1.3 教学
美国的Microsoft(微软公司)和MIT 麻省理工学院合作的Games-to-Teach 项目致力于下一代交互式教育媒体概念模型的开发目前已经开发完成了适合于数学自然科学和工程学的游戏化教学软件的概念框架。另外美国公司开发的《History of Biology game“生物学历史游戏”》是一款基于网页的教育类游戏，被设计用来让高中学生和普通大众了解生物学的历史和涵盖范围如早期的显微镜、分级、分类、遗传、遗传学和进化。
加拿大的Enlight Entertainment——“用娱乐开启智慧”公司前身为迪斯尼互动游戏开发部门开发出来的游戏内容和设计都很成熟切实满足了学生和学校教学的需要比如让翩翩绅士的米老鼠和他的女朋友米妮教用户说英文和跳跳虎小猪们一起玩几何拼图等。
法国Cryo公司和法国Canal环广公司多媒体分部联合制作的凡尔赛宫廷疑云和埃及法老王之墓是颇受欢迎的教育游戏，特别是埃及法老王之墓它让用户能够充分领略到3000 多年前的古埃及社会在政治经济以及宗教方面的特点还可以了解埃及的种种神话传说。
韩国的Kidnkid http://www.b-shooter.com 是专门为儿童开发电脑游戏的公司。他们开发的Bubble Shooter Edu-Pangpang适合从5 到成年不同年龄的用户，而且计划开发English Pangpang , Chinese Pangpang和JanpanesePangpang版本这些教育游戏软件是用来教学生们学习词语绘画技能了解商业用语以及日常用语KoreanPangpang和Mathematics Pangpang已经开发完成正式发行。
新加坡首款三维互动游戏《VR-10 新加坡陆地交通管理局》用于寓教于乐地帮助小学生发现新加坡陆地交通系统的各项规则等。
Games2 Marc Prensky 创建的拥有多种类型的教育游戏产品适合于各个年龄阶段的人使用。如Pick-It, The Challenge等；Atom Shockwave Corp 娱乐游戏开发公司开发的儿童教育游戏软件主要包括冒险和猜谜游戏在娱乐的基础上带有教育的性质如Chuzzle Deluxe Snowy， The Bear's Adventure等；Bodine Training Games LLC 培训教育娱乐软件开发公司设计开发的Game Show Presenter 是一款适合教师教学和学生学习的可多人玩的教育游戏软件等等。
1.4 培训
职业技能培训方面，美国的《X-Plane》是一个全面的民用航空模拟器，获得了美国联邦航空局的认可，可以降低飞行训练的成本。《X-Plane》在制作过程中运用了一个叫做“推进器环境分析”的工程学程序，有了它，工程师们就可以预测出一般飞机的推进器和直升飞机的水平旋翼的性能。其实这种方法一般是用来预测推进器和水平旋翼的动力，但《X-Plane》将这种方法运用到了飞机的每一部分。飞机的螺旋桨、水平旋翼、机翼和水平尾翼等等，每一部分的好坏与否都决定了该部位的动力如何，整合在一起就决定了整架飞机的动力了。《X-Plane》在飞行物理学方面做得也相当出色，关于亚音速飞机和超音速飞机周围的空气流动是有区别的，因此，一架飞机在以每小时90哩的速度和在以2马赫的速度飞行时，对空气的流速所作出的响应是有很大的不同的。因而对于实际的飞性训练也是有效的。英国的《North Kensing Rail Scenario“北肯辛顿铁路情景”》被用于英国铁路工人的培训，旨在训练雇员在紧急情况下采取正确的措施。其他游戏，如《Heroes of Industry“工业英雄”》是一款用于提高运输和仓储行业工人的操作水平和安全意识的三维游戏；《The Kitchen“厨房”》是一款独特的商业厨房模拟游戏，用于帮助食品加工环境的员工掌握安全操作和卫生保健知识；《Ship Simulator“船舶模拟器”》游戏可以模拟不同环境下对各种船舶的操控，使用户可以学到真正的船舶驾驶技术。
对于领导力培训方面，美国最近相关方面的游戏有DigitatmiU的《虚拟大学管理》、麻省参议员墨尔牵头的《麻省预算》和国家司法研究所的《应急指挥官》等，分别用来超实景地训练大学校长、州长和反恐、反劫持和救灾指挥。以各种可能的假想状态来历练领导和指挥才能。
1.5 防灾
联合国国际减灾战略委公布了一套名为“阻止灾难”的电子游戏，包括社会影响(Social Impact Games)，粮食力量food．force)，停止灾难(Stop Disaster)等。游戏的目的在于让儿童从小就有防灾减灾意识。
英国的《FloodSim》是一款防洪的网络游戏，用来让英国人民了解洪水的危险同时收集公众对英国近期洪水的观点。玩家可以控制英国的防洪政策3年，并试图从洪水造成的损害中保护英国人民和经济。
日本的Irem Software公司的名作《绝体绝命都市》系列游戏，以动作冒险的形式为玩家展现了一场从危机四伏的地震大灾难中逃出生天的艰难旅程，游戏分为自救和救人两部分，用户在游戏中可以学到自救和救人方法，降低灾难造成的人员伤害。
1.6 公益宣传
《Food Force “食品部队”》人道主义视频游戏，在联合国世界粮食计划署设计的这个虚拟世界中，玩家需要对粮食危机地区和叛乱威胁下的紧急粮食供应进行空投。
美国IBM公司推出了一款严肃网游作品《CityOne》。玩家将会在《CityOne》中扮演各种角色，生存在一个虚拟的星际城市中，平时需要完成的各种任务涉及到能源、水资源等环境问题的解决，会要求玩家去实现实时水管理系统或者智能电网系统，还有真实社会中非常重要的金融、零售业务，可能会让玩家去发放小额贷款、运营移动支付系统等等。近年IBM一直在进行环境保护系统的研究，推出《CityOne》游戏可以让更多的网友参与到环境保护中，IBM将智能仪表、业务流程管理、云计算等多种技术融入到这款游戏中让大家得到更多的了解。
《CEO2》是另一款强调可持续发展的游戏，由设在英国的世界野生动物基金会（World Wide Fund for Nature）发布，旨在帮助企业减少碳足迹。玩家们扮演首席执行官的角色，决定何种战略投资将帮助公司在低碳经济中有效发展。
《Village Raffles》是一款发布在Facebook上的慈善游戏，用户在游戏中乘坐一辆小小的敞篷卡车，访问各个地点，参加抽奖，然后赢取大奖。之后就开始收集书籍，游戏目标就是完成所有的收集任务。用户可以花钱参加一些抽奖活动，有50%的收益将捐献给Fair Trade USA、Keep Britain Tidy和Kiva Microfinance等Soshi的慈善合作伙伴。玩家必须参加特定的慈善抽奖，才能完成相关的收集任务，这就刺激了他们捐款的积极性。
国外的应用游戏（严肃游戏）产业正以超过娱乐游戏快6倍的发展速度增长，很多游戏产业发达的国家如欧美、日本等，在应用游戏（严肃游戏）的课题研究与开发上都有了一定的阶段性成果，有些甚至引起了国家上层建筑相当大的关注,并且在国土安全、医疗健康、公司培训等领域早已形成巨大市场，给企业带来广阔的成长空间和政府、银行、全球500强企业、学校等巨型客户。
2.国内应用游戏（严肃游戏）发展现状
我国应用游戏发展起步晚，缺乏成熟的理论指导，缺少实践的支持和验证。现有的应用游戏大都以教育领域应用为主，同时在军事、医疗、灾难培训等领域应用游戏也开始有了有一些应用。值得注意的是，现在中国的一些大型游戏公司也开始关注应用游戏，使得应用游戏在国内的前景看好。
2.1教育领域的应用游戏
教育领域的游戏软件在适用的对象方面均不约而同的指向学龄前和小学，这与这个群体的儿童相对较轻的学习压力有关。在内容方面涉及的学科有儿童认知、小学数学、语文、英语等，而历史、地理、物理、化学、生物、思想品德等科目的教育游戏相对比较少见，这与基础教育领域长期的学科导向惯性有关。
中国移动游戏基地将教育游戏作为一种专门分类进行研发组织与推广，目前数量已达数百款之多。该机构同时向业界传递了联合产业链各方、共同促进应用游戏发展的开放合作意愿，引起行业广泛关注。
国内部分网站也致力于FLASH教育游戏的开发， WaWaYaYa开发的儿童教育系列软件是在国内外知名教育专家指导下研发出的适合2-12岁儿童的单机版教育软件。该软件以多元智能理论为基础，以数码化多媒体为主导媒介，以互动式学习为基本理念，倡导有趣、新奇的学习方式，鼓励孩子在充满挑战性的互动游戏中主动学习，培养创新与实践能力。除此之外，中国数字科技馆也开发了一系列的小游戏来帮助用户了解科技知识。
2.2军事、医疗、减灾培训等领域的应用游戏
（1）军事
南京军区和巨人网络联合开发的《光荣使命》射击游戏，是国内第一款具有自主知识产权的大型军事游戏，在为了军队的现代化通过游戏进行军事模拟训练。这款面向部队广大官兵开发的网络军事游戏，以一名战士的军营生活为背景，以参加代号为“光荣使命”的对抗演习训练为主线，按照一个完整的故事剧情设置游戏关卡，分“基础训练、单兵任务、班组对抗”三个模块，使官兵在文化娱乐中感受浓厚的政治氛围和火热的军营生活，在虚拟的训练和战斗环境中获得知识、锻炼胆识、增长见识，锤炼优良的政治品格、战斗精神和心理素质。
（2）医疗领域
2010年孙鹏等人开发的“临床护理实习”是一款以丰富的临床护理模拟案例为基础．培训临床护理专业学生掌握实际操作中的关键步骤的角色扮演游戏。游戏提供了医患交流的虚拟情境，锻炼学生与医护、病人的沟通能力、临床应急能力、临床思维能力、团队协作能力。
（3）灾难培训、急救
2009年周昌能等人针对煤矿事故救援环境高危、救护队员训练不足、心理素质不过硬等问题，基于情感驱动的受训玩家个性化建模而研发的煤矿事故救援训练游戏。被用于训练救护人员的实操能力。受训者还在游戏过程中能得到情感以及心理脱敏训练，提高其心理素质，塑造其坚韧、冷峻的性格品质。
顾汉杰、黄璐在《基于角色扮演的安全急救知识教育游戏构建》中构建了一款安全急救知识教育游戏案例。作者对游戏的构思、制作和测试的全过程进行了详细的论述．是一个典型的教育游戏开发范式。案例在前期构思时考虑到了学习者的特征，根据可能遭遇险境的不同划分教学单元．确定教学目标。游戏的制作包括编写游戏的设计文档和开发游戏程序两部分。选取的开发平台具有开发难度小、周期短的优势，便于将故事情节和急救知识融会贯通。游戏的测试过程不仅使开发人员发现案例本身的不足，也对日后的设计开发工作有所帮助。这款游戏的开发符合当前社会对于安全知识的需求，具有现实的教育价值。
解放军军总医院教育技术中心谭科等人，利用虚拟现实技术实现了鼻腔镜手术仿真训练系统，使医务工作者在虚拟场景内，体验并学习如何应付各种临床手术的实际情况，可以通过视觉、触觉甚至听觉来学习各种手术实际操作，通过预演整个手术过程，降低培训费用和非熟练人员实习手术的风险。
（5）职业素养培训
陈乐等人进行了基于角色扮演游戏（RPG）设计的教育游戏系统，即大学生职业行为训练系统的设计，实现在虚拟现实环境中针对学生的职业道德、职业态度和职业形象，进行包括心理、肢体和语言在内的行为优化训练，从而提高学生职业化意识，规范职业化行为，提升职业素质。
2.3 专业应用游戏公司对应用游戏的开发
淘米网是上海淘米网络科技有限公司（简称淘米公司）旗下网站，成立于2007年10月，是国内领先的儿童娱乐网站。运营多款面向5-15岁儿童互动娱乐产品，包括国内首个儿童网络虚拟社区《摩尔庄园》、儿童太空探险虚拟社区《赛尔号》等。其理念是“做妈妈放心的游戏”，根据淘米公布的数据显示，其拥有1.8亿注册用户、活跃用户达到3000万-5000万。该企业除了电脑游戏产品之外，还有书，桌游和电影等产品。
上海霁龙信息科技有限公司作为仅专注应用游戏的游戏开发商，已开发了几款应用游戏，包括与西方融资机构毕博开发的一款模拟投资银行商业运作的应用游戏。这款游戏能够针对大客户经理进行有效培训的成功游戏培训产品。传统的培训主要是通过流程介绍以及案例分析进行介绍，该款游戏提供了一个低代价、高效率的、容易开展的练习手段，加强了优质客户识别能力，尤其是一线柜员、大堂经理的识别能力，提高了客户经理的销售能力和服务能力。
综上可知，我国在应用游戏方面已经有了成功的先例，这为我国在应用游戏方面的发展提供了积极的指导和宝贵的经验。

三、应用游戏评价方法研究进展
1.国外典型游戏评价方法
1.1 TEEM的Report on educational use of game
英国教师评价教育媒体组织TEEM在“Report on educational use of game”中提出应用游戏的评价可从课程相关性、实用性、设计与导航、易用性、娱教性、安装等六大方面进行展开。主要评价框架如下：
1. Overview of the use of this game in the classroom
Give a brief summary of the game and how it might be used in a classroom. Questions to consider:
• Which subject areas and which teaching and learning objectives does this game support?
• What are the strong features of this product for classroom use?
• Where is this product be best suited within the school context?
• What would teachers need to know in order to use this product effectively?
• What are the weaknesses of the product for classroom use?
• What style of computer usage would this product support ie whole class in computer room, small group on one machine in classroom etc, individual use, pairs, groups etc?
2. Curriculum relevance
Games software may merit a place in the classroom because they help children to develop educationally relevant skills, and/or they address curriculum relevant content. Before completing this section, you will need to decide which if any of these the current game might serve.
a) Content
• Is the relevant content sufficiently defined for classroom use? For example is the relevant content easy to distinguish from other content in the game which children are not required to learn?
• Is there enough relevant content to justify the use of the game?
• Is the arrangement of the content sufficiently accessible to justify use?
• Is the quality of the content acceptable? Consider accuracy, currency, bias and relevance as well as quality of images, video, and sound where these occur.
• Where the game simulates a real world environment, do the laws governing actions and consequences, and the behavior of individual elements, follow accepted models or rules related to the same real world situation? For example, does a simulated city behave economically according to a recognized economic model, and if so, which model?
• Do the skills practiced in the virtual environment match those that would be required in the physical world? For example, does accelerating out of the bend improve road-holding in a motoring simulation?
b) Skills
As well as subject related skills, many games demand that the user employs strategic, or sequential thinking, problem solving and complex thinking skills to solve the puzzles or play the game. These may include generating hypotheses and testing them. Comment on the sort of thinking strategies and skills that you see that children have to follow to use the game. Some of these terms from the Key Skills syllabus may be useful.
Communication – participating in group discussions; understanding and responding to others.
Application of number – calculation skills, applying calculation skills and understanding of number to real life situations.
Working with others – to meet a challenge, develop social skills, and enquiry and decision making skills.
Improving own learning and performance – identifying ways to improve own learning and performance, identifying obstacles and problems, discussing ways to improve learning.
Problem solving – identifying and understanding a problem, planning solutions, monitoring progress, reviewing solutions to a problem.
Financial capability – budgeting, spending, saving, sharing, borrowing and obtaining value for money.
Enterprise education – risk management, learning from mistakes and being innovative.
3. Design and navigation
Do the design and navigation of the program support use in the classroom rather than get in the way?
The following may help you consider the above question:
• Are the icons meaningful and can they be easily selected by a mouse click?
• Can you get in and out to the section you want easily; can you bookmark where you’ve been, or record an individual users place so that they can restart where they left off?
• Is it clear how you move around the product?
• Is there a trail facility to navigate back through the program?
• Where there are tasks for the player, is a record kept of their score?
4. Ease of use
• Can a child use the software with minimal help, either alone or with a peer?
• Is there a significant amount of time which has to be spent setting up the game – building an environment, infrastructure before the‘game’can be played? Are there examples provided to start the user off?
5. Edutainment
Where exercises are offered on screen;
• Are these exercises easily and reliably accessed or‘hidden’in the resource?
• Do the exercises become progressively more difficult?
• Does the user know when the answer is right or wrong?
• Is feedback given to reinforce accurate answers?
• Does the program keep track of what the child has done, and the levels achieved?
• Can the teacher set levels of activity for a child to work on which the child can then access when they log on?
• Is there sufficient content so that children are not presented with the same question twice? Or are questions randomly presented?
6. Installation
• On first installation, did the software install OK? If not, say why and how you corrected this.
• Are there any known conflicts with other programs?
• Did it alter the machine configuration (and leave it that way after use!).
• Can you‘uninstall’the program? Do try this if the option is there.
1.2 Heuristic Evaluation (HE)
Heuristic Evaluation (HE)是一个较早被应用与教育游戏评价的方法，后人不断对其进行改进，下表显示了近年来学者基于HE评价方法的研究进展。
作者/年
描述
Malone, 1982
提出一套针对教育游戏界面设计的指导规范。
Clanton, 1998
开发一套游戏设计规范，目的在于指导游戏如何设计能够更好的激励用户
Federoff, 2002
集中于游戏界面、游戏机制、游戏可玩性的评价
Desurvire et al., 2004
专门评价游戏可玩性 (HEP).
Korhonen, 2006
针对移动游戏的易用性、移动性、游戏性以及学习内容进行评价
Song and Lee, 2007
汇总了游戏界面、游戏性、游戏叙事以及游戏机制等方面的关键因素
Pinelle, 2008
基于大量游戏的结构化分析，给出可用性评价方法。
其中，2006年，Korhonen的移动游戏HE评价提出的四个方面的二级指标如下：
No
Components
Game Usability
GU1
Audio-visual representation supports the game
GU2
Screen layout is efficient and visually pleasing
GU3
Device UI and game UI are used for their own purposes
GU4
Navigation is consistent, logical, and minimalist
GU5
Control keys are consistent and follow standard conventions
GU6
Game controls are convenient and flexible
GU7
The game gives feedback on the player’s actions
GU8
The player cannot make irreversible errors
GU9
The player does not have to memorize things unnecessarily
GU10
The game contains help
Mobility Components
MO1
The game and play sessions can be started quickly
MO2
The game accommodates with the surroundings
MO3
Interruptions are handled reasonably
Game Play Components
GP1
The game provides clear goals or supports player created
GP2
The player sees the progress in the game and can compare
GP3
The players are rewarded and rewards are meaningful
GP4
The player is in control
GP5
Challenge, strategy, and pace are in balance
GP6
The first-time experience is encouraging
GP7
The game story supports the gameplay and is meaningful
GP8
There are no repetitive or boring tasks
GP9
The game does not stagnate
GP10
The game is consistent
Learning Content Components
LC1
The content can be learned easily
LC2
The game provides learning content
LC3
The learning objective from the game is achieved
LC4
The content is understandable
另外，Hasiah Mohamed则在HE的基础上，提出了评价系统应考虑以下三个层面：评价指标、评价者，以及评价过程。其中，评价指标包括界面、教育性、多媒体、内容以及可玩性等方面，五个方面又进一步分为二十几个二级指标，如下图：

　　而评价者则包括教育专家、人机交互专家、内容专家、游戏开发者以及真实用户。评价过程则应用了Playability Heuristic Evaluation for Educational Games (PHEG)方法，即详细给出了界面、教育性、内容、可玩性和多媒体几个方面详细评价指标，如下表显示：
Interface (IN)
IN1
Visibility of system status.
IN2
Match between system and the real world.
IN3
User control and freedom.
IN4
Consistency and standards.
IN5
Error prevention.
IN6
Recognition rather than recall.
IN7
Flexibility and efficiency of use.
IN8
Aesthetic and minimalist design.
IN9
Help users recognize, diagnose, and recover from errors.
IN10
Help and documentation.
Educational Element (ED)
ED1
Clear learning objectives.
ED2
Suitable for learning process.
ED3
Functions as self directed learning tools.
ED4
Considers the individual learning level differences.
ED5
Provide feedback about the knowledge being constructed.
ED6
Offers the ability to select the level of difficulty in games.
Content (CN)
CN1
Reliable and proven content with correct syllabus flow.
CN2
Clear structure of content.
CN3
Screen navigation is precise.
CN4
Supporting learning materials is relevant.
CN5
Content materials is engaging.
CN6
The content is chunk based on topic and subtopic.
Playability (PL)
PL1
Provide enough information to get started to play.
PL2
Control keys follow standard conventions.
PL3
Users should always be able to identify their score in the game.
PL4
Users able to save games in different states.
PL5
Successful users in completing all the activities in a module are rewarded.
PL6
Challenges provided are positive game experiences.
PL7
The game is enjoyable to replay.
Multimedia (MM)
MM1
Each multimedia element used serves a clear purpose.
MM2
Usage of multimedia elements is suitable with the content.
MM3
Combinations of multimedia elements are adequate.
MM4
The presentation of multimedia elements is well managed.
MM5
Numbers of multimedia elements for each screen is not more than 2 elements.
MM6
The use of multimedia elements support meaningfully the information provided.
MM7
The quality of multimedia elements used is good.
MM8
The use of multimedia elements enhances the content presentation.
2国内典型游戏评价方法
2.1 网络游戏评价量规指标体系
范云欢等人从游戏性、教育性、技术性三个维度出发，提出了网络游戏评价量规指标体系，具体包括教育性、游戏性、技术性。其中，游戏性维度又包括：(1)情景设置，即游戏中的故事所发生的背景的设定。(2)游戏场景设计丰富性，即游戏中美观逼真、生动形象的场景，精美的游戏画面，优美的背景音乐，良好的图像交互界面等。(3)竞争性，游戏中的竞争性元素。(4)挑战性，游戏应设置合适的等级，当学习者在较低水平的游戏中取得胜利后，能够向更高级别的游戏等级挑战，从而激发学习者不断继续学习的兴趣。(5)协作性，即多个学习者具有某些相同的特征，如年龄相仿、教育程度相近、学习进度相同等。(6)合理的激励反馈机制，游戏中应设置激发兴趣的反馈从而吸引学习者继续游戏。(7)交互性，即和其他学习者的交互，使学习者更容易获得满足感和协作精神。另外，在教育性维度还包括(1)知识性，即学习者在玩网络教育游戏的过程中，能够了解相关学科的知识，或者得到智慧技能、认知策略方面的的培养。(2)适合学习者特征，游戏的设计必须符合游戏所面对的玩家群体的基本特征，一般包括年龄特征，认知风格，初始能力等。(3)提高学习者信息素养，如信息获取、信息加工与表达、信息资源管理和信息与社会四个方面。(4)培养多元智能。在技术性维度上，包括(1)游戏系统设计合理性，即游戏系统应包括人物、物品、游戏任务、游戏操纵等系统属性的合理设定。(2)开发难度，即游戏开发过程中的所需的技术、经费和时间等重要指标。(3)维护成本，即网络教育游戏在运用过程中需要服务器支持、后期客户服务、游戏更新成本等。
2.2基于目标分类理论的数字化教学游戏评价体系架构
另外，叶长青等人提出了基于目标分类理论的数字化教学游戏评价体系架构，即三维评价体系。新的教育目标分为“知识”维度和“认知过程”维度。知识维度将教学内容分为事实性的、概念性的、程序性的和元认知的知识四类，认知过程维度包括记忆、理解、应用、分析、评价和创造，此外，添加一维——游戏属性维度，即构成了体现教学游戏要素的三维架构，如下图所示。

　　综上国内外的研究成果可以看出，从时间上看，评价可以发生在设计或规划阶段，也可以对游戏体验过程中或之后的游戏性及教育性进行评价，从内容上看，评价指标涵盖教育性、游戏性、技术性、艺术性以及内容等，从评价参与者来看，评价人可以是专家，例如教育专家、游戏专家、人机交互专家、技术专家，以及实际用户。而评价的方式，也包括两种，一是来自客观的数据，例如学习者在游戏体验之后对知识的掌握情况，一般通过对比实验组和比较组在游戏体验之前和之后对相同知识的掌握情况，例如得分高低，再利用统计方法进行汇总分析，得出游戏在教学效果上的性能评价；二则是来自用户的主观评价，通常是对各个考查指标项进行打分，最后按权重综合评定。
但目前评价指标体系的研究也存在一定的不足。其中，一个较为重要的一点，各个维度的考量应具有一定的相关性，即教育性与游戏性分开评价之外，还应对两者的结合程度做评价，这应是应用游戏在教育、娱乐目标下的最为重要的考核方面。

四．教育性与游戏性结合的评价指标
1.应用游戏中的游戏与学习的共生关系
盖里斯等人（Garris 2002）在研究游戏与学习动机时，考察了游戏特性以及游戏发生的基本过程，并构建了IPO模型。他们认为，游戏化学习应与游戏特性相适应，并大致以如下过程进行：结合了游戏特性的教学内容作为不断产生的输入，和游戏者的判断与行为以及系统的反馈，构成了一个如下图所示的“游戏循环圈”’，并最终（以任务报告作为形式之一）产生了游戏循环的输出—学习结果。

　　如果以这一循环过程来考察游戏模型的各功能空间，则不难看出，在它们之间的确存在这样一种互动关系：首先，系统设置问题空间（在一定的游戏情景中布置某种任务），然后游戏者借助执行空间进行问题解决（完成任务），最后（或在此过程中）评价空间对游戏者的操作和行为进行评价（给出任务评价或游戏者绩效），然后根据具体情况重复（或最终结束）该过程。各功能空间之间形成了某种形式的互为输出和输入的关系，这种关系在游戏的宏观和微观层面同时存在，构成了无数的游戏过程循环圈，这也是游戏三大功能空间的基本互动形式。

　　2.信息加工、教学事件与游戏
应用游戏具有“知识传播、技能训练、情志养成”等功能。从设计者的角度看，用户对应用游戏的使用过程本质上是用户以游戏为载体进行的一个认知学习过程，即便“学习”被设计者巧妙地隐藏在深处。为对应用游戏进行评估，我们必须考虑学习和认知的内部与外部条件，必须从学习和认知行为涉及的过程模型入手。
信息阶段加工模型是一个被当代研究者广泛认可的基于个人的学习模型，是分析学习过程的良好载体。这一理论模型的原型最初是由阿特金森与谢夫林提出来的，把学习设想为由知觉与记忆之间的一系列阶段构成的信息加工。虽然也有其他的信息加工模型，如平行—分布加工模型，联结主义模型，但它们基本上是对阶段模型的扩展而不是取代。

　　在上图所示模型中，感觉接受器作为中介将周边环境刺激传送到中枢神经系统，并转变为神经信息，信息在感觉登记器中被暂时登记。感觉登记器的速度非常快，对信息的暂存也非常短暂，一般几十毫秒即可完成来自感觉接受器的信息登记，而后要么被选择性知觉转移为可识别的模式进入短时记忆，要么被忽略或在转移之前被感觉接收器接收的后续信息所覆盖。选择性知觉与注意力有关，与预期接近的或足够强大的刺激才可以通过选择性知觉的过滤机制进入到短时记忆。
短时记忆也叫工作记忆。其对信息的存储时间比较短暂，大约只有30秒，而且存储容量也比较有限，并发组块只有3-7个。很多人都有对短时记忆的切身感受，例如人们只能记住一个手机号码大概几十秒时间，如果需要保持更长时间就需要复述。同样，人们很难立即识记十几位的长数字（如：192168001253），但如果将数字分成几个组块，则容易得多（192.168.001.253），而且干扰会让短时记忆的容量下降至3个。
短时记忆的信息不能长期保存，但当信息被编码过程所加工后，则可以进入长时记忆。所谓编码，不是将有关信息收集在一起，而是将信息用各种形式组织起来。长时记忆的编码方式被认为以语义编码为主，同时辅有语音和视觉等形式。信息从短时记忆到长时记忆的转移受元认知过程的影响，元认知是指对认知的认知能力。
当需要使用信息时，可以直接从短时记忆中提取，也可以通过检索过程从长时记忆中提取，提取的信息在短时记忆中被判断和匹配，要么进入长时记忆进一步检索，要么将信息传送到效应器产生表现行为和反馈。
图的两侧存在执行控制和预期两个重要结构，这两个过程激活和调节学习时的信息流。其中预期则对选择性知觉有重大影响，决定了信息的过滤策略和效果，当然也就影响了后续的所有进程。执行控制过程决定了元认知过程的运作，进而影响了短时记忆的使用、信息从短时记忆向长时记忆的迁移、信息的提取和反应生成等。通俗地说，预期和执行控制过程分别对应了学习过程中的“接不接收”和“学的效果如何”两个命题。
信息阶段加工模型的内部过程可以描述如下：
通过接受器接受刺激。
通过感觉登记器登记信息。
选择性知觉信息，以便在短时记忆中储存。
通过复述在短时记忆中保持信息。
为了在长时记忆中保存而对信息进行语义编码。
将长时记忆中的信息提取到工作记忆中。
反应生成并进入效应器。
学习结果表现于学习者的环境中。
通过执行策略对过程实行控制。
通过对信息加工过程的理解，教育工作者们可以做出有意识的安排，以获得更好的学习效果。尤其是对上述第3-6步的过程的改进。例如，在教学过程中的第3步使用生动的图片来强化选择性知觉，提高信息到达短时记忆的完整性；在教学过程中的第5步使用带有上下文环境的案例来强化语义编码，提高长时记忆的编码效果。这些做法基本都在实践中得到了验证，当课堂教学过程中的PPT里出现图片后，学生的目光显然会更炽热。
信息阶段加工模型表现的是学习者内部的认知过程，其中的任何一个阶段都是下一个阶段的输入。而且每个阶段还都可以受到外部事件的影响，这种外部影响为实施教学设计策略提供了可能。加涅针对信息加工模型内部的几个阶段，针对性地提出了9个事件，每个事件都可以对相应的信息加工阶段提供外部支持。教学事件包括如下活动：
引起注意，确保刺激被接受。
告知学习目标，建立适当的预期。
提示学习者从长时记忆中提取先前习得的内容。
以清晰和富有特色的方式呈现材料，确保选择性知觉。
以适当的语义编码指导学习。
引出行为表现，包括反应生成。
提供关于行为表现的反馈。
测量行为表现，包括额外的反应反馈机会
安排多种练习以促进将来的提取和迁移。
如果所有教学事件中的每一个都以上述的顺序呈现，这将代表一种形式的教学策略。但这些教学事件不必按这种顺序呈现，每堂课中也不必都包括所有需要的事件。学生可能会被要求自己提供某一事件的活动，让他们为自己的学习承担更多的责任。教学事件的作用是激活内部信息加工过程，而不是取代他们。在设计教学时，教学事件列表可被看作是指导原则。在使用这些指导原则时，设计者需要判断学习者在学习这一任务的这一阶段是否需要支持。
教学事件这一概念的提出为促进学习的教学设计提供了指导性框架，当然也就为利用游戏为手段促进学习提供了指导性框架。游戏具有丰富的表现力和智能反应能力，应用游戏可以理解为通过游戏的方法来安排教学事件，达到支持学习者内部的信息加工过程的目的，如下表。

　　表 九个教学事件与学习过程和游戏过程的关系

　　加涅的九个教学事件已经作为教学设计的经典方法在全球教育界产生了巨大的影响，当然众多实践都是以课堂教学为载体实施的。但加涅自己也指出设计教学事件的目的是为了激活信息加工过程并支持加工过程的，显然其并非单为课堂教学而设计，对于应用游戏同样有效。

　　3.应用游戏评价指标

　　见文化部网站：“应用游戏评价指标研究（征求意见稿）”