电子政务系统绩效评价指标设计

发布时间：2010年03月02日点击数： 作者：杨洋 来源：ITGov中国IT治理研究中心

----摘自杨洋《服务型政府转型路径：电子政务系统绩效评估与闭环管理》

【字体：小 大】 【收藏】 【打印文章】

摘要:
目前国际上的电子政务系统绩效评价研究都是刚刚起步，成果数量很少。各种体系之间不论在架构上还是方法上都存在着较大的差别，而且每一种理论自身仍然都处于不断的完善和发展之中，尚未形成一套完全成熟的体系。本书在坚实的理论与实践基础上，针对我国电子政务发展的特点，研究并建立一套包括基本指标和评价模型的电子政务系统绩效评价体系，并论述将该体系应用于系统管理部门的运维管理工作和预算规划部门的预算审批、制订与执行工作的方法，从而实现对电子政务的闭环管理。

指标体系是电子政务系统绩效评价的基础。本文首先介绍了建立指标体系的总体思路；然后参照国际上主流的评价体系，结合我国电子政务系统建设的实践调研情况，介绍了适合于我国电子政务系统的绩效评价指标体系。

 

一、 基本指标的设计原则

  基于目前国际上比较有代表性的几个相关成果包括美国基于联邦实体架构（Federal Enterprise Architecture，以下简称FEA）模型 的评价体系、印度基于电子政务评估框架（E－Governance Assessment Framework，以下简称EAF）的评价体系，以及对信息系统绩效评价具有重要意义的COBIT体系等理论和相关的实践基础，本文设计基本指标所遵循的主要原则为：

（1） 以国际主流评价体系为基础，遵循电子政务系统绩效评价的客观规律。通过第三章的比较分析可以发现，尽管国际上几个主流的评价体系在很多方面存在较大的差异，但是在指标的设定上却具有非常明显的共性特征，而它们又都在不同地区得到了实际应用和多次修正，这说明电子政务系统绩效评价的指标设定并不是一个随意的工作，而是一个遵循和体现客观规律的过程。因此，本体系的指标设定也要遵循这种客观规律，而最科学的方法就是以目前国际主流评价体系的指标设定为基础，充分吸取国际先进经验。在这些体系中，印度EAF框架的指标设定无论从全面性、针对性、可操作性上，还是从其设计背景与我国社会环境的相似程度上看，都相对优于美国的评价体系和COBIT体系。因此，本文在指标设计中应以印度EAF框架为主要设计依据，并在第三章总结出的共性特征的指导下吸取其他评价体系的设计精华，最后按照我国实际调研情况进行针对性的调整和修正，从而得到基本的评价指标。

（2） 面向我国实际国情。基本指标的设计既要以国际主流体系为基础，遵循电子政务系统绩效评价的一般规律，又必须符合我国的实际情况，针对我国电子政务发展现状进行针对性的调整和改进。

首先，必须符合我国政体改革的整体方向和要求。当前我国正在进行政治体制改革，并先后提出了“执政为民”、“构建和谐社会”、“加强行政能力”以及“以服务为中心”等整体目标。作为政治体制改革的重要推动力量，电子政务系统的建设目标也必须紧密的围绕这些目标展开。因此，电子政务系统的绩效评价指标应该符合并反映出这些要求。比如，指标体系应该突出系统的服务和应用情况，并将公民获取服务的便利性和得到服务的质量等作为重要评价指标。

其次，必须符合我国电子政务建设的特点。每个国家的电子政务建设都有自身的特点，比如美国政府的立法管理体制和以企业模式构建电子政务的思路、印度政府的鼓励私人资本参与公共业务投资并负责电子政务建设和运营的模式等，相应的，系统绩效评价指标的设计也要与此相符。对于我国而言，目前电子政务的整体规划和运营管理仍然是以政府为主导，而将具体建设工作和技术支持以委托开发以及技术托管的模式外包给专业企业负责。因此，在评价一个系统的绩效表现时，必须考虑其外包管理和控制的完善程度。

再次，必须我国已有的各类标准相符合。我国目前已经针对电子政务和信息化建设建立了一些标准和规范，并正在逐渐完善之中，这是绩效评价指标体系必须符合的规定。比如，在电子政务系统的安全方面，我国就有很多严格的要求，例如“系统的安全投资比例”等。对于这些规范和标准，应该选择其代表性的条款体现到绩效评价指标中。 

最后，应当突出社会效益。目前一些国家开始强调电子政务的经济效益，比如在印度的EAF框架中即有一些指标评价了系统运行后通过用户付费等方式增加的财政收入等。而从我国的社会环境和行政管理思路看，在较长的一段时间里，政府仍将以提供公共服务、提高社会效益为主要目标，相对而言经济效益的重要性并不突出，对此本体系在成本效益类指标中也要有所侧重。

（3） 突出对电子政务系统的针对性和适用性。

首先，基本指标的设计应该突出其政务应用的特点，从行政管理人员易于理解的角度对系统各各层面进行描述，并覆盖到电子政务特有的一些问题如“行政透明化”等，以避免指标体系过于空泛。

其次，全面反映电子政务绩效。指标体系应该覆盖到服务、技术、可持续性、成本效益和可复用性等全部五个方面，以便于评价者能够对电子政务系统的所有方面表现都有清晰的认识。

最后，基本指标应该普遍适用于各类电子政务系统。我国电子政务系统的概念比较宽泛，基本上由政府投资运作的信息系统都被纳入到这一范畴，成为绩效评价的对象。因此，在本体系的指标设计中，一方面要突出电子政务的特点，另一方面也要考虑到能够面向各类型电子政务系统，尽可能减少个性化指标的比例。

二、 指标的具体设计

按照前述的设计原则，本文结合在信息化部门中的实际调研，按照我国特点并参照已有的各类研究成果，对电子政务系统绩效评价的基本指标进行了具体的设计。

（一）基本结构

一般而言，绩效评价指标的设计是一个典型的目标分解过程，即将系统的最终目标逐层分解为细节的目标，并确定相关的评价标准。显然，这种分解过程具有非常明显的层次特征，相应的，指标体系的设计也应具有明确的层次性。因此，本文提出的基本指标在框架上与其他几个主流评价体系相同，采用了三级指标的架构，将服务、技术、可持续性、成本效益和可复用性五个方面分别作为五个一级评价指标，并通过更细化的二级和三级指标将其分解为细节评价指标。

（二）服务指标的设计

服务是电子政务系统的直接产出，其效果也是系统绩效最直接的表现形式，因此对服务的评价是电子政务系统绩效评价的首要内容。为全面衡量服务水平，服务指标应该涵盖系统产出服务的各个环节，即服务的设计、服务的交付和服务的实际效果，从绩效评价的角度看，就是衡量实际业务是否是以服务为中心设计和开展、是否为用户提供了便利的服务渠道、最终提供的服务是否具有足够的效率。相应的，服务指标包括“效率”、“用户便利性”和“以服务为中心”三个二级指标。

（1） 效率。对于电子政务系统而言，体现服务效率的主要因素包括服务的速度、质量和应用范围三个方面。只有速度快、质量好，并且充分应用在相关业务范围内，才能认为该系统的服务具备了充分的效率性。特别的，对于很多面向社会公众的电子政务系统，弱势群体（如农民工、劳改释放人员、社会贫困阶层、残障人士等）是一个重要而特殊的服务对象，因此对系统服务在弱势群体的应用程度也应该体现在效率指标中。

（2） 用户便利性。用户便利性体现的是服务渠道的畅通程度，或者说服务交付方式的便捷程度。地理位置和时间、跨部门操作以及异常业务需求等因素对服务交付的影响都应纳入该指标的考虑范围。

（3） 以服务为中心。“以服务为中心，建设服务型政府”是我国目前行政改革的重要目标之一，体现在电子政务系统上，就是看系统及相关业务的设计是否都是围绕服务而展开。具体而言，系统用户界面设计是否是以方便用户服务为核心设计、系统是否提供了服务创新、是否特别为服务人员进行了业务培训等，都是评价该指标的重要因素。

（三）技术指标的设计

技术平台是支撑电子政务系统运作的内在驱动，技术设计和实施的质量将影响电子政务系统的各方面表现。不过单纯从技术角度看，电子政务系统与其他管理信息系统并没有明显的差别，其评价都是以架构设计、标准规范、安全性、可靠性和灵活性等几个方面为主。因此本指标的二级指标依次为：

（1） 架构。整体架构设计是电子政务系统建设的基础工作，其合理性将直接决定整个系统的成败。架构指标即针对系统架构设计进行评价，重点考察的方面包括需求分析、资源配置、互操作性等指标。此外，目前国内的电子政务系统建设往往存在重复和冗余的现象，比如在某单位同时存在着自行购进的和上级指定的两套OA系统，而该单位另一个专业数据处理系统也提供了完整的OA功能。这种现象不仅造成了资源的浪费，而且还带来了业务上的混乱，并影响未来的数据和系统整合工作。究其原因，就是在系统设计规划中没有从全局角度进行考虑，忽视了对系统的功能定位、与其他系统之间关系等方面的分析。因此，在架构指标中还要特别提出“全局性”三级指标，以全面评价系统架构设计的合理性。

（2） 标准化。系统各种设计和接口的标准化是保证系统整合与交互能力的根本。由下往上的看，这种标准化体现在三个层次上，即底层的技术架构标准性、中层的数据交换标准性，以及顶层应用层的业务数据标准性。因此，对标准化的衡量也应以这三个方面为主要内容。

（3） 安全性。相对于电子政务系统的其他方面特征，我国对电子政务系统的安全性有比较明确的规定和要求，比如基本的安全投资比例要求、进行软件安全测评的要求，以及根据系统业务的密级而提出的不同安全方案要求等。因此，安全指标的设计可以采纳这些国家标准，并充分利用各级软件安全测评中心的测评结果作为评价依据。

（4） 系统柔性。系统柔性主要体现的是系统的灵活性、可扩展性等方面特征。由于我国目前正处于行政改革之中，因此政府部门的组织结构和业务流程的变动相对比较频繁，这就要求电子政务系统具有较高的柔性，否则一旦应用环境发生变化，系统将因无法适应而不得不淘汰。从技术角度看，这种柔性主要体现在两个方面，即功能上的扩展能力和性能上的扩展能力，因此其三级指标的设计也应以这两个方面为核心。

（5） 可靠性。系统的可靠性主要体现在正确率、平均无故障运行时间、平均故障恢复时间等可量化的指标上。需要特别说明的是，评价这些指标的前提是该系统的管理人员必须进行了详细完善的日志记录，而在实际工作中，并非每个单位都能做到这一点。因此在日志记录不完善的情况下，评价人员应该降低可靠性的评价水平。

（四）系统可持续性指标的设计

可持续性是绩效评价的重要内容，属于一种战略层面的评价指标。对于电子政务系统的绩效评价，可持续性的评价结果体现了该系统在未来的工作中得到持续的运行与维护、通过不断完善而长期保持合理绩效水平的能力。一般而言，保障系统可持续性的主要因素包括下面几个指标：

（1） 组织可持续性。从长远看，保障一个电子政务系统持续运行并改进的关键因素就是组织领导的合理性和连续性。一般而言，凡是得到部门领导大力而长期支持（比如由局长亲自担任项目组长并亲自负责推广工作）的系统，都会在运行期间收到良好的效果并得到持续的改进。同样，凡是配有专门针对系统管理且分工明确、制度完善的系统管理机构的电子政务系统，其推广应用和根据用户反馈进行改进等工作的效果都明显好于其他单位。实际业务部门员工对系统建设的参与程度，以及单位对员工培训的重视程度，也都在很大程度上决定了系统的可持续性。因此，组织可持续性的具体三级指标，主要围绕组织领导、管理机构以及员工管理等三个方面展开设计。

（2） 业务可持续性。影响系统可持续性的另一个重要因素就是来自于外包机构的稳定支持。由于我国电子政务系统大多数是由专业的商业公司外包开发并提供后续技术支持，因此一旦在外包环节上的控制失效，将可能导致系统在建设投产后失去技术保障，无法适应环境和需求的变化，进而过早的退出使用。因此对商业外包的控制是评价系统业务可持续性的重要内容。同时，作为一种商品，外包建设的电子政务系统应该指明其预期的使用寿命，并且通过持续的跟踪评价，确定实际使用寿命与预期使用寿命的一致性，以便及时发现过早进入衰退期的系统，并采取针对性的补救措施。

此外，目前我国一些地区已经出现了由商业性公司投资建设并主持运营电子政务系统（即PPP，私人参与公共事业）的新模式。在这种模式下，一方面政府部门可以大量节省投入到信息化建设中的人力物力，另一方面投资商又可以充分利用电子政务系统的优良信息渠道，实现广告、在线交易等方式的盈利，从而实现双赢的效果。显然，对于采用这种模式的电子政务系统，能否保障投资人的合理盈利和回报，将成为影响系统可持续性的重要因素。因此在绩效指标的设计中也应加入这一内容。

（3） 法规环境。符合相关法规要求并能长期得到相关法规支持，是保证信息系统能够持续运营的重要条件，这一点对于电子政务系统则显得格外突出。因为电子政务系统不仅要遵循一般性的法规条款，而且还必须遵从政府相关管理部门的业务规范，比如联合年检系统必须考虑卫生、税务等不同部门在各自政策中对年检时间的不同规定等。不过与一般企业信息系统不同的是，由于电子政务系统的使用者即各级政府本身同时也是业务法规的制订者，因此往往可以通过改进相关法规而推动系统的应用，实现更高效的服务。所以从法律角度评价系统的可持续性，应该包括两个方面的内容，即与相关法规的符合性，以及相关法规的改进程度。

（五）成本效益指标的设计

成本效益分析是评价信息系统绩效的重要手段。但是对于我国的电子政务信息系统，由于强调以社会效益为主，因此虽然其成本（即投资）容易获得，但是其效益并不像企业系统那样可以直接通过经济效益分析加以衡量。因此，在成本效益分析中，应将社会效益相关的指标如用户成本（如办事手续和时间）的减少、流程的优化、行政透明度的提高等为主。不过对于少数面向财政监管方面的电子政务系统，如“金税工程”，由于其加强了监管力度而减少了财政经济收入的损失，间接实现了经济效益，因此仍将经济效益作为一个重要指标，用于衡量特定类型系统的成本效益。

（六）可复用性指标的设计

可复用性是保证系统战略整合、提高政府投资效率的重要因素，因此在美国和印度的评价体系中都对其给予了高度的重视。而评价电子政务系统可复用性的主要内容则包括三个方面，即功能可复用性、技术可复用性和推广能力：

（1） 功能可复用性。评价一个系统是否具备复用到其他环境的能力，首先就是看该系统所提供的功能是否具有普遍意义。如果一个系统的功能设计完全是针对具体环境的特殊要求，那么无论该系统在其他方面具备怎样的优点，也不具备良好的复用价值。因此，对功能可复用性的评价是可复用性评价的首要内容。具体而言，可以从两个角度对其进行评价：首先，可以大致估计该系统的功能实现中通用性功能的比例，比例越高则通用性越好；其次，可以根据该系统的产品化程度进行直观的评价，一般而言，产品化程度越高，说明其通用性越高。

（2） 技术可复用性。技术可复用性是实现系统复用的重要保障，因为任何系统在应用到其他环境时都需要进行不同程度的改造，而技术因素将直接决定改造成本和难易程度。这些技术因素主要包括系统的模块复用（组件化）程度、文档的完备性、安装维护的简易性、参数化定制能力、性能扩展能力、数据重用能力等。

（3） 推广能力。制约系统复用的另一个条件就是推广能力因素，比如与复用范围相关的合同规定、系统的商业推广模式或市场潜力等，只有得到了充分的商业许可，并且具有市场前景的电子政务系统才有复用的价值。特别的，很多单位和部门已经开始意识到联合开发电子政务系统特别是专业型系统时，知识产权定义在合同条款中具有非常重要的意义。因为电子政务系统的开发工作虽然是由开发商承担，但其整体的流程架构尤其是专业管理系统（如水利部门）的特殊知识其实都是政府部门设计并提供的，因此在最终形成的产品里已经包含了大量的政府知识产权，从而在复用到其他政府部门时应该对这部分价格进行扣除。所以，对于知识产权定义的评价应该作为商业复用评价的重要内容。

（七）基本指标总结

综合上述设计，本文通过表1列示了详细的电子政务绩效评价基本指标，并对其评价方法的特点（定量/定性）进行了说明 ：

表1 电子政务系统绩效评价指标体系

一级指标	二级指标	三级指标	描述	评价方法
服务	效率	服务速度	系统交付后主要业务处理速度的提高	定量
		服务及时性	实际业务处理时间与相关标准的符合性	定量
		服务质量	系统提供的服务的有用性和易接受性	定量
		操作简易度	系统实施后用户实际办理手续（或工作量）的减少	定量
		服务覆盖度	系统在实际业务工作中的应用程度	定量
		弱势群体覆盖度	系统在相关的社会或经济弱势群体、以及残障人士中的应用程度。	定量
	用户便利性	空间灵活性	地理位置对用户访问系统的影响	定量
		时间灵活性	时间安排对系统用户的影响	定量
		业务覆盖度	系统对其核心业务流程的实现程度	定量
		跨部门服务整合度	跨部门的数据共享和服务流程整合程度	定量
		业务异常识别处理能力	系统对异常业务类型是否能够识别并特别处理	定量
		弱势群体访问便利度	服务及地点对弱势群体是否方便	定性
	以服务为中心	界面友好性	用户界面是否美观方便	定量
		服务创新度	提供传统方式没有的新服务的能力及其与核心业务的相关度。	定量
		投诉减少率	系统实施后市民或企业对相关业务投诉的减少	定量
		服务人员业务水平	业务人员对业务的熟悉程度	定量
技术	架构	需求覆盖度	系统提供的服务对用户相关需求的覆盖程度	定量
		资源配置	现有的技术架构是否能够满足需要，是否存在严重的软硬件资源闲置。	定量
		全局性	从全局角度看，本系统的建设是否是必要的或重复的、与其他系统（或本系统之前各期建设）之间的互补性和冗余性。	定性
		控制机制	是否存在适当的机制（如系统审计或监理）以保证系统在开发和后继维护中始终按照原定架构执行	定性
		互操作性	系统是否与其他部门的系统进行互操作，或者是否支持此类互操作。	定量
	标准化	技术架构标准性	技术架构设计与国家/国际标准的符合度。	定性
		业务数据标准性	业务数据的存储格式和输入、输出打印格式，以及编码规则等是否符合部门、国家或国际标准。	定量
		数据交换标准性	系统是否使用了规范通用的数据交换标准	定量
	安全性	安全方案	系统设计中是否按照相应国家安全规范标准和保密制度设计了安全策略。	定量
		安全投资比例	系统预算中安全投资所占的比重	定量
		安全控制	是否存在适当的机制（如第三方审计）以保证系统在开发和后继维护中始终按照原定安全策略执行	定性
		安全管理	是否存在健全的安全管理规程并执行	定量
		灾难恢复能力	系统在遇到重大故障时的恢复速度和程度	定性
	系统柔性	可扩充性	系统根据需要进行扩充的难易度	定量
		硬件兼容性	系统对新设备的接受能力	定量
		环境可变性	系统设计中是否允许使用备用的电源和通信系统等环境因素快速实施系统扩充。	定量
	可靠性	平均无故障时间	系统可以正常使用的时间	定量
		正确性	系统处理的正确率	定量
		响应时间	从系统日志中估算的响应时间与系统的合理响应时间的一致性	定量
		平均故障恢复时间	系统在遇到故障后恢复正常使用所需的时间	定量
系统可持续性	组织可持续性	管理机构	是否存在专门专业的系统管理机构，并能够统管系统的开发推广和维护协调等工作。	定性
		岗位清晰度	电子政务业务处理流程中的岗位设计和分工是否清晰合理。	定性
		员工培训	针对系统使用的培训工作效果	定性
		员工参与程度	员工在系统的开发和运维中是否充分参与	定性
		高层支持力度	高层领导对本系统的支持程度和稳定性	定性
		定期反馈机制	组织是否对系统的运行效果和用户意见进行定期调查整理	定性
	业务可持续性	外包合同的有效性	系统运营合同是否确切有效	定量
		外包控制	在外包机构的选择和管理上是否经过了充分的审核和控制	定量
		私营企业生存力	建设运营电子政务的私营企业是否具备持续经营能力	定性
		系统寿命	系统实际使用寿命和预期使用寿命的符合度。	定量
	法规环境	法规符合性	系统业务流程与技术手段等方面与各相关法规的符合程度	定性
		相关规章制度的改进程度	为改进所有电子服务的交付效率和质量，而对旧规则的修改程度	定量
成本效益性		用户成本减少度	因该系统使企业或市民的办事成本降低比例	定量
		政府成本减少度	政府办公成本的降低	定量
		系统成本控制	系统建设和运维成本的控制力度	定性
		流程优化程度	系统实施对内部流程的简化程度	定量
		重复建设成本	本系统投资是否与其他系统投资之间存在重复性浪费	定量
		系统投资合理性	系统的实际投资与正常的合理投资之间的比例	定量
		经济效益	系统实施后通过加强监管力度而增加的经济效益	定量
		行政透明化程度	通过系统实施使政府办公流程和结果公开化的比例	定量
可复用性	功能可复用性	功能通用性	本系统在其他地区、部门的适用程度	定量
		产品化程度	本系统是否已经或有潜力进行产品化	定性
	技术可复用性	平台无关性	系统可以跨平台架设运行的能力	定量
		系统安装维护的简易度	系统在其他地区部门安装实施和维护升级的简易程度。	定性
		参数化定制程度	系统可以通过仅修改参数（不修改或附加程序）即实现定制的能力	定量
		模块复用性	系统允许仅对部分模块进行复用的程度。	定性
		文档质量	项目文档和用户手册的可用性和格式的规范性，以及表述的清晰性	定性
		性能可复用性	系统是否可以满足其他范围的业务量需要。	定量
		数据可复用性	系统数据是否可以并支持重用于其他部门。	定性
	推广能力	商业复用	商业条款在何种程度上允许系统复用。	定性
		复用的市场潜力	该系统复用的市场潜力，即其他地区部门对该系统的需求潜力。	定量

 如对本书或ITGov中国IT治理智库系列丛书感兴趣，请登陆www.itgov.org.cn 或联系service#itgov.org.cn（请将#替换为@）