目前国际上的电子政务系统绩效评价研究都是刚刚起步，成果数量很少。各种体系之间不论在架构上还是方法上都存在着较大的差别，而且每一种理论自身仍然都处于不断的完善和发展之中，尚未形成一套完全成熟的体系。本书在坚实的理论与实践基础上，针对我国电子政务发展的特点，研究并建立一套包括基本指标和评价模型的电子政务系统绩效评价体系，并论述将该体系应用于系统管理部门的运维管理工作和预算规划部门的预算审批、制订与执行工作的方法，从而实现对电子政务的闭环管理。
本文根据我国电子政务的一般现状，对全部指标的涵义、原始数据与量化采集方法，以及评分标准进行详细解读。需要说明的是，本文介绍的是在一般情况下，电子政务系统绩效评价体系中基本指标的采集与量化方法。在实际应用中，由于环境、技术、任务等各方面因素的差异，指标的具体含义、采集和量化方法等均可能发生变化。评价人员应该根据系统的具体特点对这些方法进行针对性的修改和具体化，以便更加精确的反映电子政务系统的绩效。同样，本文为每个定量指标所设计的评分标准简化表格也是出于通用性和示范性的考虑，评价人员应视实际需要对量化函数的上限和下限进行调整，并决定采用简化表格还是计算精确分数。对于难以准确对应到评分标准的定性指标，评价人员应采用期望值方法计算指标得分。下面以指标之一“服务”为例进行详解：
一、服务
（一）效率
(1) 服务速度。
涵义：服务速度指标主要衡量电子政务系统交付使用后，相关的主要业务处理速度的提高。
采集与量化：
服务速度指标考核系统实施后对主要服务的处理速度的提高比例，因此其量化方法可遵循以下步骤：
A．通过对相关业务人员的访谈对相关文件的调阅了解系统实施前后业务处理的平均周期；
B．通过系统内业务数据日志对访谈结果进行验证（此步骤可选）；
C．计算前后处理周期的减少比例，作为服务速度指标的原始数据。
不过在具体评价工作中，往往会遇到电子政务系统同时支持若干种行政业务的情况。在这种情况下，首先需要界定目标系统的主要业务。一般而言，界定主要业务的依据应包括业务数量、业务平均规模（包括涉及金额等）以及社会意义等，然后再行计算。如果被评价系统的主要业务超过一个，则需要计算这些业务的处理周期平均减少比例，具体公式如下：
评分标准：
服务速度的提高对于系统绩效而言属于典型的正指标，因此采用公式4.1进行去量纲化。对于公式4.1所需要的两个参数即指标的最大分值和最小分值，根据调研样本反映的情况进行设计。在调研样本中，服务速度提高最多的系统达到90％以上（如某年检系统从几个月减少到几天，某GIS系统的公交改造周期从几天降低到半小时、某河道监控流程从两小时减少到10分钟等），而相对较低的系统则几乎没有提高，因此其取值的最大和最小值分别设为100％和0比较合适。相应的得到打分量表如下：
|
服务速度 |
0％－ 20％ |
20％－37% |
37%－ 50％ |
50％－ 63％ |
63％－ 80％ |
80％－ 100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（2）服务及时性
涵义：服务及时性指标用于评价系统实施后，主要业务处理所需的实际时间是否符合相关标准或规范。
采集与量化：
因为服务及时性指标考核系统输出的服务在时间上是否符合标准，是否存在服务拖延等现象，因此在该指标的采集中应遵循如下步骤：
A．首先需要确定系统的标准服务处理时间。一般而言，服务的标准处理时间可以通过了解该部门的服务承诺和相关规定获得。
B．确定业务的实际处理时间。对于实际处理时间，一般需要在系统数据库中对已处理和待处理的所有服务（业务）日志进行抽样，并统计其中没有及时处理完成的业务数量。对于不能从系统数据中抽取的业务，则要通过访谈、文件调阅以及现场观察等方式估算其平均完成时间。
最后计算未及时完成数量占抽样总量的比例，公式如下：
与服务速度指标的评价相同，如果系统同时支持多个主要业务，则在及时性指标的计算中也要计算其平均值。
评分标准：
服务及时性也属系统绩效的正指标，应采用公式4.1进行去量纲化。根据调研了解，几乎所有电子政务系统的服务及时性都能保证在50％以上，因而将该指标的最大和最小值分别设为100％和50％比较合适。相应的得到打分量表如下：
|
服务及时性 |
0％－60％ |
60％－68% |
68%－75％ |
75％－82％ |
82％－90％ |
90％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（3）服务质量
涵义：服务质量指标用于评价通过电子政务系统所提供的公共服务的有用性和易接受性。
采集与量化：
对于人工服务系统（如窗口服务），服务质量为服务的热情程度和专业性，在实际采集中需要在服务现场进行抽样观察，并统计质量上乘的服务数量、质量适中的服务数量和低质量服务数量。然后按如下公式计算服务质量：
对于自动业务处理系统，量化方法是计算抽查中发现的符合质量标准、无需进行再处理的业务结果占抽样总量的比例。公式如下：
评分标准：
服务质量属于系统绩效的正指标，因此也要采用公式4.1进行去量纲化。一般而言，电子政务系统的服务质量合规性普遍较高，因此将该指标的最大和最小值分别设为100％和50％比较合适。相应的得到打分量表如下：
|
服务质量 |
0％－60％ |
60％－68% |
68%－75％ |
75％－82％ |
82％－90％ |
90％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（4）操作简易度
涵义：操作简易度指在电子政务系统实施后，用户实际办理手续（或工作量）的减少。
采集与量化：
该指标主要衡量系统实施后，用户对主要业务的处理过程的简化，即关键操作环节的减少比例。
对于G2C和G2B类系统，用户操作环节数一般可以用客户（企业或市民）的必要来访次数或所需填写信息项目个数（如表格栏目）来代表，此时该指标值的计算公式为：
而对于政府内部使用的OA系统或专业处理系统（如地理信息、水文气象等），该指标主要体现为操作人员人工进行的计算、绘图、制表等关键工作环节的减少比例，此时该指标的计算公式如下：
与其他指标一样，对于支持多个主要业务的系统，应计算其平均值。
评分标准：
一般而言，操作简易度属于系统绩效的正指标，应该按照公式4.1进行去量纲化。从调研情况看，电子政务系统在实施后一般都会大量的减少手工处理环节，但由于法律等方面的约束，往往仍有一些必要的环节如签章等必须由手工处理，不允许完全自动化。另外在有些情况下，由于电子政务系统的实施带来的管理规范化，很多业务的处理环节反而会比之前增多。综合考虑这些因素，可以将该指标的最大和最小值分别设为80％和20％，相应的得到打分量表如下：
|
操作简易度 |
0％－ 32％ |
32％ －42% |
42% －50％ |
50％ －58％ |
58％ －68％ |
68％ －100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（
5）服务覆盖度
涵义：系统在实际业务工作中的应用程度。
采集与量化：
服务覆盖度是指对于所支持的业务而言，电子政务系统在何种程度上覆盖了全部业务，或者说该类业务有多大比例是在系统中处理的。因此，该指标一般可以用系统中主要业务的实际处理量占该类业务总量的比例来表示。
对于一般行政业务和专业系统而言，业务总量为该部门系统和人工处理的该类业务总量。对于服务性业务（如市民咨询）或非强制性业务为预期业务量的估计值（可通过历史同比业务量估算）。在这两项数据进行采集后，采用如下公式计算其取值：
评分标准：
服务覆盖度是系统绩效的正指标，需要按公式4.1进行去量纲化。从调研的实际情况看，电子政务系统在服务覆盖度方面相互差距很大，较好的如某流监管系统可达100％，而表现最差的系统则近乎于0。因此将该指标的最大和最小值分别设为100％和0％，相应的得到打分量表如下：
|
服务覆盖度 |
0％－20％ |
20％－37% |
37%－50％ |
50％－63％ |
63％－80％ |
80％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（6）弱势群体覆盖度
涵义：系统在相关的社会或经济弱势群体、以及残障人士中的应用程度。
采集与量化：
该指标是专门针对G2C类系统而提出的评价指标，在具体评价中需要采集可以通过该系统而获得服务的弱势群体数量以及全部通过各种方式获取该服务的弱势群体数量，并以其比例作为指标值，公式如下：
评分标准：
弱势群体覆盖度也属于系统绩效的正指标。从实际情况看，不同的G2C系统对这一问题的关注程度存在较大差别，因此设定其合理的最大取值和最小取值分别为100％和0％，得到量表如下：
|
服务覆盖度 |
0％－20％ |
20％－37% |
37%－50％ |
50％－63％ |
63％－80％ |
80％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（二）用户便利性
（1）空间灵活性
涵义：地理位置对用户访问系统的影响，即用户在不同地点访问该系统是否一样便利。
采集与量化：
对于内部办公系统和专业性系统，空间灵活性的主要评价依据为接入系统的单位占全部要求访问该系统的单位的比例。如果该业务在政策上允许并鼓励7×24模式，则将被授权者的住处或移动办公设备等也纳入分子和分母。对于公共服务系统（如公交查询）系统，原则上也需要估算访问点的覆盖程度。不过对于某些公共服务系统，定量计算较有难度，采用定性评价的方法可能更为合适一些。所以该指标的评价应根据系统的类型选用不同方法。
对于可定量计算的系统，计算公式如下：
对于需要定性评价的系统，则应根据系统实际情况参考如下依据打分（具体标准需要视实际情况调整）：
0－系统只提供了有限的访问点，且没有覆盖到全部用户；
1－系统只为用户提供了定点访问的方式，基本能够覆盖到所有用户；
2－系统为用户提供了定点访问和Internet访问的方式
3－系统支持用户的定点访问、Internet访问以及公共场所的触摸屏，但触摸屏的覆盖率较低
4－系统支持用户的定点访问、web访问和公共场所的触摸屏，且触摸屏的覆盖率较高
5－系统支持用户的定点访问、web访问，有触摸屏且覆盖较高，并实现了手机告知等更加灵活的访问功能
评分标准：
对于定量计算的访问便利度数据，将该指标值的最大值和最小值分别设为100％和20％，得到的量化表如下：
|
空间灵活性 |
20％－36％ |
36％－50% |
50%－60％ |
60％－70％ |
70％－84％ |
84％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
而对于定性评价的系统，直接将评价级别（0－5）作为得分即可。
（2）时间灵活性
涵义：时间因素对用户访问系统的影响，即用户是否能够根据自身需要随时访问该系统。
采集与量化：
不管是面向政府内部的OA系统还是面向企业和市民的系统，时间灵活性都是指系统允许访问的时间段与用户可能提出服务需求的时间段符合的比例，所以需要采集以上两个数据。一般而言，调查中以一周为单元比较合适，以便能够反映该系统是否符合7×24的要求。该指标值的计算公式如下：
评分标准：
时间灵活度属于系统绩效的正指标，采用公式4.1进行去量纲化。根据实际情况，大多数电子政务系统都能够保持50％以上的时间灵活度，故将指标值的最大值和最小值分别设为100％和50％，得到量表如下：
|
时间灵活度 |
0％－60％ |
60％－68% |
68%－75％ |
75％－82％ |
82％－90％ |
90％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（3）业务覆盖度
涵义：系统对其核心业务全部流程的实现程度。
采集与量化：
不管对于内部办公系统还是面向企业或居民的G2B、G2C系统，业务覆盖度都可以通过系统处理的主要业务的操作环节数占该业务的总操作环节数的比例来代表。所以在计算时首先需要采集各主要业务的总环节数，以及可以通过系统处理的环节数，然后计算其平均比例，计算公式如下：
其中：n为可以通过系统处理的主要业务数， 为第i个主要业务可以通过系统处理的环节数， 为第i个主要业务的总环节数。
评分标准：
业务覆盖度是系统设计深度的具体体现，因此属于系统绩效的正指标，应采用公式4.1进行去量纲化。通过调查发现，政府中的很多业务实际上并不能做到100％的计算机化，因为根据法规要求，很多文件必须通过人工传递或书面签章的方式处理，所以将该指标的最大值设为90％，最小值设为20％，从而得到量表如下：
（4）跨部门服务整合度
涵义：跨部门业务处理中的数据共享程度和流程整合程度。
采集与量化：
根据其他体系的经验以及实际调研的发现，对于面向行政业务的电子政务系统，评价其跨部门整合程度的最便捷方式就是调查系统实施之后用户需要重复输入的信息总量与传统方式下需要重复输入的信息总量之比，具体计算公式如下：
而对于专业性系统，该指标则可以用操作部门输入的可外部获取数据占全部可外部获取数据的比例代表
评分标准：
由于该指标是系统绩效的正指标，因此也要用公式4.1去量纲化。将该指标值的最大值和最小值分别设为100％和0％，得到以下的量化表：
|
业务覆盖度 |
20％－34％ |
34％－46% |
46%－55％ |
55％－64％ |
64％－76％ |
76％－90％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（5）业务异常识别处理能力
涵义：系统对异常业务类型是否能够正确识别并特别处理。
采集与量化：
对于系统的业务异常识别和处理能力，一般可以根据系统日志，统计其在评价期间内实际识别出的输入异常和处理异常数量，以及根据业务操作记录或系统日志统计出的期内全部异常数量，并计算二者比例。需要注意的是，如果系统识别出的异常在之前已经识别过但未能处理和标记的，则不能再次记入分子。该指标值的计算公式如下：
评分标准：
该指标显然也属于系统的正指标，需要使用公式4.1进行去量纲化。实际调研中发现，不同系统对异常识别能力的要求有较大差别。一般而言，专业性系统（如水文气象）要求的数据精度比较大，且每次未处理异常所来的损失也较大，因此将该类系统的最小值和最大值分别设为95％和100％。得到量化表如下：
|
跨部门业务整合度 |
0％－20％ |
20％－37% |
37%－50％ |
50％－63％ |
63％－80％ |
80％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（6）弱势群体访问便利度
涵义：服务方式对弱势群体是否方便。
采集与量化：
该指标是针对G2C系统而设计的，主要衡量服务点对于弱势群体来说是否易到达、服务设施和方式是否方便弱势群体使用等（比如提供语言辅助功能等）。系统在访问地点、访问方式上为弱势群体如残障人士进行的针对性设计越多，该指标的得分则越高。
一般而言，该指标较难量化，更适合通过定性方式进行评价。在具体评价中可以参考下面的评价标准进行评分（具体可视实际需求调整）：
0－无论在访问地点、时间还是方式上，完全没有考虑弱势群体问题。
1－针对弱势群体提供了过少的免费访问点，在服务方式上没有考虑弱势群体特点。
2－针对弱势群体提供了基本的免费访问点，但在服务方式上没有考虑弱势群体特点。
3－针对弱势群体提供了基本的免费访问点，并且在部分服务设计中体现出了对弱势群体的考虑。
4－访问点数量较多、分布合理，并且对全部服务均设计了针对弱势群体的访问方式。
5－访问点数量多、分布合理，全部服务均有针对弱势群体的设计，并且提供了专门围绕弱势群体的服务内容。
评分标准：
由于该指标为定性评价，故直接将量化数值作为评价得分即可。如果无法直接对应，则按照第4章介绍的期望值方法进行计算即可（后续所有定性指标均同，不再赘述）。
（三）以服务为中心
（1）界面友好性
涵义：用户界面是否美观方便。
采集与量化：
该指标是指为用户提供服务和信息的网站或触摸屏是否根据用户的行为模式来设计，从而能够方便用户查询信息或进行业务申请。根据相关研究成果，该指标可以根据用户为获得信息或服务所需点击的次数来衡量。具体调研中，可以首先以网站或触摸屏提供信息或业务为总体进行抽样，调查用户获得信息或服务所需的点击次数，然后进行加权平均，计算公式如下：
需要说明的是，对于涉外事务或涉及少数民族事务较多的系统，还应该考察其提供的语言版本数量与用户常用语言数量之间的比例，并将其与点击次数的平均值作为评分依据。
评分标准：
根据人机界面领域的研究成果，一般认为点击次数在3次以下为最佳，而在6次以上则属于较差。因此该指标显然属于系统绩效的负指标，应采用公式4.2进行去量纲化。设该指标的合理取值范围为1－8次，得量表如下：
|
点击次数 |
6.5以上 |
5.4-6.5 |
4.5-5.4 |
3.6-4.5 |
2.4-3.6 |
2.4以下 |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（2）服务创新度
涵义：充分利用信息化优势，提供传统方式所不具备的与行政业务密切相关的新服务的程度。
采集与量化：
该指标主要是指系统提供传统方式所没有的新服务占总服务数的比例，其中新服务必须要对相关行政业务有切实意义，否则不记入分子。在实际调研中，评价人员需要采集的数据包括传统方式下提供的服务数，系统提供的传统方式所不具备的服务数（即创新服务），创新服务中切实有意义的服务数，然后采用以下公式计算该指标的取值：
评分标准：
该指标值属于系统绩效的正指标，应用公式4.1对其进行量化。在实际调研中发现，电子政务系统一般是将传统服务实现网络化，而在服务类型上的创新比例并不高，一般在20％以下。因此将该指标值的最大值和最小值分别设为20％和0％，得到的量化表如下：
|
服务创新度 |
0％－4％ |
4％－7.4％ |
7.4％－10% |
10%－12.6％ |
12.6％－16％ |
16％－20％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（3）投诉减少率
涵义：系统实施后市民或企业对系统相关业务投诉量的减少。
采集与量化：
投诉减少率是衡量电子政务服务水平的重要因素。不过在实际调研中发现，尽管电子政务系统的实施提高了政府服务水平，但投诉量却往往不仅没有减少，反而大比例上升。究其原因，在于电子政务系统在提高服务水平的同时也拓宽了投诉渠道，从而使很多从前不会导致投诉的小问题在新系统条件下被及时反映。显然，这也正是电子政务系统的优势之一，因此不能简单的通过投诉数量比例作为评价绩效的依据，而应对相关数据进行筛选。一般而言，评价人员应该以系统实施前后重要问题投诉量的减少作为计算依据，因为这类问题即使在传统方式下也会得到及时反映和登记，计算公式如下
评分标准：
投诉减少率属于系统绩效的正指标，但是其取值可能会为负数。若取值为负数，则说明系统实施后引发的重大问题投诉反而多于从前。将该指标的最大值和最小值分别设为100％和－100％，得到量化表如下：
|
投诉减少率 |
小于 -60％ |
-60％―-26％ |
-26％－0% |
0%－26％ |
26％－59％ |
59％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
（4）服务人员业务水平
涵义：业务人员对业务的熟悉程度和操作水平。
采集与量化：
首先根据各业务单位事先规定的业务熟练程度标准对各业务人员的业务水平进行评定，并按照下表对每个业务人员打分：
|
熟练程度 |
差 |
及格 |
一般 |
中 |
良 |
优 |
|
得分 |
0 |
1 |
2 |
3 |
4 |
5 |
然后将各业务人员的得分汇总，按照一下公式计算该指标的指标值：
其中：n为业务人员总数
评分标准：
服务人员的业务水平属于系统正指标，应使用公式4.1对其进行量化。在调查过程中发现，一般政府的服务人员的业务水平都较高，故可以将该指标值的最大值和最小值分别设为100％和50％，从而得到量表如下：
|
业务水平 |
50％－60％ |
60％－68% |
68%－75％ |
75％－82％ |
82％－90％ |
90％－100％ |
|
指标得分 |
0 |
1 |
2 |
3 |
4 |
5 |
如对本书或ITGov中国IT治理智库系列丛书感兴趣，请登陆www.itgov.org.cn 或联系service#itgov.org.cn（请将#替换为@）
京ICP备06004481号 Copyright 2002 - 2006 ITGov.org.cn, All Rights Reserved