信息化绩效评估方法论

发布时间：2009年08月28日点击数： 作者：孙强 来源：ITGov中国IT治理研究中心

【字体：小 大】 【收藏】 【打印文章】 【查看评论( 0 )】

摘要:
本文对这些内容进行有重点地探讨，最后结合具体信息化项目评估的案例，分析了如何具体运用该评估体系框架去进行实际的评估。

任何一个评估体系都要解决“谁评估？评估什么？如何评估？”的基本问题，本文从这几个基本问题出发，对组织信息化绩效评估体系进行系统分析。
        “谁评估”实际是描述评估主体，即发起评估的人或组织。“评估什么”描述的是评估客体，即围绕什么进行评估，评估对象是什么？“如何评估”是一个较为复杂的问题，首先要在评估目标的指导下，形成一定的评估思路，沿着评估思路构建评估模型。评估模型又包括评估方法、评估基准、评估指标、评估数据，遵循一定的评估步骤，运用评估模型对评估的客体进行评估，最后得出评估结果，形成评估报告。
        上述这些内容就构成了组织信息化评估的整个体系。本文对这些内容进行有重点地探讨，最后结合具体信息化项目评估的案例，分析了如何具体运用该评估体系框架去进行实际的评估。 
                       
        组织信息化绩效评估的体系框架

“谁评估”实际是描述评估主体，即发起评估的人或组织。“评估什么”描述的是评估客体，即围绕什么进行评估，评估对象是什么？“如何评估”是一个较为复杂的问题，首先要在评估目标的指导下，形成一定的评估思路，沿着评估思路构建评估模型。评估模型又包括评估方法、评估基准、评估指标、评估数据，遵循一定的评估步骤，运用评估模型对评估的客体进行评估，最后得出评估结果，形成评估报告。上述这些内容就构成了组织信息化评估的整个体系，如图1所示：
        资料来源：ITGov中国IT治理研究中心. 网址：www.itgov.org.cn

评估主体与客体
        评估主体是指主要接受委托施予评估的组织、个人或工作组。信息化绩效评估的主体可以划分为两类：外部实体和内部实体，但由于评估目的和所处地位与角度不同，其关心的内容和侧重点就有所不同。外部实体主要包括受委托的第三方，内部实体主要是指组织自身或组织自身的某个部门。来自组织内外利益相关方对信息化绩效状况的关注，也奠定了对信息化绩效评估的广泛需求。
        评估工作组负责完成整个评估过程的各项具体工作，并向专家咨询组提供必要的政策、技术等方面咨询意见；专家工作组根据评估工作需要，负责向评估工作组提供有关资讯和参考意见。
        评估工作组应该遵循基本工作规范，独立、客观、公正地开展评估工作，排除各方面特别是被评估组织意愿的影响。但对被评估组织指出的评估工作和评估报告中存在的疏忽、遗漏、疑问应该认真予以解答和补充更正。
        评估客体指的是评估的对象。可以作为信息化评估对象的包括信息系统、组织信息化战略、信息化项目等。由于对评估的目的不同，存在着不同的评估需求，因而人们所评估的对象也会有一定的差异。
       
        评估步骤
        无论是内部评估，还是外部评估，所有的信息化评估都要遵循一定的工作程序，工作程序是指从确定评估对象至完成整个评估工作的过程。一般包括如下步骤：
        （1）确定评估对象，下达评估通知书，组织成立评估工作组和专家咨询组。评估通知书是值评估组织机构（委托人）出具的行政文书，也是组织接受评估的依据。评估通知书应载明评估任务、评估目的、评估依据、评估人员、评估时间和有关要求等事项。
        （2）拟定评估工作方案，搜集基础资料。评估工作方案是评估工作组进行某项评估活动的工作安排，其主要内容包括：评估对象、评估目的、评估依据、评估项目负责人、评估工作人员、工作时间安排，拟用评估方法、选用评估标准、准备评估资料以及有关工作要求等。
        （3）评估工作组实施评估，征求专家意见和反馈组织，撰写评估报告。评估工作组依据组织报送的资料进行基本评估。如果是组织内部进行评估，可以只对部分内容进行评估，受组织委托的职责而定。如果外部评估，则要有委托部门的指令，按照计划行事。
        （4）评估工作组将评估报告报送专家咨询组复核，向评估组织机构（委托人）送达评估报告和选择公布评估结果，建立评估项目档案等。
        评估工作正式开始前，评估工作组可以按照评估基本要求，组织组织有关人员进行自测。组织自测带有自愿和预备性质，自测报告应该有完整的工作底稿备查。
        评估工作组取得的评估结论应该与组织自测结论进行对照，及时对评估结论进行补充和修改，对评议工作组的评估结论和组织自测结论相差较大的，要进行基础资料的核对，找出差异原因，如依据充分应该对评估结论进行必要调整。
       
        评估报告和结果运用
        在信息化评估工作完成后，应该形成一个总的评估报告。评估报告是由评估工作组完成全部评估工作后，对信息化的效益状况和价值贡献等进行对比分析，客观判断形成的综合结论的文本文件。
        评估报告由正文和附录两部分组成。报告正文的主要内容包括组织系统基本情况描述、主要各项绩效指标对比分析、评估结论、评估依据和评估方法等。报告附录包括有关评估工作的基础文件和数据资料。评估报告要维护被评估组织的正当秘密。
        评估报告必须客观、公正、准确描述组织信息化的投入产出状况、后续发展能力等，并做出发展趋势预测。评估工作组在拟定评估报告过程中应该充分听取专家组的意见。对影响经营的客观情况应该在报告中予以充分说明。
        评估报告应该由独立的审计人员进行符合性审核，即：评估工作程序是否完整、评估方法是否正确、选用评估标准是否适当、评估报告是否符合规范等。
        评估结果应该反馈给组织决策部门，作为信息化投资决策、管理改善和绩效监管的参考依据；并作为对IT人员绩效考核的依据，同时也为有关部门提供信息咨询和管理参考。
       
        信息化绩效评估的基本思路
        信息化是一项较为复杂的系统工程。要建立一套科学规范的信息化绩效评估体系，是一个涉及范围广，技术要求高、考虑因素多的复杂系统。一套规范的信息化绩效评估体系一般需要遵循以下思路，如图2所示：
        （1）必须明确信息化绩效评估的目的；
        （2）必须根据组织业务战略对IT进行正确定位；
        （3）评估贯穿于整个生命周期，而不仅是事后评估；
        （4）根据不同的评估需求尽量选用成熟的参考框架；
        （5）要分析影响IT绩效的环境因素，充分考虑组织不同条件的差异；
        （6）选择合适的评估技术方法，并适应IT技术的要求，注重定量与定性评估的有机结合；
        （7）将评估与监管结合，注重动态监控与管理。

 
        资料来源：ITGov中国IT治理研究中心. 网址：www.itgov.org.cn
        有效的信息化绩效评估体系应该能够服务于组织信息化工作，能够帮助组织对信息系统进行合理的战略定位，并在信息系统项目的立项、可行性研究、招投标、系统规划、技术选行，项目验收等阶段给出有力的决策依据，能够综合权衡财务上的实施可能性，应用方面的合理性和有效性，并能够通过持续的评估进行有效的过程控制，从而对信息化投资实施持续的过程管理和评估，保障投资的实际投放和效益反馈。总之，评估应该确保对组织在信息化方面的投资做出有益指导，使得组织能够进行持续的提高和创新，并实现长期效益。
       
        明确评估目标
        评估首先必须要有目的，但评估本身不是目的，评估的最终目标是为了决策。根据评估主体的出发点不同，对信息化进行绩效评估有如下一些基本的目的，但不是说每个评估都包含如下的所有目的：
        l IT目标出发点和组织目标相一致，使IT与组织目标与计划统一起来
        l 回答IT如何支持组织使命，如何支持组织战略、客户、内部需要
        l 在决策层通过评估改善IT绩效
        l 区别IT对当前以及对未来发展的影响
        l 保持各种IT因素之间的平衡
        l 评估所有IT功能的整体绩效，以及各部门IT投资的结果
        l 在不同决策层实施不同的绩效衡量机制
        l 检查系统的目标，功能及各项指标是否达到设计要求。
        l 检查系统的质量和使用效果，找出系统薄弱环节，提出改进意见。
        l 能够为纠正和检查组织信息化存在的问题提供预警机制。
        l 能够为组织资源规划与配置、信息服务、工作流程改进提供引导性支持。
        l 能够提供客户、利益相关者等产品、质量、成本、时间等方面的信息反馈。
        l 通过评估可以在决策者之间建立一个通用的结果导向的语言，组织可以依据评估的指标确定对IT资源进行怎样的评估。
        l 评估指标可以作为重要的IT控制目标，通过实施控制过程来达到期望的结果。通过指标可以使管理部门明确某些控制行为是如何满足信息需求以及影响IT资源的。
        l 通过控制来保证所有参与IT管理、使用、设计、开发、维护的人员能够各施其职，并提供考核的依据。

以定量与定性评估相结合
        以前信息化评估通常以定量指标为主，而且主要采用财务指标定量分析，通常采用投资回收期、投资收益率、净现值等方法衡量信息系统应用的效果。当信息系统投资的目的是改善操作效率时，传统的评估技术还可用。因为这种投资主要用于产生有形收益，并给予直接的项目成本。这种操作层的信息系统部署传统上被用于实现效率上的收益。然而，当管理者意识到IT更广泛的战略收益，这种方法就凸现出其局限性：
        财务数据是历史性的静态数据，反映的是结果，具有静止、单一和被动反应的特点。完全采用财务指标定量评估，是一种短期业绩的计量。如果对组织信息化评估完全建立在这种定量分析的基础上，就会助长组织经营者的急功近利思想和短期投资行为。由于IT绩效的滞后性和无形性，其所带来的组织文化的改善等许多内容是很难量化的，或者量化分析也难以准确。对于考察这些行为来讲，以财务指标为主的传统定量分析方法就显得捉襟见肘。
        而如果完全采用非财务指标进行定性分析，也存在着明显的缺陷：与财务指标相比，定性指标设计时往往缺乏一个完整的理论框架。由于非财务指标涉及到各个不同部门或者环节，指标之间很难避免相互矛盾。
        综上可以看出，如果在评估时仅关注财务指标，则容易造成组织的短期行为，影响组织的长远发展；而过分关注非财务指标，则会由于难以准确描述和操作而导致组织IT行为失控。在IT环境下，将定性与定量分析有机结合是一种最优的选择。
       
        以全过程为评估范围
        多数评估活动的驱动力都是传统的系统开发生命周期，并分为事前评估、事中评估、事后评估等几个阶段。尽管多数组织认为评估的目的是改善系统开发的过程与已开发的系统，但实际上评估的实质已经成为结束项目而不是项目改进，尤其是实施后评估。目前对项目的评估一旦在信息系统启动后就很少能够引起关注，事实上根本就没有执行持续的评估。
        对组织而言，信息系统是一项效益驱动的投资，因此，规划阶段是否适度、开发质量是否能够保证，系统建成后运行效果是否达到预期目标，这些均对业务绩效产生十分关键的影响。因此IT绩效评估应该是涵盖整个生命周期的持续性评估，而不只是判断开始如何投资或者只是实施后的评估。
        评估不是一次性快照，而是多阶段的活动，贯穿项目开发与运行的整个过程。信息系统绩效包括过程（系统的开发与实现）以及成果（有效满足预期使命目标的结果）等方面的成效，包括前期的规划与组织，建设与实施以及交付和运行等环节的实施情况，这样有助于对系统进行改善与控制，从而沿着以绩效为导向的方向前进。即就信息系统而言，绩效评估是一个分析性的过程，通过该过程评估系统如何通过交付IT服务以实现组织赋予它的使命。绩效评估只是在有规划目标和期望结果的环境中才更加重要，因此需要有明确的规划和所期望的结果来实现绩效的改善。
       
        注重动态监控与管理
        信息系统评估是一个复杂过程，评估的环境、内容和过程之间的交互是多方面的；此外，信息系统不确定性导致评估需要考虑环境变更时的动态性。不同学者提出采用权变模型有助于更好理解信息系统在特殊环境下的作用与影响（如，收益、成本、风险、绩效度量等）。
        传统的评估通常都是静态的。在稳定环境下，这种评估主要关注如何有效率地使用资源并达到预先设定的目标，而不是更广泛的组织变更。传统的实施后评估是一次性地考察信息系统部门交付的产品是否适合。
        然而，在实际进程中，信息系统所影响的时间框架是高度不确定的，并且延长到传统生命周期外（如，长期的基础设施的影响）。这意味着如果在操作运行期间不进行定期重新评估，可能的收益就会减少。因此，需要从中长期持续的角度将评估工作作为一个监控机制。这也意味着需要一个更适合的模型评估生命周期以便于采用收益管理方法。
        随着项目开发日益朝原型化、迭代递增交付式过程模型发展，用户所设计的评估以及管理者对风险的评估更加频繁。用户与操作管理者被包含到评估中，评估技术如何支持日常操作，所建议的信息系统在操作层面上是否有效，这样的评估活动更具有参与性并直接关注学习过程，使各阶段的每一步学习过程都被纳入到整个开发过程。
       
        参考成熟的标准体系
        众所周知，评估需要有一套科学的指标体系和理论方法作为基础，并遵守一定的客观规律和程序。否则，评估结果很难令人信服。目前，国际上一些从事IT治理和标准研究工作的一些组织建立了一些相关标准以及最佳实践，这些通常是在实践基础上总结出来的框架体系，用其作为参考性评估体系使得评估更有依据，有助于增强可信性。
        由于关注焦点各不相同，这些可用于信息化评估的参考体系的侧重点各有不同，分别应用于控制、审计、战略实施、质量认证等不同领域，如表1所示。
        表1 可用于信息化评估的体系及其侧重点

资料来源：ITGov中国IT治理研究中心. 网址：www.itgov.org.cn

在选择和运用参考体系框架时，需要认识到下列两点：
        （1）信息化评估的参考体系关注的焦点，在评估的具体运用时通常各有侧重。在选择框架时，需要根据组织的目标进行设定，综合权衡各个评估框架的优势和劣势，然后将不同框架的目标进行整合来实现组织的需要。
        （2）框架并不能代表评估，它只是参考性的指南，通常知时告诉你最好应该从哪些方面进行评估，而没有告诉你如何去评估，因此，还需要根据具体情况设定评估体系。
       
        分析评估环境因素
        信息系统评估过程与内容相互交织，并与引入新系统后而导致的组织变化环境密切相关，评估环境与组织所处的多级系统与结构密切相关。影响信息化绩效评估的因素有很多，包括：
        l 组织环境等是否支持信息化绩效管理
        l 信息化应用对于组织的重要性
        l 信息技术在组织中应用的广泛程度
        l 信息化活动的分散与集中性
        l 资源（技能、工具）的支持程度
        l 组织高层领导是否参与使用信息化绩效的有关信息
        l 组织的健康性
        l KPI指标中是否涵盖IT绩效
        以上因素直接或间接影响信息化绩效评估的复杂程度，绩效评估的实施效果，以及绩效评估的范围和力度。要进行科学规范的信息系统评估，不得不考察这些因素对信息化的影响，从而得出全面正确的结论。研究影响信息化评估的环境因素，可以实现以下目标：
        （1）了解评估主体、评估准则、评估方式、时间框架以及所用的技术与工具等，了解评估的利益相关者的主观影响等，这些因素对评估的效果产生影响。
        （2）针对影响因素，可以尽量改善评估的环境，创建和谐的信息系统运行环境，从而达到改善信息系统绩效的目的。
        （3）对不同组织的信息系统进行评估比较时，需要考虑到各自环境因素的影响度，这样有利于分析结果的真实性。
       
        评估模型
        评估模型是整个评估体系的主体部分，而评估方法、评估基准、评估数据和评估指标则是评估模型最核心的四个要素。
       
        评估方法
        在评估中，不同的评估方法将对评估结果产生不同的影响。目前国内外关于多指标综合评估的方法很多，根据权重确定方法的不同，这些方法大致可分为两类：一类是主观赋权法，如层次分析法、德尔菲法、综合评估法等，多是采用综合咨询评分的定性方法，这类方法因受到人为因素的影响，往往会夸大或降低了某些指标的作用，致使排序的结果不能完全真实地反映事物间的现实关系。另一类是客观赋权法，即根据各指标间的相关关系或各项指标值的变异程度来确定权数，避免了人为因素带来的偏差。如主成分分析法、因子分析法、DEA方法等。其他一些评估方法中权重确定基本上都离不开这两种思路。我们在第6章介绍了几种典型的评估方法及其适用范围，在评估时，可以需要根据评估的目的和特征不同而选取不同的评估方法。
        指标的权重是指该指标在本层指标中所占的相对重要程度。由于评估时权重对评估结果会产生较大的影响，尤其是主观赋权法。在使用Delphi法（专家打分法）、层次分析法等方法确定权重的时候，权重确立的合理性与专家的判断水平直接相关。因此，在进行权重判定时要注意：专家的组成结构要合理，需要包括组织的高、中、低层管理人员、技术人员、也要有组织外的行业专家等，分别能够针对各自熟悉的领域对信息化绩效进行客观准确地判断。此外，指标的权重要针对不同组织的特点进行打分。例如，对公安部门而言，所需技术要求高，因此学习与成长性指标所占权重较大。
       
        评估基准
        组织信息化绩效评估基准是准确衡量绩效的尺度，基准的正确选择对组织信息化绩效评估结果具有较大影响，评估基准的制订既是组织信息化绩效评估体系建立的主要环节，也是组织信息化绩效评估具体工作所面临的一个重要工作步骤。
        基准是正在进行的系统化的方法论，用于识别、度量、比较自身在某一时期内的工作过程或职能，或与一个或其他多个组织进行比较，以实现其内部的改善[1]。基准是绩效评估的参考点。通过与参考点的对照可以认清组织自身在行业中所处的位置，从而识别前进的方向与目标。根据基准的参考点划分为内部基准和外部基准。
        内部基准是指以某一时间段的绩效情况作为参考点，反映出组织内部的绩效随时间变化的情况。内部基准的存在前提是必须以历史数据的存在为依据，在进行过数据评估之后，组织可以选取自己的内部数据作为基准，进行纵向比较与衡量。包括计划基准、经验基准和历史基准等。
        外部基准是指与组织外部的组织的运营绩效情况进行比较的参照物。一种是与同行业的整体最佳实践者进行比较，以找出差距。另一种是只瞄准特殊的竞争者，与从规模、文化等方面与本组织比较接近的组织进行比较。目的是确定，与同类组织比较，组织目前所处的行业地位，了解当前该领域的最佳实践情况，如何对照最佳实践过程修正自己。
        要进行组织信息化绩效评估，除要建立科学、合理、规范的指标体系外，必须要对组织信息化绩效评估的基准进行总体规划设计，研究指标与基准的对应关系，研究不同评估对象的基准选择，通过各种渠道广泛收集整理各种分类基准数据，在条件成熟时要研究建立绩效评估基准数据库。
        基准并非是固定的和一成不变的，会随着经济的发展和客观环境的变化不断变化，因此，如何建立和维护更新基准库也是一项非常重要的工作。一方面可以在实践过程中根据实际情况对基准库进行补充和修正；另一方面可以随着相关标准的推出，不断纳入新的基准指标，使基准库随着应用的累积而逐渐成熟。
       
        评估指标
        评估指标是评估模型的骨架。科学建立评估指标体系是决定评估工作成功与否的关键。如果评估指标选择不当，或者缺少关键指标，则会影响评估结论的精度，甚至给组织以错误的导向信号。在建立信息化评估指标体系时，一般要遵循以下原则：
       
        1．整体性原则
        评估指标的设定应该是评估对象的各个方面，并且合理构造层次数量和指标数量。这样，才能科学地反映评估的对象，才能正确地表达评估的目的。如何划分层次和指标没有一个绝对的客观标准，要根据实际情况而定。选择评估指标，既要考虑正面收益，也要考虑负面风险，只有全方位的指标才能保证评估内容的完整性。
       
        2．重点性原则
        在选择评估指标时，不可能事无巨细，面面俱到。如果将反映信息化绩效的多项指标一并罗列，既无法突出综合指标的高度概括功能和在评估中的主导作用，也夸大了一些具体指标对评估工作的影响程度，造成评估判断逻辑不清，主次不明，难以实现全面准确反映信息化绩效的基本目标。要尽可能筛选与目标关联最紧密的重要指标，指标设置数量要尽可能精简和概括，对于次要指标可以进行适当粗略化。
       
        3．层次性原则
        对于反映组织信息化绩效的多重指标应该进行分析归类，一方面将主要的、概括性强的指标作为评估的主导指标，放在评估的第一层次，形成绩效评估的内在核心，将概括性稍差、从属性的指标放在第二层次，以此类推。这样有助于明确指标之间的内在联系，以利于简化评估过程。
       
        4．准确性原则
        在选择评估指标时，必须对评估指标所反映的内容进行明确，确保指标的含义清楚，如果评估指标模棱两可，就会影响评估结果，甚至使评估无法进行。
       
        5．可比性原则
        评估指标的建立要能够保证不同组织之间具有较好的可比性。指标体系内部及外部的同类指标之间要能够比较，同一指标要具有历史可比性。
       
        6．可度量原则
        在选择关键绩效指标时，需要遵循可度量的原则。可度量是指绩效指标针对对组织目标起到增值作用的系统输出而设定，指标本身或者是定量的，或者是行为化的，验证这些指标的数据与信息可以获得，容易度量与界定。此外，数据资料应收集方便，计算简单。
       
        7．动态性原则
        在信息化建设的不同阶段，要根据工作重点对指标进行调整和改变。
       
        8．独立性原则
        同一层次的评估指标之间应该尽可能独立，指标的关联性应该尽可能小。
       
        评估数据
        评估数据是评估结果产生的源泉，有了评估数据才使得评估变得有意义。数据分为定量数据和定性数据两种，在应用评估模型时通常要对数据进行一定的处理。
       
        1．定性指标的处理
        定性数据的处理通常采用的方法是调查问卷法。因此，对指标体系中的定性数据需要设计调查问卷。为避免主观判断引起的失误，增加定性指标的准确性，可以采用隶属度赋值方法，将定性指标分成几个档次，分别对应1-10分。对于每一档次的评分，制定评分依据。评分依据是进行客观评估的约束条件，能够在一定程度上克服单纯主观评估的缺陷，使得评估人员在评分时具有一定的参考标准。
       
        2．定量指标的处理
        定量指标的数据值按照指标的释义和组织的具体情况进行收集，数据的收集需要不同部门配合，由于各项定量指标的内容、量纲各不相同，直接综合在一起十分困难。因此，需要将这些指标进行无量纲处理，将定量指标原值转化为评估值。