案例研究—某企业信息化全过程绩效评价
节选自《信息化绩效评价:框架、实施与案例分析》
1 项目背景
W公司是一家以进出口贸易为主的企业,业务范围涉及十几个服务贸易领域。由于网络经济、电子商务的飞速发展,开始改变了企业与客户的合作方式,现在已经转向了以客户为中心的商业模式,客户的期望需求在快速变化,客户要求更多的接触商品和服务。客户的亲和力和忠诚度是成为经济时代取得成功的重要因素。以互联网经济为特点的一些网络公司已经开始渗透到传统的贸易服务行业,并取得了一定的市场份额,不少公司盈利能力已经超过很多传统的贸易服务公司。
作为以服务为主的企业,W公司需要及时的了解客户的需求变化,提供更多、更全面、更个性化、更便捷的增值服务,因此,公司决定转换原有的经营模式,创建基于互联网的电子商务平台,成功地切入到互联网新经济模式中,在巩固原有业务的同时,开拓企业新的业务及新的业务增长点。
经过严格的比较、精心选择后,W与F公司建立了合作伙伴关系,由F公司承接开发电子商务平台的信息化项目,并提供长期的技术服务。信息化系统实施过程中,双方从企业的应用和发展角度出发,遵循“统筹规划,分步实施”的原则,注重系统建设的实效,并着眼于未来的发展。
经过协商,双方对该电子商务平台进行了如下的定位:W的电子商务平台应该定位在业务和服务上,考虑完善内部现有的信息系统,包括建立CRM,决策支持系统等,使内部信息系统成为一个以CRM为核心的综合管理信息系统。在技术上使内部信息系统从以往的客户/服务器为主体的传统MIS技术体系,向以浏览器/服务器为主体的Intranet的新型MIS过渡,从而使内部信息系统和外部网站真正能够达到一体化的技术体系,使信息的交流平台完全自由沟通,同时在网站的建设过程中,更要强调网站商务模式的建立,建立新的网上增值服务,实现更多的利润增长点。在设计上坚持从系统的集成观点出发,充分考虑企业数据的一致性、准确性和实时性,要求整个软件系统中的各模块必须具有良好的开放性、适用性、先进性和可持续性。
F公司凭借开发和实施管理信息系统的经验,结合信息技术的发展趋势和企业管理的实际需求而提出项目总体解决方案。在软件技术上,采用了先进的Java和EJB技术,从而更好地支持了电子商务运作平台。同时,支持了最广泛的网络硬件平台,可以顺利运行于WindowsNT、Unix和OS/400等各种操作系统之上,并可以直接支持非PC类的用户前端;在系统功能方面,从根本上面向电子商务和工作流的工作模式而设计,并充分考虑了个性化用户界面、动态业务流程重组、与其它应用系统集成等高级需求,从而保证了企业用户能从容面对新世纪电子商务时代的挑战。
为了确保信息化项目的效益,防止“烂尾工程”的出现,公司决定成立专门的项目评价小组,跟踪信息化各阶段的绩效情况,进行全过程的评价,从而有计划有节奏地推进信息化的项目,并确保了实施质量。
2 评价指标体系
根据该项目的特点,将该项目划分为三个过程,分别是规划与组织过程、建设与实施过程、运行与支持过程,根据前面信息化项目管理的评价内容,提炼出评价指标。首先在确立目标的基础上,围绕目标分析关键性的因素,其主要思想是抓住主要矛盾,即在各过程域找出关键性的指标。在这些指标的运行结果令人满意和有效的情况下,才能够使信息系统的预期绩效得以实现。此外,这些指标必须得到企业高层人员的关注,并需要IT人员向管理者重点汇报。评价指标在信息系统的目标与完成这些目标所需的信息之间起着一种引导和中间桥梁作用。通过对评价的识别,可以找出信息化项目成功所需的关键性因素,从而确立重点度量区域。
2.1 规划与组织过程的指标体系
根据第5章对信息化项目中规划与组织过程的评价内容分析,归纳该过程的指标体系如图7-3所示:
下面按照从一级指标到二级指标的顺序依次对各规划与组织过程所设立的各指标的含义进行解释说明:
PO1. IT战略规划能力
IT战略规划是IT项目开始的首要活动,是实现企业和IT目标的途径,也是进行后续项目的前提条件,因此作为评价的首要基本指标。如果IT规划能力不足通常体现在没有将IT项目与企业目标关联起来,仅将IT战略作为现存活动和计划的迭加,没有形成业务驱动的协调一致的计划。随着客户、竞争者、供应商对系统和技术的参与,IT战略规划能力日益成为许多高层管理者所关注的领域。
PO2 IT投资管理能力
由于每个IT项目都是在有限的资源条件下进行,能否根据战略需求选择正确有效的投资方案,并将成本控制在预期的范围内,也是在规划与组织阶段需要考虑的重要内容。IT投资管理既要能够根据项目潜在的价值、可能会出现的问题以及项目对企业资源的需求等因素选择有效的投资方案,又要能够对目标方案的投资进行有效的控制与管理。
PO3 IT风险管理能力
任何项目都会包含一定程度的风险,尤其是IT项目更具有高风险和高收益的特点,因此需要对风险进行充分评估,以减少不确定性。IT项目风险通常采用定性描述的方法,用高风险表示一个很可能难以获得预期效益的系统。
PO4 IT项目建设能力
IT项目的成功关键取决于项目建设能力,即项目团队能否根据项目的实际特点,将已有的知识和经验固化到IT项目成果中,从而实现项目的目标与价值。了解自身的建设能力可以帮助企业确定是不是有能力实施项目,同时可以针对项目建设能力的薄弱环节有针对性地加强和培养,提高项目的成功率。
PO5 IT潜在应用能力
IT潜在应用能力也是在规划环节需要考虑的重要因素,通过了解潜在应用能力,可以分析出IT在企业中所处的战略地位,从而更加清楚地了解IT战略需求,并确定企业通过战术层还是战略层的途径实现IT价值,以便赋予它足够的独立性与授权范围。对IT潜在应用能力的分析可以通过以下两方面来确定,一是明确企业目前IT应用的成熟度,然后再从企业战略的角度分析企业对IS的新的需求。Norlan的六阶段模型:初始化、扩散、控制、集成、数据管理和成熟期是分析成熟度的重要工具,可以判断企业目前信息化应用的阶段以及未来的发展方向;对IS需求的分析主要采用战略格理论,其中最著名的是McFarlan提出的战略网格模型,从当前的IS应用对企业生存的重要性和未来的IS应用对企业发展与生存的重要性两个维度归纳出企业对IS的需求包括支持性、关键运营型、高潜力型和战略型四种类型。借助成熟的工具可以使得战略需求分析更加精确和清晰。
IT战略规划能力的二级指标
PO1.1 IT战略驱动能力
指标说明:主要评价系统由企业战略驱动的程度,驱动能力越强,对于绩效越有利。可以从企业战略对IS的包含度、IS在战略业务规划中的角色、共享的风险和收益、IT-业务关系的管理等方面进行测度。
PO1.2 IT与业务集成能力
指标说明:主要评价IT规划的信息集成能力以及与业务的交互性,集成能力越强,越有利于绩效的实现。可以从总体规划与IS规划交互性、IS规划参与者的信息共享性、IS规划者与其他部门的通信、规划问题的参与者智慧的集成性等方面进行评价。
IT投资管理能力的二级指标
PO2.1 投资有效性
指标说明:该指标主要从财务的角度对信息系统投资的可行性进行评价。可以投资效益系数、成本效益率、净现值、内部收益率等作为评价指标进行评价。
PO2.2 投资控制能力
指标说明:该指标主要评价在对信息系统投资方面可能的控制程度。可以从对IS投资选择和预算的重要性意识、投资预算合理性、对IS投资和花费进行追踪和控制等方面进行评价。
IT风险管理能力的二级指标
PO3.1 风险预测能力
指标说明:该指标主要反映能够全面评估项目相关的风险源与风险程度。风险越大,失败的可能性越高,从而从负面影响绩效。风险预测能力越强,越有助于采取措施及早规避风险。
PO3.2 风险控制能力
指标说明:该指标主要反映能够经过通过控制来管理的项目风险的能力。可以通过计算残余风险以及项目能够承受的风险限度来进行评价。
在计算风险度之前,首先要识别风险源。与企业信息化相关的风险主要可以归纳为战略与财务风险、系统风险、用户方风险、开发方风险等几类,如表7-4所示:
表7-4 企业信息化相关风险
风险类别 |
风险源 |
战略与财务风险 |
l 系统相关的财务损失 l 系统失败对企业影响程度 l 领导重视程度 |
系统风险 |
l 开发周期 l 系统范围 l 系统复杂性 l 资源要求 |
用户方风险 |
l 部门分工协作能力 l 业务和知识水平 l 计算机信息处理能力 l 企业管理基础水平 l 组织机构稳定性 l 企业可利用资源 l 软硬件系统 |
开发方风险 |
l 开发方规模、经验 l 开发方法论 l 开发过程控制 l 开发平台成熟度和通用性 l 协调与组织能力 l 技术水平 |
资料来源:ITGov中国IT治理研究中心. 网址:www.itgov.org.cn
以上从战略与财务、客户、开发方、系统本身等几个角度概括了系统可能涉及的风险源,在实际确立指标时,可以根据实际情况添加或减少风险源。
IT项目建设能力的二级指标
PO4.1 高层经理支持度
指标说明:主要反映企业高层管理者对信息系统的重视程度,因为高层掌握决策权。支持度越高,项目实施成功的可能性越高。
PO4.2 项目团队能力成熟度
指标说明:该指标主要反映项目领导者对项目的统筹规划和协调组织能力,能力越强,越有助于高质量完成项目。可以从项目团队承担项目的经验、合同谈判能力、分包能力、履行职责能力等方面进行评价。
IT潜在应用能力的二级指标
PO5.1 IS战略价值
指标说明:该指标主要反映信息系统未来在企业中所处的战略地位。战略价值越高,越容易给企业带来绩效。可以从IS职能定位、IS规模、风险特点、IT预算比重等方面进行评价。
PO5.2 IT应用成熟度
指标说明:该指标主要反映IT在组织中应用的程度,可以根据诺兰模型判定,也可以根据IT应用的规范性、实施决策、基准与规范的使用、是否有正式评审检查、系统的监控等方面进行评价。
PO5.3 IT革新能力
指标说明:该指标主要评价IT发展方向的先进性以及IT对外界变化的反应能力,先进的技术有利于实现与业务战略整合,可以从系统体系结构、技术标准性、集成能力等方面进行评价。
2.2 建设与实施过程的指标体系
根据第5章对信息化项目中建设与实施过程的评价内容分析,归纳该过程的指标体系如图7-4 所示:
在建设与实施过程,主要是保证能够在合理的进度和预算范围内,获取项目资源,并交付用户所需求的功能,完成项目预期的目标。下面按照从一级指标到二级指标的顺序依次对各建设与实施过程所设立的各指标的含义进行解释说明:
AI1 系统开发能力
IT项目通常以系统开发作为核心,开发新的应用系统是一项成本高而且耗时的工作,为更有效开发应用系统,需要良好控制的环境,这里包括总体战略、标准、策略、流程以及适合的系统开发方法、开发过程,如分析、设计、测试、系统转换等过程。此外,还有项目管理、软件开发过程改进等,也需要进行控制,以保证项目与应用系统的成功。
AI2 IT项目组工作能力
项目的执行主要依靠项目团队,因此项目组的工作能力也决不能忽视。项目组的协调和合作能力以及创新能力对IT项目的顺利推进起到关键作用。在新的项目进行过程中,或者在运用新的技术时,需要对IT人员进行培训,从而使项目组维持较强的工作能力,有助于正确分析和认识用户的期望和企业战略对系统的需求,并结合组织内部管理、运作的特点及外部环境的影响,实现功能和性能要求。
AI3 IT基础设施能力
在获取和实现阶段通常涉及到软硬件资源的获取,获取的系统基础设施的性能与质量直接影响到运行应用的效率与效果,从而间接影响到系统的质量。由于在该阶段需要根据需要选择软硬件设施,而有的系统开发过程中软硬件基础设施的投资上百万,因此IT基础设施对于系统的质量影响甚大。对于投资上百万的系统,企业往往会邀请若干系统集成商来报价,这也涉及到决策过程。因此,需要对IT基础设施的能力进行评价,在成本效益分析的基础上综合权衡硬件的兼容性、可扩展性、可靠性,以及软件的体系结构、可移植性等。
AI4 项目管理能力
项目进行过程中最重要的就是能够按照项目计划中有关成本、进度、质量的要求进行有效地追踪和管理。进度、成本、质量的关系密不可分,如果在资源高消耗期间出现问题就要付出高昂代价,如果在关键路径中的许多活动都产生差异,或者由于消耗率高而使差异不能被修正,则会导致成本的急剧升高。但如果片面追赶进度,就只能以牺牲质量为代价,因而要在成本、质量、进度三者之间作综合平衡,在实施过程中根据实际情况的变更动态进行调整,进行变更管理。此外,由于信息系统是人机系统,而软件的开发也是脑力劳动的结晶,人的脑力劳动始终贯穿系统开发过程的始终。因此,需要对人员的职责权限进行合理的控制,并采取有效的控制措施充分发挥人的能动性,并保证人员能够在所授予的职权范围内履行职务,不超越自身的权限。
AI5 外包管理能力
尽管组织在开发时往往采用外包战略,以实现信息系统持久有益的改善,但是外包通常收益和风险并存,如果缺少良好的管理机制,则会导致系统的失败,因此,需要对外包的优势与风险进行分析,并引入合适的机制控制外包风险。根据哈佛商学院阿普概特等人的研究,可以通过下述因素来判断IS是否适合外包:
(1) 企业对IS的依赖性越强,越有必要与外部合作,企业在信息系统方面的预算规模越大,越有必要外包;
(2) 系统开发中项目需要维护部分比例越高,项目越结构化,越需要外包。结构化是指那些最终输出结果已经严格限定,几乎不用改动的程序,在实施过程中也没有大结构上的调整;
(3) 企业内部学习能力越强,项目管理经验越丰富,越能够管理好外包;
(4) 远落后于信息系统发展的企业,需要采用外包摆脱困境;
(5) 信息系统开发与运作在组织和会计两方面彻底实现独立,则容易与外包商签订持久的利用外包的协议。独立的IT部门已经是一个集成的、有组织的、具有控制机制的机构。
系统开发能力的二级指标
AI1.1 系统开发规范性
指标说明:该指标主要反映系统开发过程中的规范化程度,越规范,则越有助于控制系统的质量。可以从编码的标准化程度、代码设计的可扩展性、模块设计的统一性、开发方法论的规范度等方面进行评价。
AI1.2 系统开发和设计能力
指标说明:该指标主要反映出项目组对系统开发和设计方面的能力。可以从安全性设计、功能设计、模块设计等方面进行评价,先进的设计思想与流程对系统性能有积极的影响;安全性设计主要反映系统安全方面的考虑,有助于系统运行后的管理和控制;模块设计主要评价系统的详细设计情况,模块设计的质量影响到后续的编码与实现,评价内容可以参照表7-5所示:
表7-5 系统开发与设计能力指标
指标 |
|
设计思想 |
l 设计流程跨平台性 l 系统灵活性 l 层次性与模块化程度 l 兼容性设计 |
安全性设计 |
l 是否存在系统访问控制机制 l 是否对个人进行认证与授权 l 是否通过密码等进行个人认证 l 是否进行职责分工 l 是否存在数据库访问限制 |
模块设计 |
l 每个文件是否都有数据结构图 l 非数据结构项是否有过程表 l 所有的输出能否从输入或特定过程得到 l 是否详细地说明了编码员(程序员)的工作 l 是否已确定了公共模块 l 有无程序运行图和程序的简要说明 l 是否提供了有关限制条款的清单 l 程序设计是否满足了程序说明书的要求 l 设计结果是否容易理解并符合标准 l 程序结构图是否包含了所有有关的内容 |
资料来源:ITGov中国IT治理研究中心. 网址:www.itgov.org.cn
AI1.3 编码与测试能力
指标说明:该指标主要评价编码的规范性以及,系统测试的执行情况和测试效果,以及系统在从测试环境向实际运行环境转换过程的计划以及执行情况。可以从下列方面进行评价,如表7-6所示:
表7-6 编码与测试能力主要评价指标
指标 |
|
编码 |
l 源程序是否容易阅读 l 是否有足够恰当的注释 l 是否有过大过小的程序段 l 逻辑结构的处理是否合适 l 是否遵守阅读规则 l 供测试用的代码是否被注明 l 是否遵守了标准与惯例 l 可否进行程序测试 |
测试 |
l 是否选择了最合适的测试策略 l 模块测试检查清单是否齐全 l 用户是否参与测试 l 是否进行了变更测试 l 是否进行了压力测试 l 测试数据能否测试所有已确定项目 l 测试数据是否产生了预期结果 l 关键职能是否充分测试 l 是否对未预期结果进行分析 l 是否进行了回归测试 |
系统转换 |
l 用户人员的职责是否清楚 l 是否存在书面的系统实施计划 l 是否存在对帐机制对新旧系统结果进行校验 l 是否根据实际制定了合理的转换方式 l 用户部门与管理者是否批准了转换计划 l 转换测试结果与预期结果是否一致 l 是否对转换过程中问题予以及时解决 |
资料来源:ITGov中国IT治理研究中心. 网址:www.itgov.org.cn
IT项目组工作能力的二级指标
AI2.1 项目经理能力
指标说明:该指标主要反映系统能否在预算成本内完成开发任务。为了对指标进行统一处理,这里成本超支度(采用分值进行度量)与成本超支比例呈反向,即成本超支比例越高,成本超支度越低。
AI2.2 项目组协调合作能力
指标说明:该指标主要反映项目组能否协调完成战略计划,合作能够提高系统对企业的战略价值。
AI2.3 项目组学习创新能力
指标说明:该指标主要反映在项目进行中IT人员的学习适应能力以及学习和运用新技术的能力。主要考虑是否有IT人员定期的学习与培训,并针对项目的专门培训等方面。
IT基础设施能力的二级指标
指标说明:信息系统基础设施对于系统的质量影响较大。评价主要包括四个方面:
AI3.1 主机系统性能
指标说明:该指标主要反映主机系统的优劣,主机系统质量直接决定了运行的效率。
AI3.2 网络性能
指标说明:该指标主要反映网络结构与网络性能的优劣,网络容量和网络性能影响系统的通信。
AI3.3 系统软件性能
指标说明:该指标主要反映系统软件的性能,系统支持软件的性能对系统二次开发能力有影响。
AI3.4 专用设备性能
指标说明:该指标主要反映与某些行业有关的专用设备的性能,如ATM机等性能,其选型与运行的适当与否对IT整体应用的效率有较大影响。
上述指标的评价具体内容可以参照表7-7 所示:
表7-7 专用设备性能评价指标
评价项 |
评价内容 |
①主机系统性能 |
l 事务处理效率 l 可扩展性 l 性价比 l 可靠性 l 配置合理性 |
②网络与网络结构 |
l 网络拓扑结构合理性 l 网络的可扩充性 l 网络管理功能 l 网络与通信设计的合理性 l 网络的容量 |
③系统支持软件 |
l 操作系统先进性 l 数据库管理系统选型合理性 l 系统开发工具先进性 l 管理软件的二次开发能力 l 软件的可靠性 |
④专用设备选型 |
l 专用设备性价比 l 专用设备可靠性 l 选型合理性 |
AI4.1 质量管理能力
指标说明:该指标主要反映在开发过程中对质量的控制情况,控制能力越强,越能够加强质量。可以从以下方面进行评价:
l 是否制订质量计划;
l 是否存在质量保证责任组;
l 是否存在质量控制策略;
l 程序和系统的监测;
l 是否符合行业标准;
l 是否符合法律、规章、合同;
l 是否定期检查合法合规性
l 是否保护了隐私权和知识产权。
AI4.2 成本管理能力
指标说明:该指标主要反映在项目进行过程中的成本控制能力。
AI4.3 进度管理能力
指标说明:该指标主要反映系统的进度计划制定是否符合实际情况,进度能否按时完成。可以从下列方面进行评价:
l 总的开发周期是否符合实际
l 工作量安排是否可行
l 开发人员是否有开发经验
l 开发能力与资源是否留有余地
l 是否存在应急准备和调整计划
l 工作量分布是否符合系统开发规律
l 是否及时分析进度延误原因
l 调整方案是否能够保证关键节点与后续工作的顺利延续
l 进度调整是否在总进度允许变化范围内
l 进度调整所产生的系统变更能否被用户认可
l 能否在预算成本内完成进度
AI4.4 变更管理能力
指标说明:该指标主要反映在项目进行过程中对出现的变更的应变能力。
AI4.5 人员管理能力
指标说明:该指标主要反映在开发项目过程中人员的职责权限分配以及执行情况,可以从职责分工的明确晰性和是否在授权范围内工作等角度进行评价。
外包管理能力的二级指标
AI5.1 外包适宜度
指标说明:该指标主要评价根据企业现状是否需要外包。适宜度较高情况下进行的外包更容易获得好的收益。可以从组织对IS的依赖性、系统需要维护的比例、企业内部学习能力、落后于IS发展的程度、IS开发与运行的独立性等方面进行评价。
AI5.2 外包商的能力
指标说明:对于外包项目,选择合适的外包商至关重要,因此需要对外包商承接项目的能力进行判断。可以从下列方面进行评价:
l 开发人员的素质与能力
l 承担相关项目的经验
l 承担单位的实力与置信度
l 对用户培训支持的程度
l 对原有设备与资源的继承
l 项目实施计划的合理性
l 承接单位与用户的配合程度
l 项目管理的能力与水平
l 应用系统功能划分与结构合理性
AI5.3 外包的可靠度
指标说明:该指标主要对外包的可靠性进行评价,可靠度高意味着风险的降低,此处用分值作为度量单位。可以从下列方面进行考虑:
l 成本是否容易超出预算
l 内部IS专业能力流失程度
l 失去对外包商的控制的可能性
l 存在损失战略信息的可能性
l 外包商的文化与人员适应性
2.3 运行与支持过程的指标体系
运行与支持阶段,信息化项目将按预期交付价值,通过管理控制和应用控制保证系统的有效运行,并产生直接和间接经济效益以及应用价值。该阶段不只要关注系统本身的质量,更关注系统的应用效果。不但要关注财务方面的绩效,更要关注非财务的绩效。IT应用还将对组织产生深远影响,影响到组织模式的转变。根据第5章对信息化项目中规划与组织过程的评价内容分析,归纳该过程的指标体系如图7-5所示:
下面按照从一级指标到二级指标的顺序依次对各建设与实施过程所设立的各指标的含义进行解释说明:
OS1 应用控制能力
应用控制是为适应各种数据处理的特殊控制要求,保证数据处理完整、准确地完成而建立的内部控制[36]。应用控制涉及到各种类型的业务,每种业务及其数据有其特殊流程的要求,这就决定了具体的应用控制需要结合具体的业务。但另一方面,由于数据处理过程一般都是由输入、处理、输出三个阶段组成,从这一共性出发,可将应用控制划分为输入控制、处理控制和输出控制。
OS2 管理控制能力
管理控制是指对整个信息系统以及环境要素实施的,对系统的应用具有普遍影响的控制措施。由于系统的应用离不开人,因此有必要进行明确的分工和有效的牵制,以便从人员、组织结构、工作制度等方面防止或减小错误和舞弊的发生。管理控制主要包括组织控制、安全控制、接触控制、操作控制等,它是否有效对于系统应用效果有直接影响。
企业要建立有效的控制,首先要有恰当的组织结构与组织机能。组织控制[36]的最基本原则是保证任何一项业务的处理,不能从头到尾只由一个部门或一个人员完成,而必须经过两个或两个以上的部门来办理,以达到相互牵制、相互制约的目的,防止或者减少舞弊的发生。组织控制的方式和措施主要包括权责的划分和职能的划分。权责的划分是指在分工协作的基础上明确各部门的权限与责任;所谓职能的分离是指对不相容的职务进行分离:一方面要保证系统与组织的其他部门的职能分离,另一方面要保证系统内部职能分离。
安全控制主要包括接触控制、环境安全控制、安全保密控制、病毒防治与保险等。这些控制措施能够保证系统有一个良好的运行环境。
接触控制是指只有经过授权批准的人才能够接触信息系统的硬件、软件、数据文件以及系统文档资料的控制,接触控制能够保证信息系统各项资源的正确使用。接触控制措施主要包括:硬件接触控制、环境安全控制、安全保密控制、防病毒控制等。
操作控制是指对信息系统的使用操作形成一套完整的管理制度,包括操作规程、日志记录、保密制度等。
OS3 系统与信息质量
系统质量是度量系统本身性能的要素。系统质量主要通过软件表现出来,为了评价软件质量,必须建立一套详细可行的软件质量评价体系,把软件质量的度量定量化。国家标准从用户观点出发,考虑软件的六个特性:功能性、可靠性、易用性、效率、可维护性和可移植性。这六个质量特性以最小的重叠描述了软件的质量,本文在评价过程借鉴了部分指标。信息质量通常是指采用信息系统进行输入搜集而形成的信息源的质量,信息的完整性和可靠性直接决定着输入与输出的信息是否有价值。
OS4 经济效益
直接经济效益是系统绩效中最直观的部分,直接以资金的形式展现出来,例如销售收入的增长、利润的增长、库存资金的降低等,这些传统的财务指标能够清楚显示系统应用之后的直接经济效益。间接经济效益主要是指信息系统通过对某些要素的作用,而这些要素又直接影响财务指标。例如,信息系统可以促使市场占有率的增长,而市场占有率的增长则直接影响销售收入。
OS5 应用效果
信息系统对企业的影响不只体现在直接和间接的经济效益上,更重要的是改善组织的决策、提高组织的管理效率、改善业务流程、影响产品和服务等,这些收益在短期内有可能无法转换为经济效益,但从长远发展来看,都对经济效益的提升有促进作用。
OS6 IT持续发展能力
在运行阶段,需要了解IT的可持续发展能力,这对于进一步改善IT规划,实施新的信息化项目意义重大。IT持续发展能力体现在系统对操作人员的学习能力以及行为方式产生影响,这些能力能够形成对企业未来的绩效驱动力。
应用控制能力的二级指标
OS1.1 输入控制能力
指标说明:该指标主要反映出信息系统在应用后对系统数据输入方面的控制程度。可以考虑从下列方面进行评价:
l 是否有控制措施保证只有授权业务才能执行输入
l 是否有控制措施保证所有授权业务能及时输入
l 输入过程的责任分工、错误改正程序说明
l 是否有控制措施保证数据准备过程及时
l 输入过程是否按照规定保留必要的审计线索
l 是否有校验机制保证错误数据及时改正并重新输入
OS1.2 处理控制能力
指标说明:该指标主要反映出信息系统在应用后对系统数据处理方面的控制程度。评价要考虑是否有控制机制保证数据处理正确性与完整性,是否有必要的审计线索以备检查之用。
OS1.3 输出控制能力
指标说明:该指标主要反映出信息系统在应用后对系统数据输出方面的控制程度。评价要考虑下列方面:
l 是否有对输入与输出总数的核对机制
l 输出文件的正确性与完整性控制
l 输出文件的保管
l 是否有控制机制保证输出结果只传入授权者手中
管理控制能力的二级指标
OS2.1 组织控制能力
指标说明:该指标主要反映出信息系统在应用后组织对系统采取的控制程度。主要从下列方面进行评价:
l 数据处理部门与用户使用部门的分工
l 数据处理部门之外的检查和控制
l 数据处理部门内部职责分工
l 系统硬件是否出现影响业务处理和数据存取的情况
l 系统软件的变更是否有必要的授权与控制措施
OS2.2 接触控制能力
指标说明:该指标主要反映出信息系统在应用后在接触系统数据和文档方面的控制程度。可以从下列方面考虑评价:
l 文档资料的接触是否仅限于经过授权的人员
l 对数据、文件的接触和使用是否有足够的控制措施
l 对计算机硬件设备的接触是否有足够的控制措施
l 是否有足够的措施限制通过终端接触或操作数据、程序、文件
l 每个操作员是否制定了口令或密码
l 对于新来的操作员是否进行了必要的指导和培训
l 对数据、文件的接触和使用是否进行足够的监督
OS2.3 操作控制能力
指标说明:该指标主要反映出信息系统在应用后对系统操作方面的控制程度。可以考虑从下列方面进行评价:
l 数据处理部门是否设有数据控制员或控制小组
l 是否设有操作日志记录每次的操作情况
l 控制员或控制小组责任是否清晰
l 操作是否按照操作规程进行以保证数据处理的准确性与完整性
l 是否有内部审计或其他监督部门经常性检查系统操作情况
OS2.4 安全控制能力
指标说明:该指标主要反映出信息系统在应用后对系统的安全方面的控制程度。可以考虑从下列方面进行评价:
l 是否采取了必要的防卫措施以防范环境风险
l 是否有灾难恢复计划
l 是否有业务持续性计划
l 系统的文档、程序、数据等是否及时备份
l 备份文档、数据、程序、文件是否有异地备份
系统与信息质量的二级指标
OS3.1 信息质量
指标说明:该指标主要反映采用信息系统采集的信息本身的质量,即信息源的质量。主要从信息的准确性、及时性、全面性、针对性等角度进行评价。
OS3.2 系统质量
指标说明:该指标主要反映IT系统的质量。可以从功能性、可靠性、可用性、效率、可维护性、可移植性等方面进行度量[1]。
(1)功能性:该指标主要反映出信息系统在应用后满足客户功能要求的能力,包括依从性、准确性、安全性。其中,准确性是指能否得到正确或相符结果或效果的能力;依从性是指遵循有关标准、约定、法规以及类似规定的程度;安全性是指防止对程序以及数据的非授权的故意或意外访问的能力。
(2)可靠性:该指标主要反映出信息系统在应用后是否能够一直在稳定的状态下满足可用性,包括成熟性、容错性、可恢复性。其中,成熟性是指由软件故障引起失效的频度;容错性是指在软件故障或违反指定接口的情况下,维护规定的性能水平的能力;可恢复性是指在失效发生后,重建某性能水平并恢复直接受影响数据的能力,以及为达到此目的所需的时间和努力。
(3)可用性:该指标主要反映出信息系统在应用后用户使用系统需要付出的努力程度。包括易理解性、易学性、易操作性。其中,易理解性是指用户为认识逻辑概念及其应用范围所花费的努力;易学性是指用户为学习软件应用(例如运行控制、输入输出)所花的努力;易操作性是指用户为操作和运行控制所花的努力。
(4)效率:该指标主要反映出信息系统在应用后正常运行需要耗费多少物理资源。包括时间特性和资源特性。其中,时间特性是指软件执行其功能时的响应时间和处理时间;资源特性是指软件执行其功能时所使用的资源数。
(5)可维护性:该指标主要反映出信息系统在应用后如果进行调整所需要付出的努力程度。包括易改变性、易分析性、可检验性。其中,易改变性是指进行修改、排错或者适应环境变化所需的努力;可检验性是指与确认已经修改软件所需的努力;易分析性是指为诊断缺陷或失效原因,从而判定待修改部分所需的努力。
(6)可移植性:该指标主要反映出信息系统在应用后是否能够方便部署到不同的运行环境中。包括可安装性、遵循性。其中,易安装性是指在指定环境下安装软件所需的努力;遵循性是指使软件遵循与可移植性有关的标准或约定的软件属性。
经济效益的二级指标
OS4.1 直接经济效益
指标说明:直接经济效益是系统绩效中最直观的部分,直接以资金的形式展现出来,例如销售收入的增长率,该指标主要评价信息系统应用之后对销售增长情况的影响。利润的增长率,该指标主要评价信息系统应用之后对利润增长情况的影响。库存资金的降低该指标主要评价信息系统应用之后对库存资金占用情况的影响。这些传统的财务指标能够清楚显示系统应用之后的直接经济效益。
OS4.2 间接经济效益
指标说明:间接经济效益主要是指信息系统通过对某些要素的作用,而这些要素又直接影响财务指标。例如,信息系统可以促使市场占有率的增长,而市场占有率的增长则直接影响销售收入。主要包括:市场占有增长率,该指标主要评价信息系统应用之后对市场占有情况的影响。资金运转效率,该指标主要评价信息系统应用之后对资金运转效率的影响,资金运转效率通过企业运营资金每年的周转次数来反映。企业财务决算速度,此项指标评价信息系统应用之后企业实现财务决算所需要的时间改善情况。
应用效果的二级指标
OS5.1 决策改善度
指标说明:此项指标用于评价信息系统应用之后对各层决策的影响程度,包括能否对企业战略决策提供有力的辅助支持,IT应用之后对中层管理控制的支持程度,如监督和控制底层的能力、理解并传达高层指令的能力、辅助管理人员编制、调整计划等的能力、定期生成企业经营状况的综合报告的能力、数据分析的能力、提供数据咨询功能等方面是否有所改善,以及IT应用后对底层执行控制的支持程度,主要从数据采集的信息化和办公自动化程度度量方面进行评价,如表7-8 所示:
表7-8 决策改善度指标
数据采集的信息化 |
办公自动化程度度量 |
|
l 市场数据采集的信息化 l 销售数据采集的信息化 l 技术数据采集的信息化 l 管理数据采集的信息化 l 人力资源数据采集的信息化 |
l 实现Intranet l 实现信息流程的跟踪与监控 l 实现面向外部的电子公文交换 l 文档共享、收文管理、发文管理、会议管理、 l 签报管理、周报(月报)管理、信息集成、 l 信息发布、业务讨论、电子邮件、个人数据管理、 l 档案管理、人力资源管理、固定资产管理等 |
|
资料来源:国家信息化测评中心.企业信息化测评指标.
OS5.2 组织改善度
指标说明:该指标主要反映在信息系统应用之后对组织效率方面的改善,主要体现在管理费用降低率、综合计划完成率等方面,以及IT应用之后对组织结构方面的改善。
OS5.3 业务流程改善度
指标说明:该指标主要反映在信息系统应用之后对业务流程以及业务功能方面的改善,包括冗余流程的删除和精简等。
OS5.4 计划改善度
指标说明:该指标主要反映在信息系统应用之后对生产计划方面的改善,评价主要体现在下列方面:
l 计划完成率的提高
l 材料利用率的提高
l 设备利用率的提高
l 工时利用率的提高
l 计划更改率的提高
OS5.5 产品和服务改善度
指标说明:该指标主要反映信息系统应用之后对企业产品与服务交付质量的改善,主要从客户销量增加率、客户增加率和合同履约率等方面进行评价。
IT持续发展能力的二级指标
OS6.1 信息化水平的提高
指标说明:该指标主要反映出在IT后对信息化范围的影响,包括信息化的应用覆盖率和信息化的数据整合能力。
OS6.2 系统对操作人员影响度
指标说明:该指标主要反映出操作人员在应用信息系统后由于系统影响而产生的工作方式的改变。
OS6.3 组织学习与创新能力
指标说明:该指标主要反映系统应用之后给员工信息化技能方面产生的影响和工作方式的改变。可以从任务完成准确率提高、工作周期缩短、系统使用频率增加,以及IT人员组织结构的改变等方面进行评价。
3 评价模型与结果分析
根据前面建立的构建规划与组织过程、建设与实施过程、运行与支持过程的评价指标体系,采用专家调查法对各要素的权重进行确定,并采用问卷调查法进行数据的获取,最终形成对每个过程的评价值。(具体评价过程略和评价结果略)
评价结果显示,虽然该项目实施、应用情况良好,但从整个项目的实施过程来看,还可以做的更好,主要体现在如下一些方面上:
在规划与组织过程,信息系统是从公司整体发展战略的角度而考虑的,因此主要由业务驱动,保证了和企业整体发展目标的一致性。由于在推进该系统项目时,主要由公司调派专门人员参加项目,因此,其他部门对该项目不十分了解,导致项目开发人员与业务人员之间通信能力较差,这有可能会导致业务人员对项目人员的配合不够积极主动的情况发生。从规划方案看,投资的可行性分析比较合理,非常值得投资。从规划提交的方案书来看,信息系统的技术方向比较先进,尽管在规划时缺少一定的技能,但是总体比较规范,尤其是信息系统对于公司而言具有较高的战略价值,从而使得公司对系统未来的发展予以了较高期望。
在建设与实施过程,用户较充分参与了系统的开发,并协助开发方进行了有效的进度控制与计划方面的控制,因而使得用户对开发过程功能实现较为满意。成本超支和功能实现程度分值都较高,说明在该过程中对成本的控制程度比较高,对用户要求的功能实现程度也比较高。由于W公司所雇佣的团队是一个相对年轻的团队,其中经理承接大项目的经验不丰富,整个项目组成员都很年轻,开发经验平均不满三年。IT人员很少接受培训,基本上都是在出现问题时非正式探讨和解决。项目组仅在系统交付之前向用户进行了简单的介绍。
在运行与支持过程,系统的应用对数据的整合能力显著增强,服务质量也明显改善,因为许多业务可以在网上开展,避免了人力成本的浪费,系统的实施对底层管理具有明显的促进作用,提高了处理效率和准确性。但是对于输出的控制机制较弱,缺少对输出文档的保管机制,另外非授权人员很容易得到关键性的文档资料。另外安全控制较差,仅安装了基本的防病毒软件和防火墙,缺乏业务持续性计划以及输出文档备份不够充分。尽管操作人员对系统还比较满意,但是系统对操作人员的技能提高程度不是很大,这一方面是由于系统对人员技能的影响是渐进的过程,另一方面也是由于企业尚未形成电子化学习的氛围,企业的电子化水平较低,信息化技能普及率较差。尽管这对于当前企业的发展并没有造成很大影响,但随着公司二期项目的逐渐推进,对员工的要求也会日渐提高,因此,很有必要在这方面加强。
通过对把绩效评价融合于项目整个建设过程之中,与项目建设过程完全协同,可以对整个项目进行有益的指导,帮助企业认清项目实施过程中可能对绩效产生的影响因素,从而及时对项目对策进行调整。评价的目的不仅仅是于对效益的判断与衡量,更重要的是为项目建设提供指导,成为提高项目管理效率的手段之一。
[1] 详见ISO9126信息技术-软件质量特性的指南及软件评价技术,国际标准化组织制定的软件质量衡量标准。
- 信息系统运维预算定额参考标准研究[04-09]
- 第2章 跨文化管理理论和实践[01-14]
- 16:什么是关键成功因素法(CSF)?[06-09]
- 24:eSCM-SP(服务提供商外包能力模型)有哪些…[06-10]
- 第4章 跨文化沟通[01-14]
- 治理评论第一期[01-20]
- 治理评论第二期[01-20]
- 治理评论第五期[01-20]
- 治理评论第三期[01-20]
- 治理评论第六期[01-20]
- 治理评论第四期[01-20]
- 太极凭什么中标12306? [09-26]
- 中国国际航空股份有限公司--书评[11-01]