国统局CIO：实时海量数据处理背后的云计算

发布时间：2011年06月20日点击数： 作者： 来源：转载

【字体：小 大】 【收藏】 【打印文章】 【查看评论( 0 )】

摘要:
“国统局数据显示全国70个大中城市房价上涨势头明显遏制”、“国统局调查显示中国群众最关注医疗问题”、“国统局称3月份CPI同比涨幅创31个月以来新高”……

“国统局数据显示全国70个大中城市房价上涨势头明显遏制”、“国统局调查显示中国群众最关注医疗问题”、“国统局称3月份CPI同比涨幅创31个月以来新高”……

类似以上的这些消息我们经常可以看到，国家统计局源源不断地向社会公布涉及国家经济发展、民生等各个层面的数据。而这些庞大的数据处理背后是怎样的一个IT系统在支撑？涉及到省市级各个层面的数据是如何汇总到国家统计局的呢？庞大的数据处理对于IT系统会有哪些挑战？对于种种疑问，国家统计局数据管理中心主任许剑毅介绍了目前国家统计局整个IT系统的建设思路，同时国家统计局数据管理中心王洪琛处长详细介绍了虚拟化和云计算技术在整个系统中的作用。

运用云计算虚拟化直面挑战

去年，zdnet至顶网记者在采访许剑毅时，他就给记者描述了一副“统计云”的画面：国家统计局正在建整个统计数据系统的私有云，今后国统局统计数据的采集、加工、处理，都以北京为中枢数据中心，再分四个阶层，逐层伸向全国。

再次见到许剑毅，是在国统局核心业务系统项目在进行二期之时，对于“统计云”的建设，许剑毅又有了更多的感受和想法。

经过多年的发展，国统局信息化建设已经取得了很大的成绩，然而更多的数据处理，尤其在时效性、准确性方面要求更多，给国统局的信息化建设带来挑战。“国统局的应用系统非常庞大，其海量数据处理量、高并发量等对于IT系统都会是挑战。”许剑毅指出，要改变这些情况，硬件设备能力、性价比都是所要考虑的。

“我们的思路是用小机器代替大机器的作用，把小的机器通过集群的方式，集群到核心业务系统来满足业务需求。”许剑毅指出这是国统局的一个思路，与此同时，建立一个全国各级统一的系统也是国统局需要解决的，“统计云”就是按照这样的需求提出来的。

许剑毅向zdnet至顶网记者详细介绍了目前国统局IT系统的组成情况。“国统局利用现在最先进的虚拟化、云计算、资源池这些先进的IT技术，以国统局为中心建立国家统一的核心业务系统，包括统一的数据中心。”许剑毅特别提出了，其系统架构里用到的10台IBM最新的小型机（包括6台IBM Powre595服务器和4台IBM Power780服务器）构成的集群，“整个架构里利用了IBM等多家公司的最新的产品和技术，使得整个系统里没有单一故障点，从而解决安全问题。”

与此同时，国统局的核心业务系统还需很好解决高并发的问题。许剑毅指出，系统整个设计之初是按照百万级高并发量设计的，“利用虚拟化、云计算这些技术百万级不会是问题，甚至可以达到千万级。”许剑毅认为，该套系统也较好的发挥了IBM小型机练级处理高并发的能力，去年的人口普查就很好的检验了这套系统，“整个系统的协调、运算能力非常强。”许剑毅还给了我们一个数据，之前13亿多人的表格单机处于需要一天甚至更多的时间，而基于新的系统，两分钟可以搞定。

大统一的思想贯彻国统局整个信息化建设的过程中，云的思想也跃然其中。许剑毅说目前国统局正在开发全国统一的数据处理应用平台，而下一步也希望以此为中心统一业务应用。“全国统一的业务将会集中到一套核心业务系统上来处理，为整个统计工作提供一个云服务。”许剑毅描绘到，国统局的信息化建设正在一步步迈向大统一的“统计云”。

四个资源池各司其职 小型机支撑核心业务发展

许剑毅向我们描述了国统局整个IT系统的状态，以及其所能发挥的作用，给我们描绘了一副充满“诱惑”的统计云，而这个系统到底有哪些硬件设备在支撑，云计算、虚拟化又是怎样发挥着作用呢？王洪琛就从技术层面向zdnet至顶网的记者做了详细介绍。

私有云的理念对于整个国统局来说有着很强的吸引力，尤其是立于服务的云。王洪琛告诉记者，完整的私有云概念实施起来会有难度，但是依然需要在这个思想的指导下，去架构整个IT系统。目前国统局在基础架构云层面做了很多工作。

“随着业务发展，如果不断买机器，承重、电、空间都不够，在这种情况下虚拟化技术让一台机器支持更多的应用，这是在PC服务上经过几年的探索已经实现了，并且效果还是不错的。”王洪琛指出，这种成功也希望能够复制到小型机上来，“小型机安全可靠，一直支持着国统局重要的业务，然而实施其虚拟化也会存在兼容、统一平台的问题。”IBM的解决方案在王洪琛看来是最能满足国统局的需求的。

关于整个基础架构的规划，资源池的调用，王洪琛介绍到其一共划分为四个资源池，即Web服务器、应用服务器、数据库以及存储各属一个资源池。四个资源池也根据不同的需求和标准进行各自的统一。其中“数据库池是通过IBM的基于小型机的虚拟化技术，实现整个数据库资源池的调用。另外通过不同品牌的小型机或者PC服务器组成虚拟化的应用服务器的资源池。”王洪琛也强调各个资源池之间的防火墙等安全手段必须做好，确保安全性。

对于目前业界说到很多的基于x86的应用服务器，在国统局的IT系统中我们也可以看到。“基础架构云中，数据库云是通过Power来实现；应用服务器云一个通过IBM的应用服务器，以来应对大并发的应用，IBM Powre595和IBM Powre780发挥了很好的作用，Web服务器云采用的都是刀片式服务器。基于x86的应用服务器也会支撑一些非关键业务的发展。”王洪琛强调，无论是哪种云、基于哪种架构的，所有的都是冗余性的，会最大限度保证业务的高可用和持续性。

完善、稳固的基础架构云为整个统计云的实现打定了坚实的基础。

第一个吃“螃蟹”的总是会引起众多的关注，伴随而来的也会有各种各样的疑问，许剑毅指出IT是为业务服务的，只要新技术能够为业务发展带来实在的好处就应该去尝试。基础架构云的建立使得统计局日常管理和运维变得简单、资源分配也会非常灵活。从业务层面看，全国统计系统的融合为所有数据能够实时传达、处理提供了很好的先决条件。这也是许剑毅一直强调到的大统一，而落到技术层面，对于IT设备的性能也有着更多的挑战，如何处理众多系统之间的关系、保障系统的稳定性和资源的高利用，国统局的基础架构云会是一个很好的借鉴。