中国移动大数据应用实践与规划

发布时间：2012年03月09日点击数： 作者： 来源：转载

【字体：小 大】 【收藏】 【打印文章】 【查看评论( 0 )】

摘要:
【CIO发展中心独家】作为大数据的应用者，中国移动集团公司通过近几年不断努力，其在数据应用方面所取得的成绩有目共睹，在云计算实践应用方面也不断探索，希望有朝一日将大数据应用与云计算平台完美结合。

中国移动的经营分析系统

中国移动的经营分析系统从2001年开始建设，2003年完成了全网性的标准和规范，到2005年在全国范围完成了经营分析系统的建设。经营分析技术架构由数据获取层、数据存储层、应用层和展示层组成。数据获取层主要负责对数据进行清洗、加载、转换等工作；数据存储层由数据集市和数据仓库组成；最终的分析结果，有的是通过数据访问层直接查询、访问数据仓库得出的，也有部分是通过应用层对数据集市进行专门分析挖掘，然后再通过展示层展现和提供分析结果。

经营分析系统的应用可以很广，我们曾经提出过“顶天立地腰变粗”的观点。所谓“顶天”就是为总部、领导提供及时准确的信息服务，集团公司领导和相关的业务人员可以在每天上午收到一条彩信，里面包括前一天的业务量，发展的用户数，多少语音话单，多少短信业务和增值业务。所谓“立地”，是支持一线进行定向营销、精细化管理、片区业务分析和开展客户服务等工作。所谓“腰变粗”就是指利用经营分析系统的数据和分析工具，为业务人员、市场策划和产品研发人员提供数据和信息的支撑和服务。总部的一级经营分析系统拥有全量的汇总信息、全量的客户资料，全量的账单信息等，这些用来做总部的宏观分析，信息应该是足够了。而如果把6亿多客户的详细通信记录集中处理和存储，数据量大，存储要求高，因此详单数据是抽样采集，再用这些抽样的数据进行一些比较特殊的分析。

传统的分析系统是根据业务部门需求设计和开发应用，再根据应用定义、获取、清洗和加载所需要的数据，但按照这种方式发展下去，容易出现数据不全、不准的情况，不利于企业级数据仓库的建立与成长。因此，中国移动的经营分析体系所采取的是先构建数据仓库，再逐渐满足应用需求。即先把数据沉淀下来，再去考虑数据的使用问题。

当前经营分析系统也遇到很多新问题。比如，面向未来架构中如何保障海量信息的存储？移动用户通过互联网上网、发微博等行为使其在互联网上留下诸多信息痕迹。如果把这些信息痕迹像存储话单一样存到数据仓库中，那么经营分析系统的投资和数据量不只是翻一倍的问题，可能是十倍甚至更高。在这种情况下，我们的建议方案是：虽然企业内部只存在唯一的一个企业级数据仓库，但并不是任何数据都在这个数据仓库里存放，可以采用不同的存储策略，依照生命周期的理念对数据进行管理和分析，使我们的数据有粗有细、收放有度。对于一些细粒度的，短期效益的数据，把它装在临时加载到数据集市或分析模块进行数据分析，然后根据应用和数据的使用情况、价值、技术成本的因素综合考虑，或者将其固化到其他系统中，或者更新掉，对数据和应用实施动态化管理，及时释放资源。

业务部门对需求的理解往往是变化的，在分析过程中，甚至结果交付前，都会提出对需求进一步更改的内容。在这种分析需求难以固化的情况下，如果用庞大的企业数据仓库去支撑变化的应用会得不偿失，代价和成本非常高。因此，我们数据仓库的应用数据集市是分级部署的，包括面向地市的数据集市，面向业务的数据集市，应用临时集市和永久数据集市等。这种分级部署的方式降低了经营分析系统的整体成本，同时也在技术方面优化结构，尽量满足不同程度的业务需求。

还有一点，就是不寄希望于数据仓库系统无限制的提升实时性。在中移动的应用当中是这样操作的，把数据仓库的OLAP分析能力和计费、结算、营业、客服等OLTP能力相结合，经营分析系统做的是数据模型的建立，一旦模型固化，就可以把计算模型放到生产系统中。比如离网分析，这个分析模型的建立毫无疑问是在经营分析系统中建立并固化出来的，但不是每次分析都需要把数据通过ETL的方式导入数据仓库，导入到数据集市，再去做分析。我们定期把用户离网概率作为一个算法固化下来，把它注入到本身的生产系统中去，当客户打了10010的客户服务热线或者频繁呼转到一个联通号码，就会实时产生用户离网告警，使我们系统能够实时快速的捕捉到一些用户的异动行为，进而提升我们本身运营的快速响应能力。这种方式经过前期验证，不但应用效果非常好，而且大幅度降低了运营成本。