您现在的位置:ITGov-IT治理研究中心>> 研究>> 战略性新兴产业>>正文内容
从企业级数据中心向社会化数据中心演变之路
发布时间:2012年03月09日点击数: 作者:中国民族证券有限责任公司信息技术部 颜阳博士 来源:转载
【字体: 收藏 打印文章 查看评论( 0 )】
摘要:
CIO发展中心独家】今天很高兴能与大家分享下我们公司建设数据中心的一些经验,我的题目是从企业级数据中心向社会化数据中心演变之路,在这里我介绍的数据中心主要是从应用层面来讲,而不是IDC的基础设施,演讲主要分四个方面。

WikIT时代--开放、有序创造价值

在这里,我提出一个概念--WikIT提供一个开放、有序创造价值的时代。大家都知道,互联网技术的应用发展到今天,人们通过这个开放的环境进行写作,通过娱乐、交流和交易,形成的一种新型的关系,这样一种新型关系所潜在的巨大的社会价值我们所忽略,而去挖掘这里的金矿,就是维基-IT(WikIT)的内涵。

网络每时每刻都在产生着大量的数据,以前很多招聘都是通过网站实现,但对大型招聘网站来说,每天收到成千上万的简历,需要大量人员对简历进行判断,而这样开放又无序环境下产生的数据是没有价值的。什么才是有价值的呢?比如通过facebook进行招聘,通过关系的传递,招聘人员可从熟人介绍,通过信息过滤,免去第一道过滤的人力成本。正是通过facebook这样的开放环境,创造了一个有序创造价值的环境,从而获得价值。另外开放的环境也是会倒逼出来的,前段时间的3Q大战,结果到后来双方只有都开放出来,因此在当今互联网环境下,在Wiki的IT生态圈,只有提倡开放的环境,才能实现互利互惠,共同生存,才有更多机会获得数据,特别有价值的数据。

另外再提出一个词语是Prosumer,以前在商场买完东西后交易活动就结束了,但在现在的WiKIT时代,消费者也是一个生产者,数据量的产生也越来越多。比如我在微博上看到一个有兴趣的短消息,我会转发,这样的转发动作就是生产数据的过程,因此进入了大数据BigData时代。我们最初涉及到大数据是从三个维度来考虑的,即3V原则:多样化(variety)、容量(volume)和速度(velocity)。IDC表示,首先必须成本低廉特征,其次是满足多样性、容量和速度这三个标准中的两个。

企业数据中心的开放之路

从传统过渡到大数据该如何实现,企业级数据中心的架构扩展性也非常好,但遇到大数据,我们该如何面对?现在有很多公司不一定采用商业化的产品而利用自己开发的模式,也能实现高效运营发展。

在企业级数据中心逐渐开放的道路上,第一个例子是微博的应用,在证券行业中包括银行,已经开始用微博来支撑营销和管理体系,如招商银行就拥有一个专门的团队在新浪上建立了官方微博。因为是完全开放的平台,风险控制必须要依靠人力和一定的操作能力,所以微博也分很多层次,有官方微博、营销微博,还有危机公关,形成一个闭环,从而也会产生很多管理成本。

还有很多公司考虑成本,在自己网站上建立微博,虽然控制比较容易,但无法享受到新媒体带来的巨大流量。因此有种方式是逐渐将微博放开,既保证安全性问题,能实现有利监控,也能在常用的社交平台上去获取信息,实现两者的有机结合。但同时这样的思路对于CIO们来说一定要考虑技术上的实施,避免技术剩余,并有循序渐进的前进思想。

一旦企业数据中心往开放之路上走,一定要明确几个问题。首先考虑是否要上大数据系统?第二是否要马上上大数据系统?区别与前者,一个是要不要上,一个是是否马上上,都是很重要的。另外,上了大数据系统是否需要把所有数据进行存储?还是分别处理。明确是否要开源的,就要根据自身的实际情况来解决。第三个问题是用大数据系统解决什么问题?不能跟风,而要从客户和业务的需求出发来做。

目前民族证券的数据中心三期,主要实现了从网站和公开的SNS媒体上抓取信息,通过相关的业务模型,解决某类业务处理。

在接下来,当我们业务积累到一定程度,会把平台进行升级。基于现在的模式,跟Hadoop对接是相当容易的,因为在这样模式里,从Greenplum数据库对接,只需要以外部表的方式进行关联,就可直接进行处理,编程人员利用一般的SQL编程语句就可以处理和控制。如果对下面的HDFS比较熟悉,可以用MapReduce直接对下面底层进行操作,而且是开源的。去年EMC推出的企业版对底层进行重新分析,据说效率提高一两倍,如果实现将带来很大影响。如果互联网公司进行很多非结构化处理,也会很容易实现跟现有系统进行对接,关键是要选择比较合适的模式。

分享到:
点击按钮自动加关注代码——新浪微博 点击这里给我发消息
共4页 您在第3页 首页 上一页 1 2 3 4 下一页 尾页 跳转到页 本页共有1764个字符
相关文章
    没有关键字相关信息!
推荐文章
订阅
  关于ITGov | 联系ITGov | 收藏本站 | 服务条款 | 隐私保护 | 人员招聘 | 网站地图

京ICP备06004481号   Copyright 2002 - By ITGov.org.cn, All Rights Reserved

 

我要啦免费统计