大数据在2012：新机会，新挑战

发布时间：2012年02月29日点击数： 作者：张瑾 来源：转载

【字体：小 大】 【收藏】 【打印文章】 【查看评论( 0 )】

摘要:
现在来说，大数据看到的挑战更多一些，实际上也蕴藏着一些机会。首先来看几个数据，其实信息大爆炸这个词很不贴切，因为信息量的增长是常态、持续的状态，而不是一个突发事件。

型产生的结果不能将其中一部分拿出来断章取义。数据的有效性，从时间和应用场景的角度对这些数据进行管理，这是更高的层面。这四个象限都非常重要，现在大家关注更多的数据量的问题。

大数据产生对数据中心架构设计的新需求

现有基于关系型架构设计出来的数据中心很难满足未来的要求。大数据如果能充分利用将有非常好的商机。比如商业预测，08年的经济危机人们都归咎于监管不够和对数据模型的设计出现了严重问题。如果设计出一个更加完善的数据模型，是否能预测出产生的危机，并对后果更加量化，帮助人们进行更好的决策呢？大数据不仅对企业，对一个国家，甚至全球的稳定都是十分重要的。还有很多新类型的应用，比如期货、股票。如果能比竞争对手早一点点预测到市场趋势，都会有非常重要的商业价值。从挑战和机遇来看，会产生对基于大数据架构的一种新的需求。大数据的复杂模型不是在原有系统上扩容，增加一些新应用就能实现的。比如，用数据中心逐渐扩容的方式来迎合这种需求很难做到的。无论是数据库、存储、数据计算能力，现在流行的数据中心的技术很难满足大数据的需求。需要考虑对整个IT架构进行革命性的变化。

二、解决“大数据”问题的关键技术有哪些？

从数据中心的角度来说，最重要的还是容量、高速、数据多样性、复杂性。高速方面关注两个重点：计算能力和数据传输的能力，提高IOPS和MB/s计算性能，数据传输速度。容量方面关注大容量、高可扩展存储、数据保护。数据类型上能看到不同RAID的保护级别，以及分级存储的一系列技术，能把数据根据重要性能动态自动化地分布在不同的存储级别上，实现对不同类型数据的存储。对数据格式和复杂性也有多用户租用的技术和安全管理技术。

未来要考虑的大数据技术的重点是，从存储来说，从容量、性能到服务是逐步提升的。从一般存储的阵列来看有很高的性能，但是未来如果扩张容量并不能带来性能的提升。所以用户在考虑向外扩展的架构，来更好的适应大数据的需求。

另外，IT部门需要考虑将数据处理，管理和分析与存储技术集成，如压缩、去重和归档。这些技术已经存在，对于大数据量能很明显的降低存储成本。而且，不单单是降低成本，数据量大到一定程度，如果没有数据缩减技术，存储本身就是不可能的事情。未来压缩、去重和归档技术将成为IT基础架构中不可或缺的组成部分。未来的磁盘专列、容灾数据、备份数据对去重、压缩和归档都是必须要做的，否则不能应对大数据的问题。

现在非常热门的Hadoop架构对很多企业来说非常新颖、简单，又是革命性的技术。如果基于Hadoop做分布式计算，那么企业搭建的昂贵的计算和存储设备可能都不太需要，这会产生一系列的结果，不是未来的Oracle数据库所能设想到的。

存储角度看“大数据”

从存储角度来看大数据有几个技术难点：以服务为中心的容量管理、复杂的容量预测、新的数据保护手段。大数据不再是以PB级别容量进行管理，对数据高可靠性的需求、安全性的需求以及性能的需求需要进行定义。另外对于容量的预测，很多企业无法预测自己的数据量未来会如何增长。IT更多还是支撑部门，如果业务部门提出某个需求，对支撑部门来说是突发的需求。在没有任何预知能力的情况下，如何应对突发需求，很多IT经理很难做到。

传统备份的方式很难应对大数据的问题。这里提到了几个重点的技术：Scale-outNAS、对象存储、SSD、云存储。向外扩展的NAS将是新的技术增长点。SSD也跟大数据有直接关系，很多应用中用户购买磁盘专列是出于性能的考虑，SSD可以以有限的代价非常显著地提升整个系统的性能。用好SSD有很多做法，比如放到磁盘专列上或者服务器上，都有很多解决方案。对于云存储来说，企业上的应用其实才刚刚开始，怎么把大数据的问题转接给云服务提供商，而不是自己去考虑这些问题，这些都是可以考虑的角度。

　　“大数据”的备份-无法备份？

“大数据”的容量在很多情况下决定了普通的备份方式无法运行。实际上，有些大数据不需要备份。大数据有很大比例是原始数据，未经筛选的数据格式。在将数据处理完拿到结果后，本身就没有太大价值。用户可以考虑的备份策略：快照（snapshot）和复制，特别的文件系统可以集成磁带层级。

目前的数据管理技术落后于大数据的发展

现在的管理策略、法规更多是针对结构化数据。未来大数据会对管理策略产生一系列挑战。Gartner也看到一系列大数据管理的问题，比如安全、隐私、法规、保存归档等等。

&ldquo