登陆注册
2126300000004

第4章 大数据,你还不知道的部分(2)

如果你正确地使用了大数据,收集、整理、分析和进行预测,它将为你提供梦寐以求的情报和洞察力。它的控制功用是如此强大,既能够让你掌握最全面的信息,也足以使你从容引导--使自己免受威胁,保护企业,解决潜在问题,并通过自检和优化提升效率。

现在全世界每天都要产生超过3EB的数据,我们有理由相信,随着互联网、各种移动平台越来越广的拥有率和使用频率,这个数字正在不断升高。从棱镜门事件中我们已经知道,美国政府千方百计要加以运用的就是这些数据--以大数据技术来把它们吸纳进去,除了用于正面(反恐),也在试图监控和控制民众。

有一家美国的顾问公司预测,在今后,美国国内还需要10多万个数据分析专才,以及100多万名能够运用数据的经理人。由此可见,大数据的应用在美国已经十分普及,他们将大数据大量地运用于社交媒体、移动网络和对舆情的分析上,进而达到控制选民、管理资讯和监控敌国的目的。

谁对大数据的研究越早,准备越充分,谁体现出来的控制力就越强。毫无疑问,美国人已经走在了最前面。

控制的基础是管理好这些大量的非结构数据,假如管理得当,我们就能从中挖掘出有效信息,实现企业和政府的管理革新。有先见之明的公司都正在从内部的各种来源以及云基础设施中收集越来越多的数据,它们构建可自控的数据中心,聘用和培养自己的大数据工程师。但还有更多的企业仍然徘徊在门外。后者注定会让自己的企业远远落后于人,它们没有办法获取及时有效与海量的信息,以及由此产生的洞察力,自然也就做不出明智的决定。

2013年,我们与安全公司EOA北美分公司在东亚地区共同完成了一项大数据调查。调查的对象是300位来自中国各行各业的高级主管。结果发现,已经有49%的中国公司关注或者非常关心大数据管理问题,但还有38%的中国公司并不明白什么是大数据,对大数据还是一头雾水;另外有27%的中国公司表示他们对此并没获知太多信息,只知道细枝末节或停留在看客阶段。

另外,我们还发现76%的中国公司没有使用恰当的工具来管理自身的系统数据(IT系统),而是采取其他的独立或缺乏互联功能的系统。有的公司甚至还在采用电子表格的方法对数据进行记录和管理。

这是一次令人灰心的调查,但可喜的是,我们看到了积极的增长速度。相比于2012年或更早的时间,投身于大数据的中国公司正以疯狂的速度增加。随着设身处地感受到它的好处的公司越来越多,人们已不再准备持观望态度,而是立刻参与进来。

要实现大数据控制的关键之一是“日志管理”,整合与自己有关的所有数据,比如企业日志,建立索引库,然后设计用户易于理解和使用的界面。要把数据充分利用起来,就必须使数据关联化和规范化,具备报告、反馈与防卫入侵的能力。每一家成功的电商网站和面向用户的企业官网,都是这么做的。

现实的情况是,国内目前只有56%的受访者使用日志管理的解决方案来管理他们的数据。很多公司使用电脑系统自带的普通日志或者建立一个电子表格进行这项工作。更有39%的受访者向我们表示,他们根本没有对日志(数据)进行管理。

“有什么用吗?”他们问。这表明,国内对大数据核心的认识和应用任重而道远。提高认识和加强推广成为了当务之急。

此外,相关的技术更新、方案和平台必须跟上新信息产生的速度。数据的产量以几何级的速度增加,它比宇宙中的星星还要浩瀚。如果我们检索数据的时间太长,分析和预测就失去了意义,控制与管理更无从谈起,还会造成严重问题。

大数据先行者

中国正处于大数据的起步阶段,国外先行者的经验对我们具有十分重要的参考和借鉴价值。全世界的富有远见者早在多年前就已经开始了你追我赶,在自己大数据中心的建设上各显神通,力争在这场战争中取得先发优势。

☆英特尔(Intel)

英特尔公司是全球最大的半导体芯片制造商,成立于1968年,具有几十年产品创新和市场领导的历史。全球第一个微处理器就由它在1971年推出,从而引发了计算机和互联网革命。从硬件入手以配备大数据需求是英特尔首先做的准备,同时对于软件也毫不放松,在Hadoop系统、Hbase、HDFS上都做了增强和优化,并且推出了IntelHadoopManager2.0。

2012年7月,英特尔对外发布了自己的Hadoop商业发行版(ApacheHadoopDistribution),成为几家大型厂商中唯一拥有自身发行版Hadoop的公司。

☆IBM

IBM以对数据挖掘和数据分析领域的收购展开了大数据时代的布局,后来正式推出名为“3A5步”的动态路线,然后结合信息管理、业务分析等软件提出了属于IBM的大数据平台架构。

该公司的大数据架构涵盖了IBM在大数据领域的四大核心能力和相应的产品线,包括:Hadoop领域的InfoSphereBigInsights,流计算领域的InfoSphereStreams,数据仓库方面的InfoSphereWarehouse和etezza以及信息整合与治理(InformationIntegrationandGovernance)方面的产品Optim及Guardium。

☆Hortonworks

2011年从雅虎剥离后,Hortonworks公司在当年8月份就发布了一款基于Hadoop的数据平台的技术预览版(HortonworksDataPlatform,HDP)。仅过几周,该公司又推出了基于Hadoop0.23的HDP2.0版本,该版本的Hadoop获得极大提升,实现了下一代的MapReduce。

尽管成立时间很短,但Hortonworks行动迅速,就在IBM宣布了基于Hadoop的大数据分析平台后不久,它便开启了自己的大数据战略。此外,它还与Talend公司达成协议,将在其数据平台上提供给Talend公司OpenStudioforBigData工具,以全面应对大数据处理。

☆微软(MicrosoftCorporation)

微软公司作为传统的IT业旗帜企业、当之无愧的垄断巨头,进入大数据领域看起来却并不是第一位的。它经常被人们认为起步较晚,但其实微软早在2006年就致力于研究类似Hadoop的开发计划Dryad,并使其获得产品化。微软一直保持自己的独特风格,不紧不慢,但从不在关键领域落后于人。

2011年初,微软公司发布了自己的并行数据仓库项目(SQL)。一年后,正式发布了SQLServer2012数据库平台,把业务延伸到了非结构化数据领域。当WindowsAzureMarketplace和SharePoint等工具推出以后,微软公司厚积薄发,已完全具备了打造大数据平台的能力。

☆思爱普(SAP)

成立于1972年的思爱普公司在软件领域一向具有极大的优势,而且其产品大多聚焦在对数据的分析能力上。这使它在大数据时代开启的一瞬间,就已处在领跑者的位置。2012年8月,思爱普推出了SAPBusinessObjectsBI解决方案4.0版本的第三功能包,简称featurepack3,随后又进行了改进整合。

以SAPHANA为基础,思爱普还打造了强大的实时数据平台,为用户提供全面的数据分析和处理服务。

☆甲骨文(Oracle)

自2009年收购SunMicrosystems公司(主要生产工作站和服务器)之后,甲骨文一直在进行硬件与软件的整合。该公司于2011年推出的大数据机(BDA)和Exalytics商务智能服务器,被认为是甲骨文强势进入大数据市场的标志。2012年初,正式供货的BDA和Exalytics预示甲骨文大数据平台解决方案的出台。

2012年12月13日,甲骨文宣布收购服务于石油、电气、供水行业的DataRaker公司,标志着大数据应用达到了一个新的趋势,开始向传统行业渗透,产生深入和全面的应用效果。

☆威睿(VMware)

威睿是全球桌面到数据中心虚拟化解决方案的领导厂商,它的虚拟化产品除了针对Hadoop进行优化外,还有围绕大数据分析和处理的项目。此外,Cetas和vFabricData系列产品都降低了人们在进行数据处理分析时的复杂度。除了最为核心和拿手的虚拟化产品之外,威睿公司近几年也通过收购和自我研发推出了众多开源产品。比如HVE(HadoopVirtualizationEssential)的插件以及Serengeti的产品,都是威睿推出的开源的虚拟化产品。

☆Cloudera

Cloudera公司由来自脸书(Facebook)、谷歌和雅虎的前工程师杰夫·哈默巴切(JeffHammerbacher)、克里斯托弗·比塞格利亚(ChristopheBisciglia)、埃姆·阿瓦达拉(AmrAwadallah)以及现任CEO、甲骨文前高管迈克·奥尔森(MikeOlson)在2008年创建。公司采用了NoSQL和Hadoop两种技术,由此获得了7600万美元的融资。

在2010年6月份,该公司正式推出了自己的企业产品。随后,Cloudera为其ApacheHadoop软件发行版增添了Cloudera管理器控制台及企业级的支持。现在它也与甲骨文进行密切合作,互相增加客户数量,推动彼此在大数据市场的份额。

☆MapR

MapR公司始终专注于可用性和数据安全的优化,它有自己的优势和独一无二的特性。比如,虽然和其他公司一样,MapR将基于开源的Hadoop产品商品化并进行销售,但它提供了很多不同于Hadoop的特性。它的产品为EMC的GreenplumHD企业版Hadoop提供技术支持。

不久前,MapR公司宣布了新的大数据平台MapRM7,这将为Hadoop与NoSQL提供更为方便、可靠和快速的服务。

☆Splunk

2003年成立并于2012年上市的美国商业智能软件提供商Splunk公司是公认的“大数据概念第一股”,它主要的业务就是向企业及客户提供数据引擎。它旗下的MachineData软件的搜索功能具有强大的优势,而SplunkFree则专供个人用户使用,SplunkEnterprise则添加了支持多用户和分布式部署的功能。

在上述产品大获成功以后,Splunk公司随即又推出新的SplunkforCitrixXenDesktop解决方案,并在2012年的中旬将SplunkAppforPCICompliance2.0全面推向市场。

谨慎:不是所有人都需要

诸如我们听到的、看到的和正在自觉或不自觉地参与的,大数据已成为一项大工程,它无处不在。我们对待它就像在迎接自己的终生伴侣,兴奋之情溢于言表。每个人都在想:“嘿,大数据时代来了,我能从中得到什么好处呢?”从社交媒体、初创公司到北京的中关村,人们都在研究和部署大数据。

但是,正如前面我们提到的,大数据不是无源之水,你需要一个充足的理由来为它打开大门,让它进入你的世界;同时,你还需要为此付出不菲的代价。大多数公司缺乏预算,它们花不了大价钱来部署大数据技术解决方案,也请不起相关团队和大数据工程师。

大数据首先是一项产业,根据一份报告显示,2012年大数据带动了全球近300亿美元的IT支出,预计再过4年这个数字将超过2500亿美元。还有许多新兴国家难以预料的市场空间没有计算在内。要知道,这几乎是一个中等发达国家的全年国内经济总产值了。

那些使用大数据的辉煌案例到处都是,但距离某些特定人群总是如此遥远。比如,脸书的推广人员骄傲地说,他们每天要存储大约100TB的用户数据;美国国家安全局(NSA)每天要处理约24TB的数据。惊人的数字!确实令我们印象深刻。可是处理这些数据所需要的成本是多少呢?根据一项公开资料显示,NSA需要为45天的数据存储服务支付超过百万美元的费用,这个成本还在继续增加。在我几年的走访中,大多数公司的CIO也对我说,他们的预算支付不起大数据部署的成本。

所以,这是昂贵的门槛--公司如果想获得大数据服务,第一件要解决的事情就是提供充足的财务预算。

没钱?对不起,这不是卖白菜,也不是批发廉价商品或请几个经理人那么简单。因此我经常听到人们抱怨:“大数据太贵了!”个人和企业都在仰天叹息,但同时又充满渴望。问题是,你真的需要它吗?

数据存储和处理的成本如此之高,成本变成了阻碍每一个人拥抱大数据的最大障碍,就像其他一切新生事物一样。以至于我们普通人--中小企业需要寻求其他的解决方案,让规模较小的公司和个体不被“大数据”拒之门外。

方案一:大数据的关键不是“大”。

大数据就一定“大”吗?虽然全球最大的科技公司都需要和PB级规模的数据打交道,它们当之无愧地成为对海量数据处理达到星级服务的用户。然而,我们的研究也表明,另外有95%的公司通常只需要使用0.5TB到40TB的数据,甚至更少。

脸书和NSA的故事并不能拿来作为普及版案例,它们不是常态。事实是,大公司的方案没有必要成为中小公司效仿的版本。在全美有5万多家公司的员工只有20到500人,它们大部分都有解决数据问题的需求,但它们并没有向脸书和NSA看齐,去建立一个成本高昂的数据帝国。

所以你看到,大数据市场最大的需求并不是那些居于世界前500强的大公司,而是排名在500到5万之间的公司。我们为何只关注那些极少数的例外,而忽视了普通的需求者呢?

将自己排除在PB级规模数据需求的用户之外,我们才有可能找到真正的方案。当大数据向我们走来时,我们应尽可能选择一个较小的接口,一样能享受同等的服务和便捷。

方案二:确定你是否真的需要它。

同类推荐
  • 商业101:实战经验分享

    商业101:实战经验分享

    书中总结了一系列经商诀窍,涉及公司经营的各个阶段。这些经验是40年成功职业生涯的结晶,其中几家不同类型的公司都从初创期开始,成功度过了转型期,最后发展成了成功的企业。本书中介绍的技巧包括招聘、解雇、并购、销售、市场营销等等。
  • 中国式管理的30个大手段和40个小细节

    中国式管理的30个大手段和40个小细节

    本书通过对中国传统文化的分析,提炼出体现中国思想的管理方法和手段,并针对现代企业实际管理过程中产生的各种问题,提出较好的解决方案,让现代企业的管理者有所启示。
  • 企业理论与中国企业改革

    企业理论与中国企业改革

    《企业理论与中国企业改革》是张维迎“企业理论四书”之一,收录了张维迎先生自1986年至2014年写就的19篇学术含量非常高的文章,涉及的问题包括企业家与所有制、公司治理结构、国资管理体制、企业重组与并购、地区间竞争、民营企业融资、资本市场的发展、民企与国企的未来等。这些文章是作者将企业理论应用于中国企业改革的研究成果。但本书并不仅仅是一部经济学著作。因其是对中国近三十年的改革进程所作的持续观察与研究,它实际上又是一部中国改革史著作。
  • 智商决定经商

    智商决定经商

    要想达到经商的高层境界,你就必须得阅读本书。该书以故事说道理,为你讲解了许多优秀的生意经。每则生意经后又延伸出境界更高一层的经商智慧。《智商决定经商》是作家王福振写的关系经商的书。全书语言通俗,内容丰富,道理深刻,值得广大读者阅读。
  • 网络视频:涅槃后的重生

    网络视频:涅槃后的重生

    爱奇艺PPS、搜狐视频、优酷土豆、腾讯视频、乐视、PPTV、迅雷看看、凤凰视频、56网、CNTV视频、芒果TV、风行、暴风影音、华数TV,如此之多的网络视频平台犹如一场后宫戏,纷纷展开殊死搏斗。PC端未见红海的网络视频,在如今移动互联网的天空下自由自在的飘荡着、崛起着,移动互联网既是催化剂亦是吸收剂。在本书中,我会以几大网络视频在移动端的差异化发展作为开头,夹杂快播事件等热门网络视频事件为线,带您一览飘荡在移动互联网下的网络视频风云。
热门推荐
  • 快穿网红系统

    快穿网红系统

    网红怎么了?超高人气甩你一脸。网剧怎么了?真实特效甩你一脸。宿主,是否选择直播?害,直播不好玩,我要拍网剧。请宿主选择剧本。。。。正在传送中。龟速更新ing第一卷:惜晨篇。
  • A Cathedral Courtship

    A Cathedral Courtship

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。汇聚授权电子版权。
  • 南游忆梦

    南游忆梦

    越靠近南方,记忆的就越丰富,而这些记忆也许真的想要忘却……但又无法忘却……
  • 褚氏遗书

    褚氏遗书

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。汇聚授权电子版权。
  • 狂妃之吃完不许赖

    狂妃之吃完不许赖

    猩红的血,冲天的火,唯有白雪葬英雄!在惨遭灭门的那个月圆之夜,大宇国第一才女上官晴拔出腰间的匕首,狠狠地砍向自己的手臂,手臂断裂,上官晴的娇躯,如断了线的风筝,坠落万丈悬崖,粉身碎骨!再次睁开双眼,文武医全才的她竟然重生在了天启国丞相之女的身上,一个因为未婚夫退婚而撞死金銮殿的花痴草包女。冷艳的气质,曼妙的舞姿,惊世的才华,绝顶的武功,肉白骨活死人的医术,她的绝代风华渐渐地被世人所发现,那淡定从容的笑靥,究竟迷了谁的眼,摄了谁的魂,痛了谁的心。灭门之仇不共戴天,她重生的使命便是手刃仇敌,面对着一个个风华绝代的痴情男子,她唯一能做的,只有逃!片段一:“我们,我们之间。。。。。。”饶是淡定如拓跋阙,此时此刻,也满脸惊慌。“太子殿下,昨晚,你可狂野了,怎么,一觉醒来你居然全忘了?”上官晴早把男装穿上,望着床上一丝不挂的拓跋阙,强忍住笑意,努力装出一脸的委屈,“原来太子殿下竟然有断袖之癖,如今,我的清白可都毁在了太子殿下的手中。。。。。。”“你想怎么样?”拓跋阙深吸一口气,努力让自己平静下来,然而眼角的余光忍不住往上官晴雪白的脖颈间飘去,那如玉的肌肤上,红红紫紫的吻痕触目惊心,他一向对女人没什么兴趣,难道说,他真的喜欢男人?“将整个怡红院送给我,我保证不会把今天的事情传扬出去的。”上官晴朝床上的拓跋阙抛了个媚眼,笑靥如花。片段二:“救命啊,晴儿,我中了媚药了!”某男急不可待地扑向上官晴,心中暗自欣喜着,终于可以光明正大扑倒晴儿了。“中了媚药还敢到处乱跑,你可真勇敢,万一将出来散步的母猪压倒可就不好了。”上官晴侧身避开某男的狼扑,素手轻轻扣上某男的脉搏。“晴儿,你不能见死不救啊!”某男开始上演苦情戏。“当然,医者父母心,我怎么会见死不救呢!”上官晴拿出一包药粉递给某男,“这里有解药一包,友情价,黄金一万两!”片段三:“叫你的人统统退下!”望着蜂拥而至的御林军,上官晴把匕首往自己的脖颈处一架,沉声说道。“哈哈哈哈!百里溪,不,我应该叫你上官晴才对。”长孙睿的黑眸如千年古井一般幽深,唇角勾起一抹冷笑,“居然拿自己的生命来威胁本太子?你当你自己还是雪鹰国的一字并肩王吗?”上官晴的美眸冷冷地望了眼将自己团团围住的御林军,手上的匕首往自己的脖颈处轻轻一划,白皙的肌肤上顿时浮现出一抹鲜红的血痕,红白分明,分外妖娆。
  • 都市捉鬼人

    都市捉鬼人

    身负华夏茅山派绝学的孤儿苏离,远赴异国寻找亲生父母的下落,结果遭遇一连串离奇事件。在寻找真相时不断的遭受到死灵巫师以及地狱恶魔的袭击,最后更发现袭击者中有来自天堂的天使身影。这么多势力要置苏离于死地,他们的目的是什么?苏离的真实身份到底是谁?在东方法术与西方魔法的激烈对决中,必须拥有一颗永不言败的心...
  • 狼宠

    狼宠

    她傻呵呵一笑,管它呢。在浴缸里泡到水都凉了,泡得身体发软,叶落才围了浴巾走出来。撩起一把长发,感受着发丝在指尖滑过。她突然想,明天就去把这头发给剪了吧。她并不认为剪去这长发就能剪断三千烦恼丝,她以前就想过这样做,只是江睿宸不允许罢了。想起他每每喜欢撩起她的发,在指尖把玩着,在鼻尖轻轻地嗅着。叶落的心跳突然有些凝滞,记忆如水,汹涌而来。她摇摇头,给自己倒了一杯啤酒,一饮而……
  • 繁华陌一生寂

    繁华陌一生寂

    他说,我不会娶你。她答,我林芷蒽就不信赢不过那女人!因为我知道,你是爱我的。一个是狠心逃离,周游世界归不“家”,一个却宠爱有加,守候在彼岸。感恩的爱深远忧伤,邂逅的爱却也镌刻心上。在她终于做出选择时,却遭遇一场意外,失去原有的幸福,卷入仇恨的深渊……几乎失去生命,她终于“偷”得冷情大叔的宠,之后他却消失得无影无踪,再次残忍地把她推给别人!繁华落场,熟悉的城市变得陌生,陌生的城市变得更为冷寂,所有的一切终究抵不过那世的痴。最后,她整容成风尘女子,换种浪荡的姿态撩开冷情的面纱,才发现原来他用生命在爱着她!“离开”是守护的最好方式!爱恨不过一瞬间,说再见,此生未必能再见。
  • 烟雨孤鸿,民国才子的情与往事

    烟雨孤鸿,民国才子的情与往事

    民国才子有一股今日不复再见的气质,在那个独特的时代里,他们用各自独特的性格,演绎着人生翩翩风采。在其漫长的一生中,他们有着怎样荡气回肠的故事,他们的故事又曾被多少人误读?本书以唯美的笔触,为读者还原那一段段璀璨的传奇故事,讲述那些民国男子的款款深情,人生得失;为读者拾起那些陨落在历史尘埃中的珍贵老故事,还有那些久违的感动。
  • 御灵骑士团·诺因与彩狸

    御灵骑士团·诺因与彩狸

    她是一个渴望成为御灵骑士的平凡少女。她是一个大大咧咧的邻家女孩。她反复考试,想尽了办法,终于成为骑士团的一员,然而还没有来得及高兴庆祝,危机已然降临。她或许一辈子部不会想到,有那么一天,自己会卷入两个大国的战争中。主少臣疑,临危任命。当历史的车轮开始转动,如此平凡的一个女孩也会担起抵抗侵略的重任。小小的女孩被授命为骑士团长,周围的不信任、外敌的压力、恩师的失踪……种种困难接踵而来,压在她娇弱的肩膀上。她要怎么做?究竟怎样才能打破危局,拯救国家、拯救自己?少女终于给出了自己的答案。