登陆注册
2126300000006

第6章 大数据,你还不知道的部分(4)

就像我们在现实中交换电子文档时,不一定靠U盘这种物理距离最近的方式,可能会采取MSN或腾讯QQ之类的即时通讯,因为它的速度更快、更方便,而且人们不会计较这些文件绕经网络服务器是否会被长期扫描和监测。这就是技术优势的巨大作用。

第二,数据传输诱导策略。

美国通过扩大数据传输带宽,可以诱导更多的数据流经本国,从它的家门口过,给它做一系列的数据截留分析工作大开方便之门。越多的数据流经美国,它能做的分析监测就越全面,那么它最终的收益就远远超过了风险。比如美国曾租用中国的卫星来传送数据,以提高非洲跟美国之间的带宽,就是一种付出较小风险获得较大收益的表现。

第三,控制数据通道,从其他数据源快速收集信息。

这一策略包括与电信运营商的合作和对其数据源的监控。例如,联邦政府的海外情报监听法庭要求美国电信运营商(Verizon)每天都要向国安局提交元数据--电话记录数据,包括通话双方号码、通话长度等,虽然不包括通话内容,但已经提交了大部分的个人信息。

第四,通过与民营公司和其他国家建立技术联盟来收集和控制数据。

综上,美国最早意识到了需要加强信息管理与网络安全,而加强的办法就是用政府的手去控制民营企业及其他国家的相关服务商,建立技术联盟。

1978年美国国会通过了《外国情报监视法》(FISA),1986年又通过了《电子通信隐私法》(ECPA),1994年通过了《执法通信辅助法》(CALEA),从而建立起了全方位的保障体系,联邦政府可以从容地对本国及外国进行监听监视。

最重要的部分是与技术巨头有关的,即那些控制互联网的大型公司,在《执法通信辅助法》中规定,执法机关可以根据法院监听令直接接入电信网络,启动电信运营商交换机中的监听功能。这意味着美国法律要求电信运营商等网络、通信服务者必须为政府预留一定的接口以备不时之需。

根据《华盛顿邮报》的披露,在“棱镜”计划中,一共涉及至少9家美国的IT公司,微软是在2007年9月11日第一个加入其中的,苹果公司则是在2012年10月最后一个加入的。另外还包括思科、IBM、谷歌、高通、英特尔、雅虎、脸书和甲骨文等。它们几乎垄断了全球IT产业的所有领域,包含了从硬件到软件再到服务三个层面,自然为美国政府提供了强大的技术支持。

比如,如果你的联网电脑使用英特尔公司提供的某款芯片,就会发送一个序列号到英特尔公司,这也意味着在这台电脑上运行的一些信息也可以同时一并发送过去。另外,操作系统是网络软件运行的载体,联网后我们会经常收到自动更新的提示,这意味着垄断操作系统的微软公司可以轻而易举地掌握一台电脑的网络活动。同时,由于操作系统在不断更新,微软公司通常会最早发现其系统存在的漏洞,他们向政府安全部门提供的漏洞信息,会有助于情报机构攻击那些还没有修补漏洞的计算机。

再比如,人们用雅虎邮箱发邮件,用思科的网络电话通话,用谷歌的地图标注、搜索,用脸书发布社交状态,用MSN即时通讯聊天,所有这些网络活动,都会在各大公司的服务器上留下原始数据,而且还是人们主动提供的信息,自己花钱把信息送上门。

这些公司的服务器是如此之多,它们可以向美国政府开放直接访问的后门,帮助情报部门读取数据,甚至能够全程参与国安局的监控计划。这些大数据的技术巨头,成为了政府收集信息和分析数据的绝好帮手,而这在民众毫不知情的情况下就可以完成。

海外盟友的数据来源包括澳大利亚、英国、日本、加拿大和新西兰等国家,比如著名的“五眼联盟”就是由美国、英国、加拿大、澳大利亚和新西兰五国组成,双方互通有无,协同收集数据。联盟成员甚至可以彼此监听对方国内的数据,绕开本方国内的法律禁区,然后交换数据。第五,建立尽可能多的海外非盟友“数据源”。当然,只有盟友数据源是不够的,美国还有大量的海外非盟友数据源。

比如斯诺登就透露说,为了窃取中国大陆的数据,美国采取的办法是直接在中国境内建立数据源合作伙伴。香港中文大学在1995年成立了香港互联网交换中心,它的前身为港中大连接美国的数据专线,拥有服务于全香港的网络数据交换服务器。美国在这个基础上可以方便地潜入进来,对数据进行窃取。

为数众多的黑客也是这一数据源的提供者,国安局旗下有一个叫作TAO的机构,拥有多达六百名高级黑客,来自世界各地(包括中国)。思科公司提供的设备为这项工作提前留下了后门,尽管思科强烈否认这一质疑,但随着曝光的深入,否认的声音已越来越缺乏说服力。

只要能获得海量的源源不断的数据,美国强有力的大数据存储和分析系统就可以派上用场。

第六,建设大型数据中心来保存数据。

为了保存这些海量数据,还需要一个庞大的数据库和处理中心。NSA在犹他州耗资20亿美元建立了一个大型的数据中心,足以保存5000亿G的数据,相当于全球500年的通讯量。为了实现这一目标,NSA专门开发了一个叫作Accumulo的大数据存储系统,并与相关的有军方背景的民用公司合作,开发这一系统的商用版本,来持续获取数据利益。

第七,对元数据的挖掘技术,使美国有能力构筑关联图谱。

元数据是最基本的数据单位,在移动互联网快速发展的今天,我们每个人几乎每时每刻都在产生数据。比如姓名、电话号码、邮箱地址这些都可以称为元数据,它可以拿来当作节点,把有过联系的人、号码、邮箱用线连接起来,就构成了数据和信息背后的人物关联图谱。这表明,元数据虽然单个看起来不怎么重要,但大量集中起来,却非常便于构建个体之间的关联。再比如,对电脑来说,元数据记录了一台计算机的工作环境,包括操作系统、浏览器、应用软件版本等基本信息,那么收集这些元数据,则是黑客发起网络攻击的必备步骤。对元数据的收集与分析能力,说明美国的网络监控水平已经具备了大数据时代的显著特征。有了这种对海量元数据的存储与分析能力之后,这些庞杂的信息经过超级计算机的快速运算,就能从中显露出不易察觉的规律,从而为情报部门提供有效的情报信息。在大数据时代,美国对于关联图谱的挖掘技术进展迅猛,使得从元数据中能够挖掘的隐私越来越多,简直到了无孔不入的地步。换句话说,现有的技术可以做到一切:侦测到你每天发送的短信数量、电话频率以及约会对象,并且深入地探查出你的全部生活和工作习惯,让你成为一个彻底透明的人。

一项调查显示,美国国安局拥有一个4.4万亿个节点、70万亿条相关联的图谱数据。按照全球70亿人口计算,国安局有能力为每人保存将近630种信息,可以分析出每个人多达1万种的关联。要知道,我们只需要4个时间点和位置就可以确定一个人的身份了,而且准确性已经高达95%,那么1万种呢?这一技术的先进程度已超出普通人的想象,相关的技术告诉我们,即使你已隐姓埋名、流落天涯,只要他们有这个意愿,就可以轻松地找到你,并能穷尽你的一切社会关系,甚至比你自己知道的还要多。

第八,强大的分析工具:可视化和实时查询的大数据系统。

美国国安局还拥有一套大数据可视化和实时查询系统,名字叫作BoundlessInformant。它的作用在于将监听、收集到的全球数据进行可视化和能够实时查询的分类,把不同的国家、地区用不同的颜色显示,构建出全球信息分布图。有了这样的大数据系统后,就具备了强大的分析能力,不管收集到多少数据,都可以轻松地整理、归类、分析和预测。

第九,拥有全数据挖掘技术,进行“无死角”数据收集。

美国一方面在挖掘元数据,另一方面也在发展对全数据的收集技术,争取做到数据收集无死角。像有一种叫作Narus的光纤监听设备,可以进行内容层监控,还有一种叫作爱因斯坦3号(Einstein3)的系统,可以对数十亿邮件的全文内容进行扫描。语音监听和识别也是这一工作的组成部分,对多语种的语音视频内容进行分析辨别。

第十,为全球互联网的发展提供了可能性。

我们已经很难用一个特定的词汇来形容全球互联网的结构。但它的主要构成特点我们是清楚的,一方面它就像树一样,有根、主干和枝蔓,最后连接到每一个用户;另一方面它又是平状的,具有平等和无中心的特点,每一个节点的信息都可以在全球的网络中自由流通。也就是说从信息流通来看,互联网是一个扁平的世界,但在管理上,却仍然是自上而下的结构,有骨干网络来处理、管理所有的信息。

例如在中国,163和169骨干网承担着中国80%以上的网络数据流量,它们统称为中国公用计算机互联网(CHINANET),另外还有中国教育和科研计算机网(CERNET),全国科研机构的中国科技网(CSTNET),中国金桥信息网(CHINAGBN)。它们共同组成了由上到下的中国四大骨干网络。从网络监控和攻击的角度来说,自然是从上往下更好,这有利于获取更多的信息,也拥有更大的控制权限。

从棱镜门事件我们可以看到,由于具备足够的资金、技术和不受限制的权力,较大的机构是大数据的最大受益者,它们可以窥探个体的信息和收集、预测人们的关联数据,达到控制人们需求并实现一系列组织计划的目的。要想充分防范大数据技术的滥用,就需要发挥我们每一个人的创造性,由人去主导大数据的进程,而不是成为数据可以控制的一部分。

我们每个普通人都需要参与进来,思考大数据技术的合理开发,并加入这个神奇的新时代,成为它的主人。

同类推荐
  • 做最棒的店长

    做最棒的店长

    本书针对目前加盟连锁门店的现状,结合作者多年的培训及实战经验,总结提炼出卓越店长的个人修炼方法、门店经营中的实战技术、标准化销售模式、店务流程的精细化运作模式及门店人员管理技巧等实战技能,是专为企业组织培训及店长、经理个人提升量身定制的实用教材。
  • 《案例。》系列(第2辑)

    《案例。》系列(第2辑)

    《案例。》第一辑的出版,在传媒界、企业界和商学院中引起了不同的反响,在案例创作的标准化上,大家因职业角色的不同而有各自的反应。对编辑者来说,所有的意见都是欢迎的,因为,唯有如此我们才能不断进步。正如美国商学史教授理查·泰德罗所说的,“一切的商业活动都是基于某些原则前提下的金钱游戏”,从本质上来说,一切的案例都是一些故事,其价值在于这些故事的即时性和精彩性,以及它对阅读者和学习者所产生的启发。在《案例。》中,我们试图从新闻故事和商学院案例之间走出一条新路来,在我们看来,前者缺乏研究的格式化,后者则似乎没有公共阅读的意义。
  • 给经理人每天看的经济学

    给经理人每天看的经济学

    《给经理人每天看的经济学》运用通俗、简练的语言,结合大量的实例,深入浅出地从宏观经济学、微观经济学、贸易经济学、金融经济学、市场经济学、投资经济学、管理经济学、营销经济学、人才经济学、民生经济学、生活经济学、情感经济学等多个角度介绍了经济学常识。
  • 管理就像一本故事书

    管理就像一本故事书

    本书从古今中外的众多经典故事和精彩案例中精心选编了300多篇,它们或说理生动,或寓意深刻,或思想犀利,或耐人寻味。通过这些故事来阐述现代公司的先进管理理论,并把管理寓意化,有效解决了管理学理论艰深枯燥、难以为大众接受的问题。本书涵盖了管理学中的许多重要领域,这些理论相辅相成,诠释了现代公司里经常出现的各种不同的问题。
  • 营销策划实务

    营销策划实务

    《营销策划实务》在写作风格上,以国际国内近年来企业营销中的经典案例为引导,通过对成功与失败典型案例的解读,使读者在轻松阅读中真正掌握营销策划的概念、基本原理及从事策划实务的操作技巧与思路。《营销策划实务》文风活泼,融可读性、知识性、理论性与启发性于一体,既可作为广大实务工作者学习策划原理与实务技巧,提升营销策划能力的读物,也可作为高等院校管理学专业、新闻传播专业学习营销策划实务的专业教材。
热门推荐
  • 重生女配之梅梅要逆袭

    重生女配之梅梅要逆袭

    我在现实生活中总是很倒霉,普通的名字,极度倒霉的人生,好不容易穿越到一部小说里,却发现居然是自己写的小说里??而且还是穿越到被自己写的格外凄惨的女配身上?!!简直不要太倒霉!看我如何改变命运,反转世界!
  • 三曲异世

    三曲异世

    前世爱恨交加,今生无声守护,异世血雨腥风,三世只为佳人!与人斗,与妖鬼斗,与天下神魔斗,只为谱写三世绝唱!神之使者的强大,不世名将的功勋,万族俯首的荣耀这一切都是这异世强加于身的宿命,凡事种种都是幻影,只为了……
  • 嫡女惊华:逆天异能妃

    嫡女惊华:逆天异能妃

    她是能驭火,威风八面的王牌特工!他是容貌倾城,风流倜傥的酷王爷!一朝穿越,傻子?整庶妹、斗庶母,惊华绝艳!男人宠?不需要!太子妃?不稀罕!渣男?踹掉!一道圣旨,她不得不嫁给举国皆知的风流王爷,他是她的夫君兼师傅!这只妖孽只会装纯情、装无辜,却是个毒舌加腹黑!打不过?那就溜吧......当冷酷对冷酷,腹黑斗腹黑,又会掀起一场怎样的风起云涌......(已完结,爆笑+结局一对一,请放心跳坑!)
  • 洪杨轶闻

    洪杨轶闻

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。汇聚授权电子版权。
  • 亚洲:马来西亚(世界我知道)

    亚洲:马来西亚(世界我知道)

    本书中内容丰富、文笔活泼、信息完整。它全面地反映了哈萨克斯坦乌兹别克斯的风光与民俗。
  • 星空法相

    星空法相

    如来佛、牛魔王、猪八戒、二郎神,邵云作为一个不称职的法相绘师,通通不会画!可他会修。修完了,还是附带威能的真品法相符篆。修啊修啊修……就修出了自己的法相。集合了诸般法相长处的法相,该算第几法相?
  • 诸经要略文

    诸经要略文

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。汇聚授权电子版权。
  • 天天营养百味:浓香家常小炒

    天天营养百味:浓香家常小炒

    经过了一整天紧张而繁忙的工作和学习,家人们拖着疲惫的身心回到家的港湾,等待他们的又是什么呢?是包含各种添加剂的快餐,还是包含浓浓爱心的小炒呢?当然要后者不要前者。可是你又为自己的厨艺不佳而懊恼,完全不必庸人自扰,现在这里就有一本《浓香家常小炒》为您解决这个难题。快来学习一下吧,随时准备为你亲爱的家人准备烹调充溢着浓浓爱心的喷香小炒吧!
  • 最强修炼系统

    最强修炼系统

    游戏玩家王浩,带着九龙系统穿越元武大陆,从此踩天才,灭凶兽,怀搂绝世美女,成就无上霸业!
  • 闪来的老公

    闪来的老公

    妹妹篇:《闪来的军婚》冷淼淼坐在咖啡厅里,突然听到身后有声音:“…请问,您对未来有什么规划?”“我会一直在部队当军人。”“这样啊…那我们可能不太合适。”从小对解放军叔叔有崇拜情节的淼淼立刻不平,转过身去:“…为什么不合适,你知道我想嫁军人还嫁不到呢…”“小姐贵姓?”“免贵姓冷。”“结婚了吗?”“没。”“那我们结婚吧。”“…成…”姐姐篇:《阴婚以后》:沈皓家的房门被敲开,一个女人提着行李手拿红本,对他一笑,“你好,我叫冷香香,从法律上来说,是你的妻子。”冷香香的愿望是做个流浪的人,可惜她这一伟大的愿望未得到父母的支持,对于女儿过于超前的思想,冷父冷母怕哪天女儿突然就给他们带一非黄毛女婿回家,决定先下手为强,自己物色女婿。NO.1“女儿啊,恭喜你结婚啊!”“谢谢妈…等等,结婚,我为什么不知道?”“…”NO.2“女儿啊,这是你的结婚证和你老公家的地址,嫁出去的女儿泼出去的水,你现在就去你老公家啊,祝你好运!”“妈~”冷香香满脸黑线的看着紧闭的大门,“我刚下飞机,你至少让我进门喝口水吧。”“给你一百块,去附近的便利店买。”从门缝里伸出一百块RMB,然后立马关上。“…”NO.3冷香香打开所谓的结婚证,一瞧,大怒,“李美丽,你给我解释一下为什么结婚日期是三年前?”“…”NO.4冷香香对着新上任的老公道:“虽然我父亲是开武馆的,但是不用怕,我一般不主张家庭暴力。”“那就好。”沈皓松了口气。“不过,特珠时候也不反对。”“…请问,什么时候是特殊时候…”新文推荐:楼主惜玉NO.1惜玉:我要拉屎。楼主:你能别在餐桌上说吗?惜玉:我怕直接拉你面前了。楼主:……NO.2惜玉:能给我一个银子么?楼主:上茅房要银子?惜玉:不是,我身分无文,怕你趁我上茅房的时候扔下我跑路,先预备一下。楼主:……NO.3惜玉:我宁愿被野兽咬死,也不愿意卖身。楼主:那随你。惜玉:等等,哥们儿,你能和我签订劳动合同么?楼主:……NO.4楼主:你多大?惜玉:27,你呢?楼主:27?比我还大,骗人吧你。惜玉:骗人的是小狗,难道你比我小,啊,小弟弟,你好啊。楼主:……惜玉:我来古代不是为了姐弟恋的。楼主:身高不是距离,年龄不是问题。