未来20年中，新技术的采用可能导致社会动乱、公共卫生和经济危机、环境破坏以及个人悲剧。有些事件可能会造成很多人失去生命。这样的预测并非为了制造恐慌或耸人听闻。我也无意阻止能够改善我们生活的科学研究发展。
我提出警告的目的在于，希望通过一点远见和规划，以及做出艰难选择的意愿，能够解决很多危险。不幸的是，我们以及我们的政府没有表现出太多的意愿、智慧以及打算去做出艰难的抉择。的确，有理由相信这样的危机是不可避免的，涉及新技术的灾难发生的速度会加快，为人类未来指出方向的机会瞬间即逝。
难以预知的危机
萨力多胺（一种安眠药，曾引起西欧几千名婴儿出生缺陷）婴儿、切尔诺贝利核泄漏事故、印度博帕尔美国联合碳化物公司的化工厂毒气泄漏事件、挑战者号航天飞机失事、英国石油公司原油泄漏等，在这些悲剧性的事件中，技术难辞其咎。还有一些事件是有意使用有害技术用于破坏性的目的，比如奥斯维辛集中营毒气室、德累斯顿大轰炸、广岛和长崎原子弹爆炸、美军在越南战争中使用橙色脱叶剂、东京地铁站沙林毒气袭击，以及巡航导弹和生物武器扩散带来的危险。
正在开发的很多技术也带来许多新风险。关键信息系统失灵或网络攻击可以造成严重金融危机或持续停电。今后有可能发现许多正在使用的纳米材料的消费品是致癌产品。学生们服用了多种药物以增加学习竞争力，但是可能因为混合使用引起脑部损伤。一个心存愤恨的少年可能会用价值275美元的3D打印机造出塑料枪支伤害自己的父亲。一个精神病人或恐怖分子可能在自家实验室炮制出特制病原体，引发一场世界范围的流行瘟疫。自主武器系统会伤害平民，引发新的战争。受到不断上涨的潮水威胁的岛国可能采用新技术改变该国气候，造成邻国遭受旱灾。
在2009年出版的《道德机器：教会机器人分辨对错》中，我和另一位作者科林·艾伦（Colin Allen）做过类似的预测，即没有人类直接监督的情况下，计算机采取了行动引起了灾难性的后果。我们模拟了计算机引起的灾难如何展开的场景。这个场景是根据当前以及近期计算机技术发展基础上设想的一系列可信的事件。在各种力量综合作用下，这些事件引起了油价飙升、电网故障、国土安全警报以及不必要的人员死亡等。
2010年5月6日下午2：45发生了现实版的由计算机引起的事件。道琼斯指数暴跌，几分钟后恢复上涨。这次事件被命名为“闪电暴跌”，这是道琼斯指数历史上一天之内最大的跌幅（下跌9%，998.5点）。计算机高度自动化买入卖出是最重要的原因。在暴跌当时，高频交易至少占所有交易的60%。
有一些研究表明，现在基本上半数的交易都是由计算机自动进行的，当行情变化跨过用户设定的数值时，计算机会以数字算法自动买入和卖出。但60%这一比例还是夸大了高频交易中计算机化市场活动的整体重要性，高频交易一般有两种交易形式——几分钟进行一次买入和卖出，或是不到一秒就进行一次买卖。
“闪电暴跌”导致一些投资者身无分文而另一些人获利丰厚，损害了人们对于股票交易运作的信心。为了防止闪电暴跌再次发生，人们在股票交易市场引入了熔断机制，一旦有不正当交易发生则开始启动。但是，2012年8月1日，在熔断机制切断交易之前，一家从事计算机交易的“骑士”公司开发的“流氓”算法已经买入和卖出了148家公司的上百万只股票。最大的受害者其实是骑士公司和他们的客户，他们在不到一个小时内损失4.4亿美元。这一系列的事件让小投资者确信，计算机已经控制了金融市场，投资游戏已成定局。
金融市场对于计算机的依赖不仅仅是高频交易系统。计算机在2008年房地产市场崩溃中也发挥了作用。计算机帮助好的和坏的债务产品组合在一起构成复杂的金融衍生品。一旦房地产市场崩溃，人们很难对银行持有的衍生品进行评估。即使是银行巨头也无法确定其承受力。
有意思的是，计算机在金融衍生品危机中并没有发生故障，反而是作为关键的基础设施支撑着存在问题的银行体系。计算机的存在使得造成危机的金融衍生品市场得以成功运行，同时也加剧了危机的影响。下一章，我们将进一步探讨依赖无法充分预测其行为和影响的复杂系统所导致的内在危险。
一些分析者注意到了计算机在房地产崩溃危机中所起的作用，但是他们的注意力更多放在批评那些贪婪的银行家，以及揭发莫多夫（Bernie Madoff）等骗子之流的违法行径。人们将“闪电崩溃”和“流氓”算法归罪于人类的错误。
从我们当前掌握的信息出发，很难知晓所有潜在的危险。有意使用技术追求破坏性和非法目标的坏人应为大部分的风险负责。这些风险涉及的范围包括个人的悲剧、公共卫生危机，能够提高人类能力的技术所带来的社会和伦理影响，隐私、财产以及自由丧失，关键基础设施崩溃以及反乌托邦社会等。
前沿技术的倡导者因追求研究成果的热情掩盖了潜在的风险。他们夸口说只要在摄像头的帮助下，以及将机械假肢装入神经系统，失明者将重见光明，跛足者能健步前行；高科技武器装备的军队定能战无不胜；破解人类基因就能对遗传性疾病进行个性化治疗；无人驾驶车辆能减少交通事故发生，在开车上班路上时能解放双手发短信；如果我们每日清晨饮用一杯含有认知提升药物的鸡尾酒，将会变得更快乐、聪明，甚至品行更加端正。
当然，我们知道一些投资银行家、风投家、企业家以及少数的投资人会因此更加富有。政客们将获得权贵的赞助，他们选区的企业将获得更多订单，找到工作的选民也会更支持他们。科学家和工程师将获得终身教授身份，他们将拥有资金充足的实验室和聪明的研究助理，偶尔还能得个诺贝尔奖或其他享有盛名的奖项。
最大的挑战并非是一场危及人类生存的大灾难，而是短时间内各方面的问题不断汇集。技术发展自然与医疗、环境以及经济等领域面临的挑战密不可分。通常技术能够解决这些问题，但是也会造成医疗危机，破坏环境，引起经济危机。如果各种灾难集中爆发，技术也不可能解决问题。许多学者和新闻记者已经将未能妥善解决挑战而造成的后果归因于其他的方面，本书则主要分析技术在这些问题中的作用。
社会系统只能承担这么多压力。对同时发生的多种灾难做出响应，即使是最强健的机制也难以应付。政府可以，也可以不为危机直接负责，但是一旦它没有做出有效应对，则会失去民众的信任。在民主国家中，政府治理的小失误通常会导致执政党下台。大的危机或多种危机可能会引起主要社会机制崩溃甚至政府垮台。
问题刚发生时及时得到解决是避免同时出现多种危机的最好方式，这通常需要采取成本较高的预防性措施。但是，由于并不能对于预防的灾难举出实例，很难明确预防措施是否奏效，因为预防的灾难尚未发生。
此外，以监管和政府监督形式的预防措施会延缓研究进度，这些研究总体上对社会是有益的。因此，立法者不愿意要求企业和公民做出牺牲。近年来，政客们甚至更进了一步，他们假装认为全球气候变化以及高频交易带来的问题要么不存在要么难以驯服。
如果不能采取预防手段，我们只能在悲剧发生以后采取一些差强人意的补救措施。灾难的确能引起关注。牛海绵状脑病（俗称疯牛病）就给欧洲敲醒了警钟。2011年3月11日海啸之后发生的福岛核电站泄漏事故提醒了日本人，他们发现这一存在潜在危险的技术在管理方面存在普遍问题。不幸的是，对于灾难的响应通常只是应急之举而非未雨绸缪、思虑周全。为了遏制疯牛病蔓延，英国屠宰了440万头牛。日本是一个十分依赖核能发电的国家，截至2012年5月，不得不关停了所有反应堆。在大量检测之后，少数几座核电站有待2015年重启。
灾难管理的成本高昂。究竟是在灾难发生之后付出的代价高还是在灾难发生之前采取大量上游措施引发的成本高，政策计划者对此仍存争议。但是，时间会给出最终的答案。如果多种危机集中爆发，其中有些危机源自之前未能解决的和未预见的问题，那么其结果可能是很快进入一个反乌托邦的未来。
对未知的恐惧
长期以来，反乌托邦的未来愿景激发了许多科幻小说家和电影导演的想象力。奥尔德斯·赫胥黎（Aldous Huxley）的《美丽新世界》（1931）以及乔治·奥维尔（George Orwell）的《1984》（1949）都是警示性的小说，提醒读者我们应当避免的未来。
赛博朋克流派经典作品威廉·吉布森（William Gibson）的《神经漫游者》，以及尼尔·斯蒂芬森（Neal Stephenson）的《雪崩》（1992），这些书中描绘的未来社会只有进行技术增能才能占据上风，这也让公众开始认识了“网络空间”的概念，以及“虚拟现实”的可能性。
在《终结者》（1984）和《黑客帝国》（1999）的未来世界中，人工智能有意灭绝人类。电影中的计算机合成形象十分逼真，对预测的可能性大肆炒作，公众和媒体很难去辨别哪些技术可能实现，哪些不可能。即使是专家，也对于哪些预测可靠、哪些存在潜在的危害需要注意存在争议。
警示性的科幻小说助长了“潘多拉盒子直觉”——人们认为最好不去探索未知的路——那些聪明的游客避免选择的路。这种直觉常见表现形式是判断不应该去摆弄人类基因或是不应当制造杀人机器人。潘多拉盒子直觉常用于支持非理性的反科学行动，比如不愿意为孩子接种可以预防严重疾病的疫苗。如何将这种对伪问题担心的直觉引向真正能够且应当解决的问题上是一件困难的事情。
对于技术引发的事故，人们普遍持有一种态度，这在美国尤其如此，即任何新技术带来的问题都能从技术上找到解决办法。人们对于用技术解决问题持有近乎宗教崇拜的热忱，且称之为“技术解决主义”（technological solutionism）。技术反乌托邦主义将对科技政策产生阻碍作用。
如果公众认为，科幻小说的场景可能发生，那么即使对于极不可能出现问题的技术也会有人要求予以限制。回顾过去，20世纪50年代人们担心会被机器人取代以及遭受基因突变的硕大蝗虫攻击，但是也没有人会因此而放弃过去60多年来在计算机科学以及基因学领域研究所取得的成果。
认识到这一现象，技术乐观主义者竭力想描画出乌托邦的未来愿景。这一吸引人的愿景描述了如何去战胜疾病，结束贫穷，恢复环境。但是，这一愿景依赖的是能力增强的人类或是超人机器人，这听起来和带来20世纪灾难的破坏性的乌托邦意识一样空洞无物。
技术发展的脚步不受任何制衡向前迈进，其中隐含的风险是我许多朋友和同事所不愿明言的，他们是一些科学家和工程师，希望通过技术找到不治之症的治疗办法，或是希望提高人类心智和身体机能的超人类主义者，以及一些希望从前沿技术研究中获益的人。
他们特别担心任何关于科技危险的讨论会进一步增强反科学联盟的势力，这些反科学人士出于意识形态、政治、宗教等目的已经对进化论，以及有实证的全球气候变化现象拒不承认。大学和学院派学者认为开放和自由地探究事实真相是一个脆弱的事业，会因政治和经济的压力而妥协。
对于经历过20世纪50年代参议员麦卡锡反共运动的大学教授、管理人员来说，对于这点感受更为深刻，当时很多大学校园因此蒙上了恐怖的阴影。的确，因为担心不理智的反科学运动扩大，研究人员以及那些渴望获得科学研究好处的人加倍努力消除批判主义的负面影响。换句话说，这些批判主义反而进一步加剧了技术的破坏力量。
我对挑战的看法有所不同。新技术的推动者有必要与对新兴研究领域发展轨迹感到不安的人直接对话。此外，他们应当停止对一些秘密研究遮遮掩掩，比如这些研究可能会导致新武器系统诞生，而这些武器的危险直到投入使用后才为不持怀疑的公众所知晓。在新技术投入使用或市场之前，广大公众、政策规划者、学者必须有机会对这些技术所能带来的社会影响进行思考。
近年来，科学界内部有很多呼声要求研究人员发挥作用，将他们所从事的创新研究带来的社会影响介绍给公众。令人遗憾的是，很多科学家和工程人员并不认为他们的工作带来的伦理和政策方面的挑战是自己的问题。对于与公众对话，他们觉得准备不足，或是不感兴趣，他们把责任推卸给了别人。但是谁是“别人”呢？是政客，行业领袖，生物伦理学者，原教旨主义传教士，沉湎于新潮电子设备的技术达人，还是关心这些问题的公民？我们所需要的不是对这个问题一知半解的官员做出影响人类未来的决定。
即便是所罗门，倾其所有智慧，也很难从科技创新带来的积极成果中分析出可能存在潜在的破坏。不管怎样，我们每一个人都无形中默认技术进步的光辉成果和不懈进步。不幸的是，大多数人对于将会改变我们未来的想法和发现只有最基本的了解。
新的科学成果层出不穷。即使是那些制定公共政策，提供资金支持研究发展的人也高度地依赖专家们的意见。困难在于不知道该问什么问题，从何处寻求一个平衡的视角。很多时候，科学家的推断超出了他们的专业背景和理解。获得研究资金支持的渴望蒙蔽了他们的判断。
来自科学家的炒作，通常是对于实现下一个技术突破的时间框架过于乐观，助长了不切实际的希望也引起了对于科学进步的恐惧。最有说服力的声音大多来自坚定支持和坚决反对发展某一具体技术的人群。
依靠具备专门领域知识或有特殊兴趣的个人做出的决定并不能满意地解决可能改变成千上万人生活的一些问题。新兴技术的复杂性单靠个人智慧无法应对，但这并不是说这个问题不可解决。不同见解的人可以分享真知灼见，找到重点问题，关注薄弱环节，聚焦现有治理机制中的缺陷，以解决一些问题。
所罗门对于他所面对要解决的问题没有现成的答案。两个妇女在他面前都说自己是孩子的母亲，他也不知道谁说的是真话。但是他知道怎样设计一个场景，让真相自己浮出水面。他提议说把孩子砍成两半，这两个女人的反应使得真相立现。
优秀的记者和律师知道怎样问问题能够让事实真相大白于天下。有时候，一个人如果不诚实，躲躲闪闪，或谎称知情，一个微妙的手势和动作就能暴露他的本色。阐明难题的智慧形式是多样的。睿智的长者、善良的父母，抑或是街头混混都可能对专家并未注意的细枝末节更加敏感。
评估各种建议的一种比较好的方式是成立一个论坛，邀请专家用朴素易懂的语言解释艰深晦涩的理论，以便陪审员、记者以及感兴趣的公民都能听得懂。这种有取有予的方式可以一直持续下去，直到前进的道路最终出现在眼前。
成立这种论坛，或是任何讨论新技术挑战的机制，都需要培养一些热衷于技术发展前景的学者和关心此事的公民。一定数量的知情公民对于平衡那些对于特定结果拥有既定利益的利益相关者的影响具有一定的帮助作用。出于这个目的，本书绘制了一个框架，以帮助大家从跨学科的角度更广泛地理解新技术对社会产生的影响。
我做的任何预测都无法保证立法者采取行动制定更加严格的技术创新管理机制。毕竟，历史上很多预测也并不靠谱。只有通过全面地审视新兴技术才能找到担心的原因究竟是什么。这种审视首先要讨论一些核心问题和具体的危险，这正是促使我写这本书的原因。
一旦所关注的领域得以阐明，我们就可能发现转折点，并找到解决潜在危险的通用的或针对性的办法。只有我们携手努力，才能在技术发展的海洋上扬帆远航。
