没有自主意识的计算机，即便顶着“人工智能”的名头，按理说，也无法与人的思维相比，这是方然以往的看法。
但话说回来，自我意识究竟是什么；
查看ASA提交的分析报告，并观察这一软件在网络上的行为特征，方然心生疑惑，他偶尔还禁不住会想，所谓“AI的自我意识”这种东西，究竟是不是如人工智能领域的专家们所说的那样，是人类短时间内无法触及的成就。
眼前，屏幕上的整齐字迹，就在透露出某种意识的迹象：
几个月来学习方然的工作模式，正式上线后，ASA系统一开始的调查速度并不快，在旁观者看来，就好像初次接入互联网络，在试探、熟悉周遭环境那样；接下来，按常规思路，ASA尝试外联若干已知的数据节点，同时从安全措施薄弱的服务器拉取信息列表，显然是为后续的信息获取做准备。
这些步骤，和人的行动模式差不多，只是效率更高。
基础科学部的计算资源，大部分依赖伯克利的公共大型机，必然有算力波动，作为后台程序的ASA展现出一定的智能性，会在网络空闲时大量截取数据，算力空闲时集中解密、分析处理，在存储空间紧张时则进行一次垃圾收集，很好的平衡了算力、带宽和空间，扪心自问，方然承认这是他做不到的。
即便这些工作的技术原理并不复杂，问题在于，人并没有AI那样强大的计算和记忆能力，即便清楚原理也做不来。
观察ASA的行为，对方然来说，逐渐成为一种略带消遣的日常工作。
但重要的还是分析结果，和看似有序的行为不同，ASA的报告，却让方然怀疑系统是不是出了什么问题：
站在人的立场，ASA在初始化后调取的数据，岂但是杂乱无章，有时候简直就是毫无道理，原本布置了追踪“匿名者”的任务，但是在从联邦公民信息系统（外联接口）和联邦电信节点获取大量数据后，软件就进入了四处开花的工作模式，开始侵入诸如宾夕法尼亚医疗结算中心、孟山都物流体系第143A7检查点、东太平洋水文气候监测站，甚至NASA俄勒冈射电观测阵列这些不知所云的机构。
在联邦调查一个人的行踪，固然需要大量数据，但……
真的需要这些风马牛不相及的东西吗。
建立在人工智能内核之上的ASA，一旦开始运行，身为管理员也只能看到若干接口送出的数据，对庞大软件架构内部的运行情况，即便动用能拿到手的最先进动态监控模块，面对规模超乎想象的状态码、存储器数据和访问日志，方然也只能徒唤奈何。
想一想也是，倘若这系统正在做的事，居然能被人通过接口数据分析的清楚明白，那他又要这ASA何用呢，干脆自己操纵还更保险。
开发软件，部署人工智能系统，作为AI的创造者、至少也是参与了工作的使用者，却无从掌握人工智能体系的具体运作，基于过往的积累，在与ASA打交道的过程中，方然对这类系统的黑盒子性质有了更直观、更深刻的理解，也部分理解了为什么一部分计算机、人工智能研究者，始终对AI心怀恐惧。
人创造出来的东西，却未必能被人控制，人工智能，原则上是存在这样的可能。
开发人工智能的直接动机，很显然，倘若不是出于莫须有的“研究意识”、甚至“百无聊赖”之类理由，显然是为了解放人的辛劳，是为了利用人工智能去解决人类难以解决、甚至无法解决的问题，那么从逻辑上讲，对复杂度越过某种门槛的AI，运作过程必定不是人能够完全解析的。
这种不能够，并非理论上的做不到，而是解析的时间会长到脱离实际，根本就不现实。
想到这，方然不是在杞人忧天，认为人类创造的AI会脱离控制、自作主张，而是说作为人工智能的使用者，对AI正在做什么，并没办法有很切实的把握。
这对系统开发者来说并不成问题，但是对使用者，则潜藏着这样的风险：
对AI的实际行为，不管开发者怎样声称、怎样保证，都没办法验证这些声称、保证究竟是真的靠谱，还是完全的欺骗。
归而总之，还是此前想到的那一个难题：
除非开发者主动放弃，否则，对复杂度超限的系统，没有任何百分之百可靠的手段，可以确保除开发者之外的任何人将其完全掌控。
思考着ASA的行为，“权限不可转让”的猜想，再度浮现于方然的脑海。
但他想了又想，还是无法给出证明。
幸好现在还无关紧要，至少对ASA，身为开发者的自己并不担心它会失控，方然就暂且将猜想放到一边，他仔细观察“自动化搜索与分析”系统的日志，结合每天的分析报告，逐渐洞悉了这系统的运行规律。
看起来，正仿佛一个物理意义上的大脑，ASA的运行思路，恰似人脑。
这种相似性，与“自我意识”的讨论无关，而是说眼前的人工智能在处理问题时，采取的广泛尝试、不断反馈的策略，与人脑在面对问题时的工作方式很相似。
想象一个人，在尝试解决试卷上的数学题时，究竟是怎样思考，想出办法呢；
大脑的思考过程，人皆有之，却好似很难用语言来清晰描述，教师指导学生，也往往是泛泛的“认真想一想”、“换个思路想”，其实这时候大脑究竟在做什么呢，无非是利用以往积累的神经突触网络，发动神经刺激，将所有可能涉及到题目、可能给出解决方案的神经连接路径都尝试一遍而已。
这过程中，绝大多数路径都指向“否决”，极少数路径一时没有被判无效，或许，还会连通到逻辑关联的其他路径，运气好的话，在经历难以想象的繁复生物电过程后，大脑会半回顾、半新创的给出一条可行路径，问题才得以解决。
这种过程，在人工智能领域，似乎就是所谓的“神经网络”。
