奇点将至？奥特曼再次释放“六字”神秘信号！Google文档之父、机器学习博士纷纷预测，AGI降临那天，95%人类工作或被AI取代。一觉醒来，奇点又进了一步？！昨天，OpenAI智能体安全研究员Stephen McALeeR突然发出一番感慨：有点怀念从前那段做AI研究的日子，那时我们还不知道如何创造超级智能。
紧随其后，奥特曼发表了意味深长的“六字箴言”：neaR the singulaRITy; uncleaR wHich side——奇点临近；不知身处何方。
这句话是想表达两层意思：
1. 模拟假说
2. 我们根本无法知道AI真正起飞的关键时刻，究竟是在什么时候
他又疯狂暗示了一番，并期望这一点能引申出大家更多的解读。
这一前一后，他们接连发出耐人寻味的信号，让所有人不禁思考：奇点是否真的近在咫尺？
评论区下方，直接被新一轮的AGI大猜想和恐慌冲爆了。
若AGI/ASI真正降临那天，我们将面临着什么？
“Google文档”之父Steve NewMan在最新长文中认为，“届时，AI将会取代95%人类工作，甚至包括未来新创造的工作”。
Apollo ReSeaRch联创MaRiUS Hobbhahn则更进一步，列出了2024年-2030年所有AGI时间表。
他预测，“2027年，AI将直接取代AGI实验室顶级AI研究员；
2028年，AI公司将有1万-100万个自动化的AI研究员，差不多所有需要知识型的工作都被AI自动化”。
与NewMan观点一致的是，Hobbhahn认为2024年95%以上经济价值的任务，都能被 AI完全自动化。
不过，他将这个时间节点设定在了2029年。
AGI降临，超95%工作被取代
Steve NewMan在文章中，阐述了他对AGI的定义及其AI对未来世界的影响。
那么，AGI究竟指代的是什么时刻？NewMan认为：
AI能够在超95%的经济活动中，以成本效益的方式取代人类，包括未来新创造的任何工作。
他认为，大多数假设的AI变革性影响都集中在这个节点上。
因此，这个“AGI”的定义，代表了世界开始显著改变的时刻，也是所有人“感受到AGI”的时刻，具体而言：
1 AI系统能主动适应完成大多数经济活动所需的任务，并能完成完整而非孤立的任务。
2 一旦AI能够完成大多数知识型工作，高性能的物理机器人将在几年内随之而来。
3 这种能力水平可以实现一系列变革场景，从经济超增长到AI接管世界等。
4 世界变革场景需要这种水平的AI（通常，专用AI不足以改变世界）。
5 在达到AGI之前，“递归自我改进”将成为主要推动力。
6 AGI指的是具备必要能力（以及经济效率）的AI被发明出来的时刻，而不是在整个经济中全面部署的时刻。
关于AI如何对世界产生变革性影响，有来自多方的推测：
一种观点认为，AI可能带来难以想象的经济增长——推动科学和工程领域快速进步，完成任务的成本比人类更低，帮助公司和政府做出更高效的决策。
根据最近的历史数据，世界人均GDP大约每40年翻一番。有人认为，高级 AI可以使GDP在一年内至少翻一倍，也就是“超增长”。
十年的“超增长”将使人均GDP增加1000倍。也就意味着，目前每天靠2美元生活的家庭，未来可能会实现年收入73万美元。
另一种观点认为，AI可能会带来灾难性的风险。
它可能会发动毁灭性的网络攻击，制造出高死亡率的流行病；可能让独裁者获得对国家甚至全世界的绝对控制权；甚至，AI可能失去控制，最终摧毁所有人类生命。
还有人推测，AI可能淘汰人类，至少在经济领域会这样。它可能终结资源稀缺，让每个人都能过上富裕的生活（前提是选择公平分配这些成果）。它可能将仅存在于科幻中的技术变为现实，比如治愈衰老、太空殖民、星际旅行、纳米技术。
不仅如此，一些人设想了一个“奇点”，在奇点中，进步的速度如此之快，以至于我们什么都无法预测。
Steve NewMan推测，AGI真正实现的时刻，就是这些设想几乎同时变成现实的时刻。
“可能发生”，不是“肯定发生”
需要澄清的是，NewMan并非在说，关于高级AI的预测，一定都会实现。
未来，技术突破逐渐变难，所谓的“奇点”也就不一定会出现。也就是说，“长生不老”可能根本就无法实现。
再说了，人们可能更喜欢与他人互动，这样的话，人类也就不会真的在现实经济活动中变得没用。
当提到“可能差不多同时发生”时，Steve NewMan的意思是，AI如果能实现难以想象的经济增长，那也有能力制造真正的毁灭性流行病、接管世界或快速殖民太空。
为什么谈论“通用 人工智能”
经济超增长在理论上是否可能，有一些争议。
但如果 AI无法自动化几乎所有的经济活动，那么超增长几乎注定是不可能的。仅仅自动化一半的工作，不会带来深远的影响；对另一半工作的需求会随之增加，直到人类达到一个新的、相对常规的平衡。
因此，超增长需要AI能够完成“几乎所有事情”。它还需要AI能够适应工作，而不是重新调整工作和流程来适应AI。
否则，AI将以类似于以往技术的速度渗透到经济中——这种速度太慢，无法带来持续的超增长。超增长需要AI足够通用，以完成人类能做的几乎所有事情，并且足够灵活以适应人类原本的工作环境。
还有太空殖民、超致命流行病、资源稀缺的终结、AI接管世界等预测，这些情景都可以被归类为“AGI 完成”情景：它们与经济超增长需要的AI，具有相同的广度和深度。
NewMan进一步主张，只要AI能够完成几乎所有经济任务，它就足以实现全部预测，除非与AI能力无关的原因导致它们无法实现。
为什么这些截然不同的情景，需要相同水平的AI能力？
阈值效应
他提到了，上个月Dean Ball关于“阈值效应”的文章。
也就是说，技术的逐步进步可能在达到某个关键阈值时，引发突如其来的巨大影响：
Dean Ball最近撰文探讨了阈值效应：新技术在初期并不会迅速普及，只有当难以预测的实用性阈值被突破后，采用率才会迅速攀升。例如， 手机起初是一种笨重且昂贵的滞销产品，而后来却变得无处不在。
几十年来， 自动驾驶汽车还只是研究人员的兴趣，而如今Google的WayMo服务每三个月就能实现翻倍增长。
对于任何特定任务，只有在突破该任务的实用性阈值后， AI才会被广泛采用。这种突破可能发生得相当突然；从“还不够好”到“足够好”的最后一步不一定很大。
他认为，对于所有真正具有变革性影响的AI，其阈值与他之前描述的定义一致：
超增长需要AI能够完成“几乎所有事情”。它还需要AI能够适应任务，而不是调整任务去适应自动化。
当AI能够完成几乎所有经济价值任务，并且不需要为了适应自动化而调整任务时，它将具备实现全部预测的能力。在这些条件满足之前，AI还需要人类专家的协助。
一些细节
不过，Ball略过了AI承担体力工作的问题——即机器人技术。
大多数场景都需要高性能的机器人，但一两个（例如高级网络攻击）可能不需要。然而，这种区别可能并不重要。
机器人学的进步——无论是物理能力还是用于控制机器人的软件——最近都显著加快。这并非完全偶然：现代“深度学习”技术既推动了当前AI浪潮，在机器人控制方面也非常有效。
这引发了物理机器人硬件领域的一波新研究。当AI有足够的能力刺激经济高速增长时，几年之内它也可能会克服剩余的障碍来制造可以胜任体力工作的机器人。
实际的影响将在至少几年内逐步展开，一些任务将比其他任务更早实现。即使AI能够完成大多数经济价值任务，也不是所有公司都会立即行动。
为了让AI完成比人类更多的工作，需要时间去建设足够多的数据中心，而大规模生产物理机器人可能需要更长时间。
当谈到AGI时，指的是具备基本能力的时刻，而不是全面部署的时刻。
当提到 AI能够“完成几乎所有经济价值任务”时，并不一定意味着单个AI系统可以完成所有这些任务。我们可能最终会创建从事不同任务的专用模型，就像人类从事不同的专业一样。但创建专用模型的必须像培训专业工人一样容易。
实现AGI，我们该怎么做？
对于“如何实现AGI?”这个问题，现在的研究者几乎没有头绪和理论依据，各种流派都有，争论不休。
Apollo ReSeaRch联创MaRiUS Hobbhahn认为，AGI的核心特点应该有三个：
– 对风险的来源、预期的风险程度、安全预算以及愿意承担的风险做出更具体的明确假设。
– 明确的多层次防御方法，去除某些不相关、负相关的措施，而不是“尝试叠加不同的策略以降低风险”。
– 计划一致性，很多AI公司在宣传和实际做的事不一致，比如声称为了安全性愿意付出更高代价，但却不愿意承担透明推理带来的额外成本。
忠实且人类可读的CoT范式
从AGI的全局发展来看，我们很幸运：现在AI系统的大部分推理过程是“直接可见”且“易于理解的”。
所谓忠实且人类可读，就是指模型的推理过程是以一种人类可以直接理解的方式进行的，并且准确地反映了模型行动的原因，模型不能进行与声明不符的内部推理。
我们至少应该：
1. 共同认同将此作为一个重要考虑因素，并以此进一步发展。为了让模型产生更易理解的CoT，我们可以并愿意承受相应的性能损失，哪怕是普通应用的运行成本会增加2倍，或是高风险应用的成本增加到5倍
2. 将更多的精力投入到研究易于理解且忠实的推理过程（CoT）。比如构建一套评估工具，以测试某个特定模型的推理过程是否忠实，或者探索直接优化
