互联网资讯 / 人工智能 · 2023年11月10日 0

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

NeuRIPS 接收论文中,29% 的作者有中国大学的本科学位,但他们在毕业后有 54% 会去美国攻读研究生博士,这其中又有 90% 选择留美工作。剑桥大学的 2020 版《AI 全景报告》写出了 AI 领域哪些值得关注的新观察?

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

机器之心报道,作者:泽南、蛋酱、小舟

人工智能是基础科学与工程实践结合的技术领域,近年来已经融合了越来越多的其他方向。在数字化逐渐成型的今天,AI 将为技术进步产生推动作用。

近日,剑桥大学的 2020 版《AI 全景报告》终于出炉,这是该年度报告的第三期。和往年一样,该报告援引的数据来自知名科技公司和研究小组。新版 AI 全景报告以几个方面分别介绍了人工智能领域最近一段时间的发展趋势:研究、人才、业界、政策和未来展望。

该调查的两位主要作者 Nathan BenAIch 与 Ian HogaRth 均来自剑桥大学。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

报告地址:https://www.stateof.AI/

一、人工智能研究进展

人工智能领域的发展虽然伴随着开源的框架和活跃的社区,但在今年报告的开头,我们还是需要以数据说话,首先明确一点:AI 研究的开放性并没有我们想象的那么高。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

在深度学习框架上,正如我们最近所感受到的,在各个 AI 顶会的论文中,研究人员已经广泛使用了 PyTorch,其抢占了大部分原来 TensoRFlow 的位置。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

在 GitHub 上,PyTorch 相比 TensoRFlow 也有更多的新研究实现:据统计现在约有 47% 的实现是基于 PyToRch 的,而 TensoRFlow 的大约为 18%。

另一方面,大尺寸模型正在推动着 NLP 领域的技术进步,OpenAI 的 GPT-3 等新研究已经把深度学习模型的参数数量推到了千亿。根据目前的云服务算力价格,训练每 1000 参数的模型平均需要 1 美元,拥有 1750 亿参数的 GPT-3 可能需要花费百万美元级别的费用,有专家认为这一数字超过了 1000 万美元。高昂的训练费用,让研究人员们在探索新方向时遭遇了挑战。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

在 AI 模型训练需求越来越多算力的同时,传统计算机架构却在逐渐接近摩尔定律的终点。MIT 等大学的研究称,科学家如果希望将 imageNet 数据集图像分类任务的错误率从 11.5% 降到 1%,可能需要数百亿美元的投入。

不过,人们也在研究提高模型效率的方法,OpenAI 的统计表明:自 2012 年起,训练深度学习神经网络进行 imageNet 图像分类要想达到特定的水平,其所需的算力每 16 个月减半。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

毋庸置疑的是,GPT-3、BERT 等模型已经让 NLP 领域的研究进入了新的阶段。现在甚至出现了自动翻译编程语言的无监督机器翻译工具。在 GITHub 上把 C++ 函数翻译至 Java 准确率达到 90%。

技术的快速发展源于人工智能领域的高研究力度。据统计,全球有关 AI 方法(深度学习、NLP、计算机视觉、强化学习等)的论文数量自 2017 年起每年增长 50%,在 2020 年,我们可能将会看到超过 21000 篇 AI 领域的新论文。

不过,当前的大多数机器学习应用是通过统计来实现功能的,其忽略了人类学习知识的重要方法&Mdash;&Mdash;因果推理。在为患者寻找诊疗方案等任务中,因果推理是更好的方式。Judea PeaRl、Yoshua Bengio 等人工智能先驱者都认为,因果推理是使得机器学习系统更好地泛化,更强大稳健,并为决策作出更大贡献的新方向。

二、AI 人才:美国占主导

人工智能领域研究者的分布情况近几年呈现出几种新的趋势。

人才流动

首先,学术界面临人才外流的情况,美国许多研究教授离开大学,前往科技公司任职。从 2004 年至 2018 年,谷歌、DeepMind、亚马逊、微软已经从美国大学聘请了 52 位终身教授。卡内基梅隆大学、华盛顿大学和伯克利大学在同一时期失去了 38 名教授。值得注意的是,仅 2018 年一年就有 41 位 AI 教授离开。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

从 AI 顶会的角度看,在中国有过教育经历的研究者近几年为 AI 领域的研究做出了突出贡献。以人工智能国际顶会 NeuRIPS 2019 为例,接收论文的作者中有 29% 都曾在中国获得本科学位。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

但是从国内的大学毕业后,继续在 NeuRIPS 上发表论文的毕业生中有 54% 都去了美国。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

在人工智能领域里,美国仍然是国际研究的中心,有 90% 在美国毕业的留学博士都会留美继续工作。

而非美国籍的 AI 博士毕业生毕业之后很有可能到大型科技公司就职,而美国籍的博士毕业生更有可能去初创公司就职或加入学术界的研究行列。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

与此同时,许多 AI 领域的美国博士毕业生毕业之后会前往英国和中国就职。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

接下来我们再从研究机构的角度分析一下 AI 领域的概况。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

以 NeuRIPS 2019 为例,谷歌、斯坦福、卡内基梅隆大学、MIT 和微软发表的论文数量位居前五。

人才供不应求

作为当下最热门的研究领域之一,AI 领域的人才需求不断增长。许多一流大学也在扩大 AI 专业的招生规模。以斯坦福为例,最近几年斯坦福 AI 领域的学生是 1999-2004 年的十倍之多,与 2012-2014 年相比 AI 领域学生数量也是翻了一倍。尽管如此,来自 Indeed 的数据显示,招聘职位的数量仍约为求职者数量的三倍。

但不可避免的是,2020 年人工智能领域的人才市场受到了新冠疫情的严重影响。根据领英发布的数据,2020 年机器学习领域职位原本强劲的增长趋势在 2 月受到打击,开始下滑。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

三、业界快速发展

人工智能设计的药物,在日本已经开始了一期临床试验。在人工智能医疗领域,众多创业公司收集了巨额资金,实现了「平台战略」。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

在新冠疫情期间,众多科技公司也快速将 AI 医疗影像识别技术投入了实用化。最近一段时间里,美国医疗保险和医疗补助服务中心提出了基于深度学习的医疗成像产品费用标准。AI 系统可以快速扫描胸透等多种医疗影像,并将筛查结果提交给人类专家,排除非敏感因素。

说到人工智能最引人关注的自动驾驶。自 2018 年以来,在加利福尼亚州拥有自动驾驶汽车测试许可的 66 家公司中,只有 3 家被允许在没有安全驾驶员的情况下进行测试,其分别为 WayMo(谷歌)、NuRo 和 AutoX。

即使在政策最为开放的加州,迄今为止自动驾驶汽车的行驶里程相比人类也是微不足道&Mdash;&Mdash;自动驾驶汽车公司在 2019 年的自动驾驶里程比 2018 年增加了 42%。但这仅相当于 2019 年有驾照加州驾驶员行驶里程的 0.000737%。

使用每次人工干涉之前,汽车自动驾驶的行驶里程作为评判标准,其实不一定是最客观的。在美国一些州,驾驶员双手完全脱离方向盘的行驶里程并没有记录。

不过最近,我们看到了这项数据的新变化。百度的自动驾驶已经达到了人工每次干涉之间 18,050 英里,超过了 WayMo(谷歌)的 13,219 英里。对于不断加强 AI 投入的百度来说,最近的投入已经开始得到回报。

中国学者在NeurIPS中的美国流失率达54%:剑桥AI全景报告发布

自动驾驶领域的公司,必须要有强大的资金支持。13 亿美元被亚马逊收购的 Zoox,其自 201