人工智能界忽略了一个显而易见的事实：深度学习是一门实验科学。虽然神经网络脉络清晰，但它是一个难以解释的庞大的非线性系统。尽管越来越多的研究致力于阐释神经网络，但神经网络依然像以前一样神秘。科学方法是我们理解神经网络的唯一可靠工具，因为它植根于实验。
而矛盾之处在于，尽管神经网络的本质是实验，但是这个领域却拒绝纯粹的实验。一般，一篇神经网络的论文首先介绍其新颖之处，然后尝试形式证明，接着做消融研究，最后得出结论。这是根据实验得出的结论。
现代AI研究停滞在前半段&Mdash;&Mdash;基准这一问题上，实际的使用案例是后半段。imageNet、COCO、CIFAR-10，这些都是人工智能的乐高。它们让我们实验新的想法，摒弃不佳的构思，它们是很好的工具。然而，它们只是达到目的的一种手段，而不是目的本身。
这并不是说当前的研究是错的，关键问题在于学术界与现实世界之间的脱节。
看看这个图表：该图介绍了COCO目标检测基准的最新进展，每一个小点都是一个不同的模型&Mdash;&Mdash;一种新技术或现有技术的融合，领跑者用蓝色标出。
该图表显示了从2016年1月的28.8点到2020年7月的55.1点的轨迹。取得的进步是无可否认的，从图中可以看出，EFFicientDet D7x是目前最好的目标检测技术。但是，问你一个问题：你会在应用程序中使用哪一个模型?
你很可能无法作答，因为你不知道我说的是哪个应用程序，也不知道它有哪些要求。它需要实时运行吗?它能在移动设备上运行吗?它需要识别多少类?用户对错误检测的容忍度有多大&hellIP;&hellIP;
依据答案，以上这些都不值得考虑，甚至连EFFicientDet D7x都不值得考虑。如果模型必须在手机上实时运行，那么即使略微调整这些模型，也执行不了。更糟糕的是，不能保证这些模型能在连续帧之间产生一致的检测结果。我甚至不能说出一个要求最高检测质量的应用程序的名字，除了高准确度之外，没有其他要求。
