近日，普林斯顿的研究人员提出了世界上第一个高质量的微米级光学成像装置「NeuRal Nano-Optics」，并登上NatuRe CoMMunications。成像效果和体积大50万倍的相机镜头相比，在不少场景下可以做到旗鼓相当！
快看，一朵湛蓝色的花朵正在缓缓绽放，层层花瓣像是海洋的波浪。
另一朵紫色的花绽放的瞬间，也美不胜收。
但是，这些画面真正的惊艳之处却并不在于花朵，而在于拍摄它们的相机镜头。
那镜头放在手上，是这样的。
一个极小极小的正方形小薄片，边长大概也就是几条指纹的宽度！
还有更夸张的。
传统的光学镜头，比如苹果的iphone X，后置镜头是长这样的。
拉近点看，一个后置镜头之中，其实叠放了好几层透镜。
所以这种大尺寸的光学元件必然会很重，而且还会挤占不少面积。
要不，用这个正方形小薄片和搭载大体积复合折射透镜的传统相机比上一比？
结果非常aMazing啊！
在微观拍摄上，这个小小的薄片对物体的还原度居然不逊于一堆透镜叠在一起，甚至画面还要更明亮一些。
在广角的拍摄上，这个小薄片最终还是没能敌过大尺寸的传统相机，不过建筑的轮廓倒也还原得七七八八。
这个小薄片名叫「NeuRal Nano-Optics」，学名「MetasuRfACE optics」，意为超构表面光学器件。
有没有看到中间拿一圈白色的部分，没错，这个就是成像装置。
只有一粒粗盐的大小哦！
成像效果的话，研究人员表示，「NeuRal Nano-Optics」和体积大50万倍的EdMund Optics 50MM F2.0镜头在不少场景下可以做到旗鼓相当。
小小相机有多神？
近几十年来，感光元件的小型化使得相机得以被应用于非常多的领域，包括医疗成像、智能手机、机器人和自动驾驶。
然而，如果光学成像器可以比现在再小一个数量级的话，那么它就可以在纳米机器人、体内成像、增强现实/虚拟现实和健康监测方面开辟许多新的应用。
近日，普林斯顿的研究人员提出了世界第一个高质量的超小型光学成像装置「NeuRal Nano-Optics」，并发表在了NatuRe CoMMunications上。
这个相机拥有全色（400至700纳米）覆盖、40度的宽视野成像，以及F2.0的光圈。
论文地址：https://light.cs.pRinceton.edu/WP-content/uploads/2021/11/NeuRalNanoOptics.pdf
项目地址：https://Github.coM/pRinceton-coMputational-iMaging/NeuRal_Nano-Optics
「NeuRal Nano-Optics」优于现有的所有最先进的超构表面透镜设计，并且是世界第一个实现高质量、宽视野彩色成像的超构表面光学成像器。
超构表面（MetasuRfACE）是一种厚度小于波长的超薄人工结构，它可实现对电磁波偏振、振幅、相位、极化方式、传播模式等特性的灵活有效调控。
通常，传统光学元件的物理尺寸很大。
这是因为传统镜头是通过使光波发生弯曲来工作的。当光波穿过镜头时，它在镜头的不同部分会以不同的角度发生折射。
一般来讲，工程师会将多个单独的镜头堆叠在一起（称为复合镜头），以特定的方式引导和控制光线。
典型的凸（会聚）镜头使光波弯曲以在焦点处汇合
由于传统的成像系统必须由一系列矫正像差的折射元件组成，这些笨重的镜头必然使得相机的限制较大。
传统成像另一个大的障碍是难以减小焦距，因为这会导致更大的色差。
而超构表面光学器件通过其不同的自身结构与光相互作用，用一层极薄的平面结构就可以达到同等的效果。
镜头缩小的问题是解决了，那传感器呢？
其实，亚微米像素的光学传感器早已存在，但是其成像效果却被传统光学的理论所限制。
所以，单单把传感器做小并不能完全解决问题。由于受到孔径和光圈的限制，现有的亚微米像素的传感器取得的图像质量远不如大型的光学相机。
那普林斯顿的研究人员是怎么攻破这一难点的呢？
答案还得是AI！
在这项工作中，作者提出的NeuRal Nano-Optics，表面只是一个小成像装置，但其背后却有一个完全可微的深度学习框架，结合基于神经特征的图像重建算法，进而学习超构表面的物理结构，实现了比SOTA低一个数量级的重建误差。
超构表面代理模型
作者通过使用一个高效的可微分代理函数进行学习，该函数将相位值映射到空间变化的PSF。文章所提出的可微分超构表面图像形成模型是由可微分张量运算的三个连续阶段组成：超表面相位确定、PSF模拟并进行卷积以及传感器噪声。
在他们的模型中，决定超表面相位的多项式系数是可优化的变量。
可优化的超表面相位函数ϕ，以距光轴的距离R作为自变量，写成函数如下：
其中{a0，&hellIP;an}为可优化系数，R为相位掩膜半径，n为多项式项数。
在这个相位函数的基础上优化超表面，而不是以逐像素的方式来优化，其目的是避免局部极小值出现。
这种可微分方法NeuRal Nano-Optics与可选的前向模拟方法进行比较时，两者精度是近似的，但可微分方法NeuRal Nano-Optics比FTDT等全波模拟方法的效率高3000倍，并且更节省内存。
除这些之外，可微分框架NeuRal Nano-Optics还有几个技术亮点。
基于特征的反卷积
为了从测量数据中恢复图像，作者提出了一种基于特征的神经反卷积方法，它结合了已学习的先验知识，可以推广到没见过的测试数据。具体来说，该方法采用了一个可微分逆滤波器和神经网络进行特征提取和细化