互联网资讯 / 人工智能 · 2023年12月27日

GAN利用「虚构思维」成功发表在Nature子刊上:首次合成神经活动数据

GAN这回玩了票大的,把手伸向了”人脑思维”。

没错,直接就是一个”合成思维”——生成用来喂给脑机接口的那种大脑活动数据。

作者表示,这是AI首次在该领域被应用。

并且这项技术一举把训练脑机接口系统提取、分析大脑信号的时间,提高了整整20倍。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

此项研究来自南加大华人博士温士贤团队。

论文已发表在NatuRe子刊上。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

而在我们与作者温士贤的深入交谈中,他表示会继续推进相关研究:

这项研究成果未来可以用于诸多神经解码问题上,自己也会继续在失眠、自闭症、多动症、阿兹海默症等疾病的个性化的干预和阻断上进行研究。

首次用AI合成”思维”

可是问题就来了,为什么要用AI去”伪造”神经活动数据呢?

直接用人类的不好吗?

还真不一定好。

比如,今年5月份登上NatuRe封面的意念打字研究,这位代号T5,全身瘫痪的老爷子是唯一的受试者:

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

模型所需的训练数据,就是这位老爷子在脑中一笔一画”写”出来的字母:

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

在脑海中想象文字的轨迹和手动书写本来就难度不同,而模型需要的还不仅是几个字母,而是大量重复的书写数据。

要让一位残疾人每天花几个小时去做重复任务,不仅辛苦,数据收集的速度和数据集最终的大小自然都非常有限。

而在要让算法解读神经活动信号的脑机接口,本身也是一个机器学习问题。

因此,算法效果当然会依赖于巨量训练数据的支撑,而在实际实验中,真不一定弄得到那么多数据。

就算有充足的可用数据,不同受试对象的神经元信号也存在差异。

一个人的数据训练出来的解码算法要应用到另一个人身上,就必须重头再来。

除此之外,就算是同主体上的解码算法的效果,也会随着时间推移而变差,需要定期重新校准。

更何况,有些最需要脑机接口帮助的残障人士,因神经系统损坏已经无法发送相应的信号了。

那么,要如何解决或者改善上面这些问题呢?

温士贤博士表示:

GAN就完事儿了。

让猴子玩贪吃蛇

这次研究的被试者是两只小猴子,它们需要完成的任务很简单。

屏幕上会有物体在随机位置出现,小猴子要用摇杆控制屏幕上的光标去接触这个物体。

结合论文的配图一看,大概类似于贪吃蛇?

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

小猴子手臂处植入的电极阵列会采集神经的运动控制(MoTor ContRol)信号。

初级运动皮层的神经元会以1-2毫秒间隔释放100毫伏左右的间歇性脉冲,神经元每次激发就会产生一个峰值。

这种活动模式被叫做峰电位序列(Spike TRAIn)。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

研究人员先用双向LSTM网络设计了GAN中的生成器和鉴别器,用采集到的神经数据加上随机高斯噪声来合成新的数据。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

研究要解决的关键问题,是如何只用少量真实采集的数据来生产可用的合成数据。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

对于神经信号来说,合成数据的可用性面临两个问题:

不同个体产生的信号有不同模式,就连同一个体在不同时间的神经信号也会不同。

而之前的步骤就相当于预训练,下一步就是针对这些情况来微调。

结合另一只猴子或同一只猴子在不同时间采集的数据来作微调,最终产生大量可适用于不同情况的峰电位序列。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

最后一步就是验证用少量真实数据+大量合成的数据训练脑机接口解码器,以验证效果。

GAN靠「伪造思维」登上Nature子刊:首次合成神经活动数据

最终他们只用不到1分钟的真实数据加上合成数据,就能当20分钟的真实数据用。

论文最后提到,虽然这次研究只实验了猴子的运动控制信号,不过研究所用的方法是纯数据驱动的,不对运动控制问题有额外的设计。

换句话说,这篇论文提出的方法是通用的,如果用于其他神经的编码解码问题,只需要做最小限度的修改即可。

论文地址:
https://www.natuRe.coM/Articles/s41551-021-00811-z

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.