精神阅读脑解码技术

研究人员已经演示了如何通过使用人工智能来解读人们观看视频的fMRI扫描来解码人类大脑所看到的东西，这些扫描代表了一种思维阅读技术。

这一进展可能有助于改善人工智能并引发对脑功能的新见解。该研究的关键是一种称为卷积神经网络的算法，它有助于计算机和智能手机识别面部和物体。

“这种类型的网络近年来在计算机视觉领域产生了巨大的影响，”普渡大学韦尔登生物医学工程学院和电气与计算机工程学院助理教授刘忠明说。“我们的技术使用神经网络来理解你所看到的东西。”

卷积神经网络是一种“深度学习”算法，已被用于研究大脑如何处理静态图像和其他视觉刺激。然而，新的发现代表了第一次使用这种方法来观察大脑如何处理自然场景的电影，这是人们试图理解复杂和动态视觉环境时解码大脑的一步，博士生海光说。温家宝。

他是10月20日在线发表于Cerebral Corte x 期刊的新研究论文的第一作者。

研究人员从观看972个视频剪辑的三名女性受试者中获取了11.5小时的fMRI数据，其中包括那些在行动和自然场景中展示人或动物的视频剪辑。首先，数据用于训练卷积神经网络模型，以预测受试者观看视频时大脑视觉皮层的活动。然后他们使用该模型解码来自受试者的fMRI数据以重建视频，甚至是模型从未观看过的视频。

该模型能够将fMRI数据准确地解码为特定的图像类别。然后，实际的视频图像与计算机根据fMRI数据解释人的大脑所看到的内容并排呈现。

“例如，水动物，月亮，海龟，人，飞行中的鸟，”温说。“我认为这项工作的一个独特之处在于我们几乎实时地进行解码，因为主体正在观看视频。我们每两秒钟扫描一次大脑，模型会重建视觉体验。 “

研究人员能够弄清楚大脑中的某些位置是如何与一个人所看到的特定信息相关联的。“神经科学试图绘制大脑的哪些部分负责特定的功能，”温说。“这是神经科学的一个里程碑式的目标。我认为我们在本文中所报告的内容使我们更接近实现这一目标。一辆汽车在建筑物前面移动的场景被大脑分解成一些信息：一个位置在大脑可能代表汽车;另一个位置可能代表建筑物。

使用我们的技术，您可以可视化任何大脑位置所代表的特定信息，并筛选大脑视觉皮层中的所有位置。通过这样做，你可以看到大脑如何将视觉场景分成碎片，并将碎片重新组装成对视觉场景的完全理解。“

研究人员还能够使用来自一个人类受试者的数据训练的模型来预测和解码不同人类受试者的大脑活动，该过程称为跨受试者编码和解码。这一发现很重要，因为它证明了这种模型广泛应用于研究大脑功能的可能性，即使对于视力缺陷的人也是如此。

“我们认为我们正在进入机器智能和神经科学的新时代，研究的重点是这两个重要领域的交叉点，”刘说。“我们的使命一般是利用大脑启发的概念来推进人工智能。反过来，我们希望使用人工智能来帮助我们理解大脑。因此，我们认为这是一个很好的策略来帮助推进这两个领域的方式，如果我们单独接触他们就不会完成。“