记忆增强的神经网络：大脑与机器的智慧之源

背景简介

在探讨人类大脑如何处理信息以及如何与计算机程序相比较的过程中，我们发现了工作记忆这一概念。工作记忆是大脑临时存储和操纵信息的能力，这种能力在我们解决问题和理解复杂概念时起着关键作用。本章内容将围绕如何通过神经网络来模仿和增强这一能力进行展开。

计算机程序与大脑工作记忆的相似性

通过一个简单的计算机程序示例，我们得以一窥大脑在处理类似任务时可能的内部机制。程序步骤包括分配内存、初始化计数器、逐词检查并增加计数器，最终返回结果。这一过程与大脑的工作记忆操作有着惊人的相似性。大脑在阅读时也在分配“内存”来存储信息片段，并能够迅速查询并得出结论。

工作记忆与神经图灵机（NTM）

工作记忆的概念启发了神经科学和认知心理学的研究，也为神经图灵机（NTM）提供了灵感。2014年，Google DeepMind的研究者们提出了NTM架构，它通过控制器神经网络和外部存储器来模拟大脑的工作记忆。NTM的结构和现代计算机相似，但控制器学会了其程序，而不是被程序喂养，这一点与CPU不同。

NTM的记忆寻址机制

NTM通过连续的方式访问其内存，而非离散地址。这种连续访问是通过注意力方法实现的。注意力方法允许每个头生成一个softmax注意力向量，通过这种方式，NTM能够在模糊状态下同时访问所有内存位置，并根据注意力权重对特定位置进行聚焦。

基于内容的寻址和基于位置的寻址

NTM有两种寻址机制：基于内容的寻址允许通过内容查找来访问特定位置；而基于位置的寻址则允许NTM在内存中前进或后退。这两种机制结合，使NTM能够灵活地解决多种任务。

可微分神经计算机（DNC）的引入

尽管NTM具有强大的能力，但它仍然存在一些局限性，例如数据干扰、无法重用记忆位置以及无法记录数据间的时间信息。为解决这些问题，可微分神经计算机（DNC）被提出。DNC在保持NTM优点的同时，解决了记忆干扰和位置重用的难题，能够更好地模拟人类大脑的工作记忆。

总结与启发

通过对大脑工作记忆的了解以及神经图灵机和可微分神经计算机的探索，我们可以看到计算机科学与神经科学之间的相互启发。机器学习和人工智能领域正在逐渐接近人类大脑的智能水平。NTM和DNC的架构为我们提供了一个学习大脑如何存储和处理信息的窗口，并为未来更智能的机器学习系统奠定了基础。

关键词

工作记忆、神经图灵机、记忆增强神经网络、注意力机制、可微分神经计算机