ChatGPT 以及神经网络如何学会说话 30 年的旅程

由于神经网络和语言处理方面的惊人进步，计算机可以像另一个人一样理解和响应人类语言。从最初的怀疑时刻到目前的成就状态的旅程是一个不懈创新和发现的故事。问题的艺术 YouTube 频道创造了一段奇妙的历史，记录了 30 年的旅程，将我们带到了 ChatGPT-4 和其他 AI 模型。

早在 1980 年代，机器可以掌握人类语言细微差别的想法就遭到了怀疑。然而，神经网络从基本的、单一用途的系统到复杂的、多功能的模型的演变是非凡的。1986 年，Michael I. Jordan 引入了递归神经网络 （RNN）。这些网络具有可以学习序列的记忆细胞，这对于语言理解至关重要。

1990 年代初期，杰弗里·埃尔曼 （Jeffrey Elman） 进行了实验，该实验表明，神经网络可以找出单词边界并按含义对单词进行分组，而无需直接被告知这样做。这一发现是向前迈出的一大步，表明神经网络可能能够自行解码语言结构。

神经网络如何学会说话

随着我们进入 2010 年代，对更大神经网络的推动导致了语言预测和生成能力的提高。这些复杂的模型可以筛选海量数据集，从上下文和经验中学习，就像人类的学习方式一样。

然后，在 2017 年，Transformer 架构出现了。这种新方法使用自注意力层一次性处理所有序列，有效地克服了RNN的内存限制。Transformer 模型是生成式预训练 Transformer （GPT） 模型的基础。

GPT 模型以其令人难以置信的学习能力而闻名，无需特定示例即可学习、遵循指令并执行它们没有直接训练过的任务。这是人工智能的巨大飞跃，展示了曾经被认为不可能的适应性和理解力。

ChatGPT 是这些模型的变体，成为许多人可以使用的工具，允许他们与高级语言模型进行交互。它进行人性化对话的能力令人印象深刻，这表明这些技术的巨大潜力。

最新的突破之一是情境学习。这使得像 ChatGPT 这样的模型能够在使用新信息时接收新信息，在不改变其底层结构的情况下适应新情况。这类似于人类的学习方式，情境在理解和使用新知识方面起着至关重要的作用。

然而，这种快速的进展引发了人工智能专家之间的争论。这些模型是真正理解语言，还是只是模拟理解？这个问题是该领域专业人士讨论的核心。

展望未来，大型语言模型作为新型操作系统基础的潜力是巨大的。它们可以改变计算机通常处理的任务，标志着人类与机器交互的新时代。

从最初的怀疑到今天的高级语言模型，这条路是漫长的，充满了突破。神经网络的进步改变了语言处理，并为未来铺平了道路，在未来，计算机可能会以我们从未想过的方式与人类语言互动。这些技术的变革性影响继续重塑我们的世界，并有望带来更多惊人的进步。