为什么对ChatGPT、ChatGLM这样的大语言模型说“你是某某领域专家”( 四 ) _神经

那人工智能会“涌现”出创造力吗？
有一种观点认为大模型只是按某种概率产生回答，它受限于人类目前已有的多模态（文字、声音、视频）资料，并不会创造。?????
有一种观点认为也许有一天，它会产生自己的意识，并认为它会变得很危险，需要加以限制。
你觉得哪种观点对？）??????????????
02
—
机器学习与神经网络的训练
迄今为止，我们讨论的是“已经知道”如何执行特定任务的神经网络。但神经网络之所以如此有用（也适用于大脑），是因为它们不仅原则上可以执行各种任务，而且可以逐步地从示例中“训练”以执行这些任务。
当我们制作一个可以区分猫和狗的神经网络时，我们不需要有效地编写一个程序来直白的找到（猫狗的）触须；相反，我们只需要展示很多关于什么是猫和什么是狗的示例，然后让神经网络从中“机器学习”，学会区分它们。
关键在于，经过训练的神经网络可以从它所展示的特定示例中“泛化” 。就像我们之前看到的那样，网络并不仅仅是识别它所展示的特定猫图像的像素模式；而是神经网络以某种方式根据我们认为的某种“一般猫的特征”来区分图像。
那么神经网络的训练实际上是如何工作的呢？基本上，我们始终试图找到一组权重，使神经网络能够成功地复现我们给定的示例。然后，我们依赖于神经网络以一种“合理”的方式在这些示例之间进行“插值”（或“泛化”）。
让我们看一个比上面的最近点问题更简单的问题。我们只是尝试让神经网络学习函数：
对于这个任务，我们将需要一个只有一个输入和一个输出的网络，如下所示：
但是，我们应该使用什么权重等？对于每组可能的权重，神经网络都会计算一些函数。例如，以下是使用几组随机选择的权重时的情况：
是的，我们可以明显看到，在这些情况下，它都没有接近我们想要的函数。那么如何找到能够复现函数的权重呢？
基本思想是提供大量的“输入→输出”示例供其“学习”，然后尝试找到能够复现这些示例的权重。以下是使用逐渐增加的示例进行训练的结果：
在这个“训练”过程的每个阶段，网络中的权重逐渐调整，我们看到最终获得了一个成功复现所需函数的网络。那么我们如何调整权重呢？基本思想是在每个阶段看看“离我们想要的函数有多远”，然后以一种使之更接近的方式更新权重。
为了找出“离我们想要的函数有多远”，我们计算通常称为“损失函数”（有时称为“代价函数”）的函数。在这里，我们使用一个简单的（L2）损失函数，即获取的值与真实值之间差异的平方和。我们看到，随着训练过程的进行，损失函数逐渐减小（根据不同任务的不同“学习曲线”），直到达到一个点，网络（至少在很好的近似情况下）成功复现了我们想要的函数：
最后一个需要解释的关键部分是如何调整权重以减小损失函数。正如我们所说，损失函数给出了我们得到的值与真实值之间的“距离” 。但是，“我们得到的值”在每个阶段都由当前版本的神经网络决定，并由其中的权重确定。现在假设权重是变量，比如wi 。我们想要找出如何调整这些变量的值以最小化依赖于它们的损失。
例如，想象一下（这是对实际应用中典型神经网络的极度简化），我们只有两个权重w1和w2 。那么我们可能会有一个以w1和w2为函数的损失函数如下所示：
在这种情况下，数值分析提供了多种寻找最小值的技术。但一种典型的方法是沿着最陡下降的路径逐步前进，从之前的w1和w2开始：