OpenAI Sam Altman对AI的最新思考：5( 二 ) _开源中国

：
有没有任何插件成为你的工作流程的一部分？
Sam：
我偶尔在代码解释器中浏览。但说实话，对我个人来说，它们还没有真正像是日常习惯的一部分。
大语言模型的未来：合成数据突破数据天花板 / RLHF训练人才争夺战
：
所以显然，这很有可能是我们正在经历的趋势，超线性（速度）的实现模型能力的收益；但谁知道呢，也许我们很快就会接近极限，那是可能的，但至少是一种可能性。如果我们最后走到这个尽头，你认为我们回头看，认为原因是数据不够，或者计算能力不足，最有可能的是什么呢？
Sam：
我真的不认为这会发生。
但如果真的发生了，我认为这可能是我们现有架构中的某些基本问题，以一种我们现在还没有察觉的方式限制了我们。比如说，我们可能永远无法让这些系统变得非常稳健，所以我们无法让它们能够可靠地保持在正确的轨道上，理解它们正在犯错误；因此，它们不能真正在大规模上有效地获取新知识。但我没有理由相信这就是（会发生的）情况。
：有些人认为我们现在的训练数据已经接近互联网的全部内容，你不能把这个数目再增加两个数量级，我想你可能会反驳说，是的，但是（还有）合成数据生成，你认为数据瓶颈重要吗？
Sam：
我认为，就像你刚才提到的，只要你能达到这个合成数据的临界点，模型足够聪明，能制作出好的合成数据，我认为应该没问题。
我们肯定需要新的技术，我不想假装没有这个问题。简单地把扩展起来，预先从互联网上获取训练数据，这种方法会失效，但这并不是我们的计划。
：
所以GPD 3.5和4的一大突破就是RLHF 。如果你，Sam，亲自做了所有的RLHF，模型会变得明显更聪明吗？反馈的人是否重要？
Sam：
我认为我们正在进入一个阶段，在某些领域，你真的需要聪明的专家给出反馈，以使模型变得尽可能智能。
：
所以，这会不会引发一场疯狂的对最聪明的研究生的争夺战？
Sam：
我认为会。我不知道这场争夺战会有多疯狂，因为世界上有很多聪明的研究生，但聪明的研究生将会非常重要。
：
我们需要多少聪明的研究生呢？一个就够了，还是需要10000个？
Sam：
我们正在研究这个问题。我们真的不知道，比如一个真正聪明的人能为我们带来多大的优势，模型可以在哪些方面提供帮助，或者模型能自我进行一些强化学习，我们对此深感兴趣，但这还是个未知数。
AI监管：建立AI国际化监管机构，所有超过能力阈值的系统都需要接受审核
：
核武器的秘密应该被机密处理吗？
Sam：
可能，应该吧。我不知道我们在这方面做得有多有效。我认为我们之所以避免了核灾难，并不完全是因为我们把秘密做了机密处理，而是我们做了一些聪明的事情。我们很幸运，至少很长一段时间，它所需要的能量是巨大的，基本上需要国家的力量。我们建立了国际原子能机构，我认为总的来说这是一个好决定，还有其他一些事情。所以我认为，你可以做任何事情来提高好结果的可能性，机密化核武器的秘密可能会有所帮助。不把它机密处理的话（其他操作）似乎没有多大意义，另一方面，我不认为这会是一个完全的解决方案。
：
当我们考虑所有现在已经成为中心的AI安全问题时，我们应该从我们核不扩散的经验中吸取什么最重要的教训？
Sam：
首先，我认为过分借鉴以前的技术总是一个错误。每个人都想要找一个类比，每个人都想说，哦，这就像这个，或者那个，我们是这样做的，所以我们将再次这样做，但每种技术的形式都是不同的。然而，我认为核材料和AI超级计算机有一些相似之处，这是我们可以借鉴和获得启示的地方，但我会提醒人们不要过度学习上一件事的教训。我认为可以建立一个类似于国际原子能机构的AI机构——我知道这听起来多么天真，这么做有多困难——但是我认为让每个人都参与到对极其强大的AI训练系统的全球监管机构中来，这似乎对我来说是一个非常重要的事情。我认为这就是我们可以学到的一个教训。