OpenAI CEO公布AGI规划，谨慎思考超级智能风险与人类未来( 二 ) _模型

某些时候，部署的利弊之间的平衡（例如授权恶意行为者、造成社会和经济破坏、加速不安全的竞争）可能会发生变化，在此情况下，将会显著改变围绕持续部署的计划。
其次，正在努力创建更加一致和可控的模型。从GPT-3第一版模型到和的转变就是一个早期的例子。
特别是，认为重要的是社会就“如何使用AI的广泛界限”达成一致，但在这些界限内，个人用户有很大的自由裁量权。最终希望世界机构就“这些广泛的界限应该是什么”达成一致；在短期内，计划进行外部投入实验。世界各机构需要增加更多的能力和经验，以便为有关AGI的复杂决策做好准备。
产品的“默认设置”可能会受到很大限制，但计划让用户更轻松改变他们正在使用的AI的行为。相信赋予个人做出自己决定的能力和思想多样性的内在力量。
随着其模型变得更加强大，将需要开发新的对齐（）技术（并测试以了解当前的技术何时失效）。其短期计划是使用AI来帮助人类评估更复杂模型的输出和监控复杂系统；长期计划是使用AI来帮助提出新的想法以实现更好的对齐技术。
重要的是，认为经常需在AI安全和能力方面共同取得进展。分开谈论它们是错误的二分法，它们在很多方面有关联。最好的安全工作来自与其最有能力的模型一起工作。也就是说，提高安全进步与能力进步的比率很重要。
第三，希望就3个关键问题展开全球对话：如何治理这些系统，如何公平分配它们产生的收益，如何公平共享获取这些系统的机会。
除了这三个领域之外，还尝试以一种使激励措施与良好结果相一致的方式来建立其结构。的章程中有一个条款，关于协助其他组织提高安全性，而非在后期AGI开发中与之竞争。对股东可以获得的回报设定了上限，这样公司就不会被激励去不受约束地获取价值，也不会冒险部署一些具有潜在灾难性危险的东西（当然也是作为与社会分享利益的一种方式）。
由一个非营利组织来管理，使其为人类的利益而经营（并能凌驾于任何营利利益之上），包括让做一些事情，比如在安全需要的情况下取消对股东的股权义务，赞助世界上最全面的全民基本收入（UBI）实验。
认为像这样的努力在发布新系统之前必须接受独立审计；他们将在今年晚些时候更详细地讨论这个问题。某些时候，在开始训练未来系统之前，进行独立审查可能很重要，并且对于最先进的努力，同意限制用于创建新模型的计算增长速度。认为，关于AGI何时应停止训练运行、确定模型可以安全发布、将模型从生产使用中撤出的公共标准很重要。最后，认为重要的是世界主要政府对超过一定规模的训练有着深刻的认识。
03.
长远来看：人类的未来应由人类主宰
认为，人类的未来应该由人类决定，与公众分享有关进步的信息很重要。应该对所有试图建立AGI的努力进行严格审查，并对重大决策进行公众咨询。
第一个AGI将只是智能连续体上的一个点。认为，进展很可能会从那里继续，可能会长期保持其在过去十年中看到的进展速度。如果真是如此，世界可能会变得与今天截然不同，风险也许是巨大的。一个错位的超级智能AGI可能会对世界造成严重的伤害；一个拥有决定性超级智能领导的专制政权也可以做到这一点。
可加速科学发展的AI是一个值得思考的特例，也许比其他任何事情都更有影响力。能加速自身进步的AGI可能会导致重大变化以惊人的速度发生（即使过渡开始缓慢，预计也它在最后阶段会很快发生）。
认为较慢的开始更容易确保安全，AGI努力在关键时刻减速可能很重要（即使在不需要这样做来解决技术对齐问题的世界中，减速可能对给社会足够的时间来适应很重要）。