“为什么？是什么？怎么做？” — 关于AI安全性的几个问题

? 原创 ·作者 |杨靖锋
我在 2023 年 5 月 5 日开始写这篇文章的英文版，并在 2023 年 5 月 8 日完成了它。
英文博客原文：
原文：
这篇文章可能包含一些引发敏感或冒犯性的陈述或例子。所有观点都是我个人的，不代表我的所属机构或其他任何人的观点。感谢Jin 和 Jie Huang 对本文初稿提供的建议。
最近，AI 安全性引起了越来越多的关注。直到一年前，我才意识到 AI 安全的重要性。在那之前，尽管我进行了六年多的自然语言处理研究，我对此并没有太多兴趣。但我本应该意识到，随着 AI 技术变得越强大，AI 安全问题就变得越严重。
随着和 GPT4 的进展，每次我们想要构建一套拥有最先进 AI 技术的现代化 AI 系统时，我们必须将 AI 安全放在首位。最终，AI 应该帮助人们，而不是取代人们或对我们的社会造成伤害。在本文中，我将介绍为什么 AI 安全很重要，我们应该考虑哪些具体的 AI 安全问题，以及如何实现 AI 安全。
注：这篇博客的很多内容是从 “GPT4”、Sam的论文 “Eightto know about large” 以及 Jacob的博客 “and” 中概括甚至摘录的。如下所示，我总体上采用了 “GPT4:Card” 的对 AI 安全问题的分类，但也尽力使其更加清晰明了。
为什么AI安全很重要？
从的角度来看，他们解释了为什么在 GPT4 技术报告中没有披露更多技术细节。他们表示：“鉴于商业竞争环境和像 GPT-4 这样的大规模模型对安全的影响，本报告不包含关于架构、硬件、训练计算、数据集构建、训练方法或类似内容的进一步细节。”
很多人可能过高地估计了商业原因，却低估了安全原因。如果一个超强大的模型发布了，但没有相应的类似在安全对齐方面进行数年的努力（包括在训练完成后至少 6 个月的 GPT-4 安全对齐工作），可能会出现许多严重的安全问题。事实上，最近各种开源的大型语言模型及其聊天机器人版本的兴起已经展示了对安全对齐的忽视，可能引发许多问题。
从我个人的观点来看，我将通过以人为中心的 AI（Human- AI）的视角解释 AI 安全的重要性。尽管我的学术导师是对社会负责的自然语言处理（NLP）和以人为中心的 AI 的先驱（Human- AI），但自从 2019 年与她合作以来，我没有在这个研究方向上投入太多努力，因为我认为当时的语言技术（如 NLP）还不够先进到我们应该将安全问题放在首位。
直到来到工业界，我才意识到在将任何 AI 系统部署到真实世界的使用场景时，AI 安全都是最重要的方面。随着我越来越多接触产品的现实世界用户，我才能意识到这个当前 AI 系统最关键的问题之一。我可以通过一个例子来展示人类中心 AI 的重要性。包括我在内的许多学术界的人过于关注学术基准数据集，而不是尝试处理现实世界用户数据并获得真实世界用户的反馈。
绝对是在这个方向上的先驱。自从 GPT3 在 2020 年发布以来，他们就不再关心模型在特定的 NLP 基准数据集上的优越性能。相反，他们在三年前推出了 GPT3 API 和，开始收集真实世界的用户数据，并优化真实世界的用户体验。三年来的用户输入指令、标注的回复和反馈是最有价值的资产之一，构成了其他公司（甚至是科技巨头）进入这个领域的门槛。
当使用这些数据来进行人类意图和价值对齐时，大部分其他自然语言处理研究人员，包括那些在最先进的学术和工业研究实验室工作的人，仍在优化特定自然语言处理任务的性能，或者进行学术数据集上的指令微调，并一直持续到去年年底。
这是和其他机构之间思维模式的关键差异，也是其拥有领先地位的原因。因此，现在是从以模型为中心的 AI（Model- AI）转向以数据为中心的 AI（Data- AI），进而发展为以人类/用户为中心的 AI（Human/User- AI）的时候了。