多项创新技术加持，实现零COGS的Microsoft Editor语法检查器 _模型

编者按：是一款人工智能写作辅助工具，其中的语法检查器（）功能不仅可以帮助不同水平、领域的用户在写作过程中检查语法错误，还可以对错误进行解释并给出正确的修改建议。神经语法检查器模型是这款提供了强大拼写检查和语法纠正服务的背后的关键技术，该模型采用了微软亚洲研究院创新的算法，并借助高性能 ONNX （ORT）进行加速，使服务器端的模型推理速度提升了200% ，在不损失模型预测质量的情况下，节省了三分之二的成本。神经语法检查器模型还使用了微软亚洲研究院前沿的客户端建模技术，构建了性能优异的轻量级生成语言模型，结合部署中的模型和系统优化，该技术可赋能用户在设备上的部署，从而实现零销货成本（zero-COGS, zero-cost-of-goods-sold）的目标。本文编译自微软研究院博客 “ Zero-COGS with” 。
自上世纪70年代以来，语法检查器（）所依赖的技术已经取得了显著的发展，最初的第一代工具只是基于简单的模式匹配（）。1997年，一个标志性的事件发生了，当时Word 97 引入了一个基于成熟的自然语言处理系统（, 2000）的语法检查器，以支持更复杂的错误检测和修改，并提高了准确率。2020年，语法检查器再次实现关键性突破，微软推出了神经语法检查器（），通过利用深度神经网络和全新的流畅度提升学习和推理机制，神经语法检查器在 CoNLL-2014 和 JFLEG 基准数据集上均取得了 SOTA 结果[1, 2] 。2022年，微软发布了高度优化后的神经语法检查器，并将其集成到 Word Win32、Word 、和中。
如今版本中的神经语法检查器模型主要采用了微软亚洲研究院创新的算法，而且借助高性能 ONNX （ORT）进行加速，可以使服务器端模型的推理速度提升200% ，在不损失模型预测质量的情况下，节省了三分之二的成本。此外，该神经语法检查器模型还使用微软亚洲研究院前沿的客户端建模技术，构建了性能优异的轻量级生成语言模型，结合部署过程中设备开销感知的模型和系统优化，该技术满足交付要求，赋能用户设备上的部署，最终实现了零销货成本（zero-COGS, zero-cost-of-goods-sold）的目标。
不仅如此，中的神经语法检查器模型在转换为客户端模型后，还有三个优势：
1. 提升隐私性。客户端模型在用户设备本地运行，无需向远程服务器发送任何个人数据。
2. 增强可用性。客户端模型可以离线运行，不受网络连接、带宽或服务器容量的限制。
3. 降低成本、提高可扩展性。客户端模型运行在用户设备上，省去了服务器执行所需的所有计算，从而可以服务更多客户。
另外，还使用了 GPT-3.5 模型来生成高质量的训练数据来识别和移除低质量的训练示例，从而提升模型的性能。
算法具有巨大价值，它不仅适用于这样对响应时间、请求频率和准确度都有很高要求的应用场景，还可以拓展到更多功能模块，如文本重写、文本摘要等。算法让我们能够在保证模型预测质量不受损的同时更快地服务更多的客户，降低服务成本并提高产品的竞争力和影响力, 这一创新技术也将在未来的客户端模型研发中发挥重要作用。