长江商学院EMBA38期甄知科技：ChatGPT应用与实践初探 _应用

近期，长江商学院期&甄知科技开展了题为“应用与实践初探”的线下沙龙活动，由上海甄知科技创始合伙人兼CTO张礼军主讲，主要给大家解密最近很火的是什么，分享如何玩转，初步探索对企业带来的变化和价值以及如何在企业管理中真正落地，活动过程干货满满，让我们一起来看看吧！
主题分享内容主要围绕以下议题展开：
1. 很火的是什么？
2. 到底怎么玩？
3. 将为企业带来哪些变化？
4. 在企业管理中怎么应用？
01：是什么助力了的产生？
出现在人工智能和自然语言处理技术迅猛发展的当下，当下大数据、计算能力、算法创新等多方面的技术进步和发展，造就了的一夜成名：
1. 大数据环境支撑：随着互联网的普及，人们产生和分享的文本数据不断增加，为训练大型语言模型提供了丰富的数据源。
2. 计算能力攀升：高性能计算硬件（如GPU和TPU）和云计算的发展，使得训练大型神经网络模型变得可行。
3. 算法创新不断：自然语言处理领域的算法不断进步，特别是架构的出现，为处理复杂数以亿计参数的模型提供了基础。
4. 人工智能应用：越来越多的企业和用户对人工智能技术产生了兴趣，推动了等智能助手的需求。
5. 开放研究投入：研究机构和企业如、谷歌等在人工智能领域的开放合作，为模型和算法的快速发展提供了支持。
总之，的出现得益于多方面的技术进步和社会需求，它代表了自然语言处理技术在理解和生成文本方面取得的重要成就。
02：很火的是什么？
张礼军先生从的入口着手，解密当下很火的是如何运作的，从而引出的含义：（ChatPre- ）是开发的一款基于生成预训练架构的大型语言模型。GPT代表"生成预训练"，它是基于架构的一种神经网络。能够理解和生成自然语言文本，可以用于多种场景，如回答问题、文本生成、自动编写代码、撰写文章、机器翻译等。
那么这么“聪明能干”的是如何运作的呢？紧接着，张礼军先生对的工作原理进行了拆解，他提到的实质功能可以用四个字来概括：“单字接龙”，具体来说就是给它「任意长的上文」，它会用「自己的模型」去生成「下一个字」。本身能做的就只有「生成下一个字」，我们所看到的回答全都是用「同一个模型」根据不同的「上文」生成出来的。
那它是怎么回答那些长内容的呢？GPT会把它自己生成的「下一个字」和「之前的上文」组合成「新的上文」再让它以此生成「下一个字」，不断重复，就可以生成「任意长的下文」了，该过程也叫“自回归生成” 。在这个过程中，影响GPT结果的因素有两个，除了「上文」外，另一个就是它的「模型」本身。「模型」就是相当于是GPT的大脑，要想让它足够聪明，必须要进行充分的训练，通过将提问和回答组合成一个问答范例，作为GPT的学习材料，通过单字接龙训练来不断完善语言模型，同时在学习的过程中，GPT能够掌握举一反三的能力，最终用自己学习到的规律生成用户想要的答案。
关于GPT的基本原理可以总结如下：
1. GPT的实质功能是单字接龙
2.长文由单字接龙的自回归所生成
3.通过提前训练才能让它生成人们想要的回答
4.训练方式是让它按照问答范例来做单字接龙
5.这样训练是为了让它学会「能举一反三的规律」

文章插图
6.缺点是可能混淆记忆，无法直接查看和更新所学，且高度依赖学习材料
GPT的基本原理看起来貌似不复杂，然而对它的训练实际是一个复杂、逐步进阶的过程，张礼军先生通过鹦鹉的例子生动的介绍了GPT的三步训练阶段：