做好“关键基础设施提供商”角色，亚马逊云科技加快生成式AI落地( 二 ) _模型

可以扩展基础模型以理解用户请求，将复杂任务分解为多个步骤，开展对话以收集更多信息，并采取行动来满足用户请求。开发者只需点击几下，就能创建完全托管的：
该功能创建的对话式智能体可根据专有数据提供个性化的最新答案并执行操作，帮助企业加速交付生成式AI应用程序，推动解决生成式AI落地的「最后一公里」问题。比如，企业可以使用创建一个可以处理订单的客户服务聊天机器人，利用其内部信息（包括客户资料和退货政策）来定制化服务于每个订单。
如果做个比喻的话，就像是一个得力的助手。或许在不久的将来，我们就能享受这一功能所提供的用户端服务：不只是显示有哪些合适的航班、推荐口碑好的餐厅，还能直接帮忙预订、跟进。
生成式AI时代的搜索技术变革
在解决大模型落地挑战的火热讨论中，「向量搜索」和「向量数据库」的概念开始被越来越多的人熟知。这是检索技术层面在生成式AI时代正在发生的变革。
首先，伴随数据规模的增长，关键词检索已经不能满足需求，向量检索可作对传统搜索技术的补充。通过将数据表示为向量，模型可以快速分析和理解大量信息，准确地识别和匹配相似的项目。
其次，经过预训练的大模型固然能力出众，但也存在一些不足，比如缺乏领域知识、缺乏长期记忆、缺乏事实一致性的问题。而在数据规模不断增长、算力日益珍贵的现状下，向量数据库可作为大模型的「超级大脑」，打一份小抄，相对较低的成本补充动态知识，满足用户不断增长的需求。
对于这一方向，亚马逊云科技早早发力，此前已上线多项支持向量的数据存储服务，包括兼容版关系型数据库，兼容的 RDS（）关系型数据库等。
在这一次的峰会上，亚马逊云科技又推出了适用于的向量引擎。该向量引擎支持简单的API调用，可用于存储和查询数十亿个。
该引擎由项目中的k最近邻(kNN)搜索功能提供支持，为客户提供无服务器环境下的语义搜索服务。即使向量从原型设计期间的几千个增长到数亿甚至更多，引擎也能无缝扩展，无需重新索引或重新加载数据来扩展基础设施。
顺应大模型时代的广泛需求，亚马逊云科技还正式宣布，平台上所有的数据库未来都将具有向量功能，帮助客户简化运营，方便集成数据。
让生成式AI落地多重加速
在这些重磅发布之外，为了加速生成式AI的训练和应用，亚马逊云科技已推出了一系列服务和工具。
最新动态是，两项关键服务已正式可用：其中一项服务是关于计算基础设施，基于英伟达H100Core GPU的 EC2 P5实例已正式可用，满足客户在运行工作负载时对高性能和高扩展性的需求。
很多业界知名的生成式AI模型同时涵盖问题回复、代码生成、视频和图像生成、语音识别等功能，规模通常有千亿或万亿参数，训练时间甚至长达数月。这势必会成为普遍影响生成式AI落地速度的因素之一。
与上一代基于GPU的实例相比，EC2 P5实例使得训练最高提速6倍，曾经的几天训练时间可缩短到几小时，帮助客户降低高达40%的训练成本。
另外一项服务是有关于开发工具。去年，亚马逊云科技推出了AI编程助手预览版，获得了开发者的高度关注。数据表明，与未使用该编程助手的开发者相比，使用者完成任务的速度平均快57% 。现在，已经正式可用，并且实现了与 Glue的集成。
从此以后，开发者可以用自然语言编写特定任务，会直接在 Glue 中推荐一个或多个可完成此任务的代码片段，用户可以选择「接受最推荐的建议」、「查看更多建议」或「继续自己编写代码」。也就是说，即使完全不会写代码，你也可以尝试用「说人话」的方法构建出完整的应用程序。