GeneGPT:用领域工具增强大型语言模型,以改善对生物医学信息的访问

文章目录三、总结与讨论
CSDN 叶庭云:
一、论文关键信息
论文标题::LargewithTools forto
论文地址:
作者团队:Qiao Jin, Yifan Yang,Chen,Lu
? 代码地址:暂无
【GeneGPT:用领域工具增强大型语言模型,以改善对生物医学信息的访问】关键词:大型语言模型、生物医学问答、工具学习
一段话总结:教会 CodeX 使用 NCBI Web APIs,SOTA on 7 # tasks 。
尽管大型语言模型(LLMs)已被成功应用于各种任务,然而它们仍然面临着幻觉的挑战 。利用特定于领域的工具(如数据库实用工具)扩展 LLMs 的应用,能够更轻松、更精准地访问专业知识 。在这篇论文中,作者提出了 ,这是一种新的方法,用于教授 LLM 利用国家生物技术信息中心(NCBI)的 Web APIs 来回答基因组学问题 。具体而言,作者建议使用 CodeX 进行上下文学习,结合增强解码算法来检测和执行 APIs 调用,从而利用 NCBI Web APIs 解决测试(基因组学问答基准) 。

GeneGPT:用领域工具增强大型语言模型,以改善对生物医学信息的访问

文章插图
经过实验证明, 在基准测试中 8 个任务中表现最为优异,平均得分为 0.83 。相比之下,在检索增强的 LLMs 中,New Bing 得分仅为 0.44;而在生物医学 LLMs 中, 和的得分分别为 0.08 和 0.04 。此外,相对于 GPT-3 和而言, 的表现也更为突出,它们的得分分别为 0.16 和 0.12 。
进一步分析表明:
理解一篇论文的基本逻辑和形式:
二、主要内容 1.
解决什么问题?做这个事儿的意义、挑战?
2. 解决方案关键
通过上下文学习和使用 NCBI Web APIs 来提示 CodeX 。由两个主要模块组成:
利用 NCBI Web APIs 的 E-utils 和 BLAST 工具,提供了访问生物医学数据库和进行 DNA 序列比对的功能 。这些 Web APIs 调用是通过中的库实现的 。
通过上下文学习和,教授一个 LLM 如何使用 NCBI Web APIs 。展示了提示符的示例,它由四个模块组成:
前三个部分对于所有任务都是固定的,而最后一个部分则是特定于任务的 。
GeneGPT:用领域工具增强大型语言模型,以改善对生物医学信息的访问

文章插图
推理算法 。具体而言,我们首先将给定的问题附加到提示符上,并将连接后的文本以温度为 0 的方式提供给Codex 。我们选择使用 CodeX 有两个原因:
3. 实验和结果
实验任务:
主要就是评估在生物医学问答基准上的准确性:
三、总结与讨论
推出了 ,这是一种新颖的方法,教授 LLMs 如何使用 NCBI Web APIs 。它在 8 个任务上实现了 SOTA 性能,并可以执行链式 API 调用 。实验结果表明,数据库实用工具可能比相关网页更优秀,可以增强 LLMs,以忠实地服务于各种生物医学信息需求 。
? 相关工作:
论文的主要贡献总结如下:
可能的改进和进一步工作:
参考链接: