大模型产业格局的分析、文本音频生成、语言模型替代知识图谱、天气气候预训练和通用蛋( 二 ) _模型

论文下载：
HUB地址：
标题：谷歌 | :Music From Text（: 从文本生成音乐）
作者：、Timo I. Denk等
推荐理由：目前性能最好的，可以创作出曲子特别复杂或保真度特别高的歌曲的AIGC模型。
简介：本文展示了，能以24kHz的频率生成高质量的音乐的大模型应用。该模型生成的音乐可以在几分钟内保持一致，同时忠实于文本信号。该模型也可以扩展到其他条件信号，如根据文本提示合成旋律。为了适配该模型，作者发布第一个专门为文本-音乐生成任务收集的评估数据集，由音乐家准备的5.5千首音乐-文本对的手工整理的高质量数据集。具体来说，本文采用三个模型来提取音频表征，并用于条件自回归音乐生成，模型用来处理 24 kHz 单声音频，从而得到 50 Hz 的嵌入，具有 600M 参数的 w2v-BERT 模型用于建模中间层，MuLan 模型用于提取目标音频序列的表示。在与文本生成音乐的基线方法、的比较上，所生成的音频质量得分更高。
论文下载：
HUB地址：
NLP研究
标题：印度Optum公司 | 语言模型敲响了知识图谱的丧钟（the Death Knell of）
作者：Kunal Suri、Atul Singh、、等
推荐理由：本文研究语言模型（LLS）替代知识图谱（KG）解决特定领域的问题，并通过实验证明了如何使用基于特定领域数据的LLS来替换涉及识别同义词的任务的KG；引发思考：LLS与KG在方案选择时的优劣势取舍。
简介：医疗保健领域通常使用典型的 NLP 任务（如问题回答、信息提取、命名实体识别和搜索）来简化和改进流程。然而，为了确保结果的稳健应用，NLP 从业者需要对其进行规范化和标准化。实现规范化和标准化的主要方法之一是使用KG 。KG捕获特定领域的概念及其关系，但创建非常耗时、并且需领域专家的手动干预。医疗保健一直在处理有关不同类型的药物、疾病和程序的信息爆炸。本文认为：使用KG并不是解决该领域问题的最佳解决方案。作者展示了在医疗保健领域使用LLS的实验，以证明LLS提供与KG相同的功能，从而使KG变得多余。
论文下载：
HUB地址：
标题：美国埃塞克斯大学、英国南安普顿大学 | 语境化注意力嵌入中的主题（ in）
作者：、AlbaSeco de 、
推荐理由：本文已被第45届ECIR会议采纳；在过去十年中，主题建模一直是主导的建模范式；主题模型已经被证明可以改善信息检索结果；在当前预训练、大模型的时代背景下，本文聚焦研究语言模型（LM）中的哪个组件有助于捕获主题信息。
简介：通过预训练的LM获得的上下文词向量，编码了已在应用程序中利用的各种知识。这些LM的补充是从文本中学习主题模式的概率主题模型。最近的工作表明：对来自LM的词级上下文表示进行聚类可以模拟在潜在狄利克雷分配的词的潜在主题中发现的词簇。重要的问题是：当LM尚未明确设计为对潜在主题建模时，如何通过聚类在LM中自动形成此类主题词集群。通过设计了不同的探测实验，作者发现注意力框架在建模此类单词主题集群中起着关键作用，并期望其工作为进一步研究概率主题模型和预训练LM之间的关系铺平道路。
论文下载：
HUB地址：
CV研究
标题：Adobe、特拉维夫大学、卡内基梅隆大学 |of Image （图像生成器的域扩展）

文章插图
作者：Yotam、、 Zhang、等
推荐理由：本文研究图像生成新的领域适应方法：领域扩展；不同于领域自适应技术，本文提出的方法：可以学习额外的知识、同时保持现有知识的完整性、并且可扩展到数百个新领域。