Representation Learning 表示学习 Part1 _机器学习

文章目录损失函数(CPC)time
来自教授（MIT计算生物学主任）的课《人工智能与机器学习》
主要内容是表示学习（）的part1---- Text（代理任务/前置任务/辅助任务等等），可以理解为是一种为达到特定训练任务而设计的间接任务。
包括这几个部分：推断结构、转换预测、重构、利用时间、多模态、实例分类（对应英文见目录）
下面贴出油管链接：
,GANs,VAEs,
:tasks,,, next word , image,.
表示学习：这是一种机器学习方法，目的是自动识别更好的方式来表示输入数据到学习算法。这个想法是，如果给出正确的数据表示，下游任务（如分类或回归）应该变得更容易。
假设任务：在自监督学习中，假设任务被设计为辅助任务，其中模型从无标签数据中学习丰富的特征表示，然后可以用于主要任务。假设任务的例子是预测句子中的下一个单词，图像完成，或黑白图像的着色。
嵌入空间：这些是高维向量空间，其中相似的对象靠得很近，不同的对象离得很远。它们经常用于表示分类变量或离散对象，如单词（在或GloVe中），句子（在-BERT中），甚至图（在图神经网络中）。
知识表示：这是人工智能领域的一部分，专注于以计算机系统可以用来解决复杂任务的形式表示关于世界的信息，例如诊断医疗状况或使用自然语言进行对话。它包括动作、时间、因果关系和信念等的表示。
下一个单词预测：这是语言建模的一个任务，其中模型预测给定前面单词的句子中的下一个单词。它常用于训练深度学习模型，如变形金刚（如GPT-3或GPT-4），目标是预测序列中的下一个标记。
图像位置预测：这可能是一个任务，目标是基于某些上下文预测图像的正确位置或排列。例如，给定一个缺少一个面板的漫画系列，任务将是预测缺失面板的正确位置。这种任务需要很好地理解视觉叙述和上下文。
变分自编码器（VAEs）：这些是使用神经网络进行复杂，难以处理的概率模型的有效贝叶斯推理的生成模型。VAEs有一种特定的架构，允许它们生成新的数据，这些数据类似于训练数据。它们对于如异常检测、去噪和生成新样本等任务特别有用。
深度学习是一种用于理解和学习数据表示的强大框架。其关键思想是表示学习，即将原始数据转化为更有意义的形式，更容易用于任务，如分类。
深度学习与传统神经网络的主要区别在于它将特征提取和分类两个任务结合在一起：分类任务驱动特征的提取。这是一种极为强大和通用的模型，但我们仍然需要不断创新，因为这个领域仍然处于其发展的初期。
新的应用领域（比如超越图像的领域）可能具有当前架构无法捕获或利用的结构。例如，基因组学、生物学和神经科学可能有助于推动新架构的发展。
当我们说新的应用领域可能具有当前架构无法捕获或利用的结构时，这就好像你有一个超级先进的工具箱，里面有各种锤子、螺丝刀、扳手等工具，这些工具在修理家具或汽车时可能非常有效。但是，如果现在你面临的挑战是烹饪一顿美味的晚餐，那么你可能需要一些全新的工具，比如锅、刀和烤箱，而这些工具可能还不在你的工具箱里。
同样，我们当前的深度学习架构（例如卷积神经网络或循环神经网络）在处理图像、音频和文本数据时表现得非常出色。然而，当我们尝试应用深度学习到新的领域，比如基因组学（DNA序列分析）、生物学（如蛋白质结构预测）或神经科学（如脑波分析）时，我们可能会发现我们现有的工具并不完全适合。我们可能需要发展新的深度学习架构，这些架构能够更好地理解和利用这些领域的数据结构。