Representation Learning 表示学习 Part1( 四 ) _机器学习

去噪自编码器包括两个部分：编码器（）和解码器（）。编码器将输入信号编码为一个中间的表示，然后解码器将这个表示解码回原始的信号空间。通过最小化重构损失（ Loss）——即解码器输出和未被噪声污染的原始信号之间的差异，去噪自编码器可以被训练成从带噪声的输入中提取出有用的特征（）。
例如，去噪自编码器可以用来提取手写数字图像中的有用特征。即使图像被噪声污染，例如图像中添加了一些随机的像素，去噪自编码器仍然可以学习到如何从带噪声的图像中提取出有关手写数字的有用信息。
缺点：
去噪自编码器是自我监督学习中的一种有效方法，尽管它可能对一些复杂的、需要深入理解语义的任务来说过于简单。然而，这种方法仍然非常有用，尤其是在需要去噪或者恢复被噪声污染的信号的场合。
另一个版本的重构器
最有效的预测方法，就是你能够理解这是个啥
“上下文编码器”（）。上下文编码器尝试预测图像中被遮挡或者缺失的部分。这个方法在自然语言处理领域也很常见，例如和BERT模型中的掩码语言模型任务。
在这个方法中，模型的输入是一部分被遮挡或者缺失的图像，模型的任务是预测被遮挡或者缺失的部分。这通常需要模型能够理解图像的上下文信息，因为只有理解了图像的上下文，模型才可能预测出被遮挡或者缺失的部分可能是什么。
例如，如果一个图像显示了一只大象，但是大象的一部分被遮挡了，如果模型理解了这是一只大象，那么它可能就能准确地预测出被遮挡的部分是什么。
缺点：
虽然上下文编码器可能需要处理一些复杂和模糊的任务，但它们提供了一种强大的方式来学习理解图像上下文的表示，这对于许多计算机视觉任务来说是非常有价值的。
图像颜色重构任务的一个总结。在这个任务中，模型接收一张灰度图像作为输入，然后尝试预测出原始的彩色图像
在这个过程中，编码器（）首先将输入的灰度图像编码为一个中间的表示（），然后解码器（）尝试从这个表示重构出彩色的图像。重构的好坏通过重构损失（ Loss）来衡量，即预测出的彩色图像与原始的彩色图像之间的差异。
缺点：Split-brain
这段内容描述的是“上下文编码器”的一种特殊形式，被称为“分脑编码器”（Split-brain ）。在这种模型中，输入的图像被分成两个部分，每个部分分别由模型的一部分处理，然后模型尝试预测其他部分的信息。
例如，可以将彩色图像分解为灰度通道和颜色通道。然后，模型的一个部分处理灰度通道，尝试预测颜色通道，而另一个部分处理颜色通道，尝试预测灰度通道。这样，模型需要学习如何从图像的一部分信息中推断出其他部分的信息。
将二者预测结果融合，得到最终预测结果。
优点：
缺点：
**实例分类：**这是一种特殊类型的任务，其中每个数据实例都被视为自己的类别。
范例卷积神经网络，一种无监督特征学习方法
范例卷积神经网络的工作方式是：从单个图像中提取多个畸变的剪切（crop），然后让模型判断哪些剪切来自同一原始图像。如果模型能够对期望的变换（比如几何变换和颜色变换）保持稳健性，那么这个任务就相对简单。模型通过对K个“类别”（这里的类别实际上是原始图像）进行分类来实现这个任务。
缺点：
这种方法的一个关键思想是利用来自同一图像的多个畸变剪切来训练模型对图像中的对象保持稳健性，这也就要求模型能够忽略颜色和几何形状的变化，而专注于识别图像中的物体。