【论文笔记】Unsupervised Deep Embedding for Cl _聚类

【【论文笔记】Unsupervised Deep Embedding for Cl】【论文笔记】 Deepfor（DEC）感性认识堆叠自动编码器(SAE)参数初始化，构建非线性映射
一个AE是两层，训练多个AE ，上层输出作为下层输入。逐层训练。把多个AE的前层放到一起作为，后层穿起来放到一起作为。中间有一个瓶颈层（潜在表示层），特征数目较少。完整的-输入输出维度不变，而DEC只取部分，使用瓶颈层的输出当作特征表示z 。软分配
有了z ，有了聚类中心，使用-t分布进行分配概率的计算，即模型分布Q 。（受t-sne启发）构建辅助分布（目标分布）
利用软分配得到的模型分布，利用高置信度预测结果，定义目标分布P基于KL散度，定义目标函数
L = K L ( P ∣ ∣ Q ) L=KL(P||Q) L=KL(P∣∣Q)联合优化表示z与聚类中心μ ，再用z去优化SAE的参数自训练策略
使用初始模型去预测数据，再使用高置信度的预测结果来训练模型。迭代提升，直到收敛。在两个连续迭代之间改变簇分配的点少于tol%时，过程停止。理性认识
isto many data-and has beenin terms ofand.work hasonfor . In this paper, weDeep(DEC), athatandusing deep. DECafrom the data space to a lower-space in which ita. Ouron image and textshowover state-of-the-art .
摘要
聚类是许多数据驱动应用领域的核心，在距离函数和分组算法方面已经得到了广泛的研究。相对而言，很少有研究聚焦于学习聚类表示。在本文中，我们提出了深度嵌入式聚类(DEC) ，一种使用深度神经网络同时学习特征表示和聚类分配的方法。DEC学习从数据空间到低维特征空间的映射，在其中迭代优化聚类目标。我们对图像和文本语料库的实验评估显示，与最先进的方法相比，有显著的改进。
1.
聚类是一种基本的数据分析和可视化工具，在无监督机器学习中已经从不同的角度进行了广泛的研究:什么是簇?什么是正确的距离度量?如何有效地将实例分组到簇中?如何验证簇?等等。在过去的文献中已经探索了许多不同的距离函数和嵌入方法。相对较少的工作关注特征空间的无监督学习，并用于聚类。
距离或差异这类概念是数据聚类算法的核心。而距离则依赖于数据在特征空间中的表示。例如， k-means聚类算法使用给定特征空间中点之间的欧氏距离，这对于图像可能是原始像素或梯度方向直方图。特征空间的选择通常作为应用程序特定细节留给最终用户来确定。然而，很明显，特征空间的选择至关重要;除了最简单的图像数据集，在原始像素上使用欧几里得距离聚类是完全无效的。在本文中，我们重新讨论了聚类分析，并提出了一个问题:我们是否可以使用数据驱动的方法来共同解决特征空间和聚类成员关系?
我们从最近关于计算机视觉深度学习的工作中获得了灵感，通过学习更好的特征，可以在基准任务中获得明显的收益。然而，这些改进是通过监督学习获得的，而我们的目标是无监督数据聚类。为此，我们定义了从数据空间X到低维特征空间Z的参数化非线性映射，在该映射中我们优化了聚类目标。与之前在数据空间或浅层线性嵌入空间上操作的工作不同，我们通过反向传播在聚类目标上使用随机梯度下降(SGD)来学习映射，这是由深度神经网络参数化的。我们将这种聚类算法称为深度嵌入式聚类，或DEC 。