SUBLIME 论文解读《Towards Unsupervised Deep _论文

优质资源分享学习路线指引（点击解锁）知识定位人群定位
实战微信订餐小程序
进阶级
【SUBLIME论文解读《Towards Unsupervised Deep】本课程是 flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
量化交易实战
入门级
手把手带你打造一个易扩展、更安全、效率更高的量化交易系统
论文信息
论文标题：Deep Graph论文作者：Yixin Liu, Yu Zheng,Zhang,Chen, Hao Peng,Pan论文来源：2022, WWW Best Paper Award 论文地址：论文代码：
1
Deep GSL（深度图结构学习）：在节点分类任务的监督下和GNN共同优化图结构。弊端是对标签的依赖、边分布的偏差、应用程序任务的限制等。
本文和监督 GSL 对比：
2
符号定义：
3.1 ( ). Given aX∈Rn×dX∈Rn×d\{X} \in \{R}^{n \times d} , theofis tolearn a graphS∈[0,1]n×nS∈[0,1]n×n\{S} \in[0,1]^{n \times n} , whichtheamong data . In , Sij∈[0,1]Sij∈[0,1]\{S}_{i j} \in[0,1]there is an edgetwo(nodes) xixi\{x}_{i} and xjxj\{x}_{j} .
3.2 ( ). Given a graph G=(A,X)G=(A,X)\{G}=(\{A}, \{X}) with a noisy graphAA\{A} , theofis toAA\{A} to be theS∈[0,1]n×nS∈[0,1]n×n\{S} \in[0,1]^{n \times n} tothenodes.
3
整体框架：
包括两个模块：
3.1 Graph
Graph生成一个带参数的图邻接矩阵S∈Rn×nS∈Rn×n\tilde{\{S}} \in \{R}^{n \times n} 。本文的Graph包括如下四种：
3.1.1 FGP
通过一个参数矩阵直接建模邻接矩阵的每个元素，没有任何额外的输入。FGP ：
S=pFGPω=σ(Ω)(1)S=pωFGP=σ(Ω)(1)\tilde{\{S}}=p_{\omega}^{F G P}=\sigma(\Omega)\quad\quad\quad(1)
其中，ω=Ω∈Rn×nω=Ω∈Rn×n\omega=\Omega \in \{R}^{n \times n} 是一个参数矩阵，σ(?)σ(?)\sigma(\cdot) 是一个非线性函数，使训练更稳定。FGP学习器背后的假设是，每条边都独立地存在于图中。
ruby
class FGP\_learner(nn.Module):def \_\_init\_\_(self, features, k, knn\_metric, i, sparse):super(FGP\_learner, self).\_\_init\_\_()self.k = kself.knn\_metric = knn\_metricself.i = iself.sparse = sparseself.Adj = nn.Parameter(torch.from\_numpy(nearest\_neighbors\_pre\_elu(features, self.k, self.knn\_metric, self.i)))def forward(self, h):if not self.sparse:Adj = F.elu(self.Adj) + 1else:Adj = self.Adj.coalesce()Adj.values = F.elu(Adj.values()) + 1return Adjdef nearest\_neighbors\_pre\_elu(X, k, metric, i):adj = kneighbors\_graph(X, k, metric=metric)adj = np.array(adj.todense(), dtype=np.float32)adj += np.eye(adj.shape[0])adj = adj * i - ireturn adj
FGPCode
与 FGP不同，基于度量学习的 [7,58] 首先从输入数据中获取节点嵌入 E∈Rn×dE∈Rn×d\{E} \in \{R}^{n \times d}，然后利用节点嵌入的两两相似性对 SS\tilde{\{S}} 进行建模：
S=pMLω(X,A)=?(hω(X,A))=?(E)(2)S=pωML(X,A)=?(hω(X,A))=?(E)(2)\tilde{\{S}}=p_{\omega}^{M L}(\{X}, \{A})=\phi\left(h_{\omega}(\{X}, \{A})\right)=\phi(\{E})\quad\quad\quad(2)
其中，hω(?)hω(?)h_{\omega}(\cdot) 是一个基于神经网络的带参数 ωω\omega 的嵌入函数，而且 ?(?)?(?)\phi(\cdot) 是一个非参数度量函数（如余弦相似度或闵可夫斯基距离），它计算成对相似度。
对于不同的 hω(?)hω(?)h_{\omega}(\cdot)，本文是、MLP 、GNN。
3.1.2
采用一个注意网络作为其嵌入网络：
E(l)=h(l)w(E(l?1))=σ([e(l?1)1⊙ω(l),?,e(l?1)n⊙ω(l)]?)(3)E(l)=hw(l)(E(l?1))=σ([e1(l?1)⊙ω(l),?,en(l?1)⊙ω(l)]?)(3)\{E}{(l)}=h_{w}{(l)}\left(\{E}{(l-1)}\right)=\sigma\left(\left[\{e}_{1}{(l-1)} \odot \omega^{(l)}, \cdots, \{e}_{n}^{(l-1)} \odot \omega{(l)}\right]{\top}\right)\quad\quad\quad(3)
其中：