【论文导读】DAG _线性

这也是那篇的的讲了【也就是文中反复提及的Zheng等人的论文，数学上很basic，如果有时间可以写一下】的一个变种，听起来挺厉害的读一读
摘要
【针对的问题】从联合分布的样本中学习一个可信的（）（DAG）是一个具有挑战性的组合问题，因为图结点数量的超指数搜索空间的超指数性是难以解决的。
【优化的方法-】最近的一个突破性进展是将该问题表述为一个具有结构约束的连续优化问题，以确保（Zheng等人，2018）【也就是所解决的的问题】。作者将该方法应用于线性结构方程模型（SEM）和最小二乘损失函数在统计学上是合理的，但仍然程度有限。
【具体idea：利用深度学习】在深度学习的广泛成功的激励下深度学习能够捕捉复杂的非线性映射。在这项工作中，我们提出了一个深度生成模型，并应用一个变种的结构约束来学习DAG 。生成模型的核心是一个变异自动编码器，其参数由一个新的图神经网络架构决定，我们称之为DAG-GNN 。
【优势】除了更丰富的容量外，该模型的一个优点是：它能自然地处理离散变量和矢量变量。我们证明，在合成数据集上，所提出的方法对非线性生成的图形学习了更准确的图形；而在具有离散变量的基准数据集上，所学到的图形相当接近于全局最优值。
【源码】The code isat//DAG-GNN.
贝叶斯网络（BN）已被广泛用于机器学习应用中（等人，1999；Ott等人，2004）。贝叶斯网络的结构采用有向无环图（DAG）的形式，在因果推理中起着至关重要的作用（Pearl，1988），在医学、遗传学、经济学和流行病学中有许多应用。然而其结构学习问题是NP-hard（等人，2004），并刺激了大量的文献。
基于分数的方法通常将结构学习问题表述为针对未知（加权）邻接矩阵A和观察到的数据样本优化某个分数函数，并有一个组合约束条件，即图必须是无环的。难以解决的搜索空间（复杂度超指数的图形节点数量）给优化带来了巨大挑战。因此，对于规模超过小的实际问题，往往需要采用近似搜索，并附加结构假设（Nie等人，2014；Chow & Liu，1968；等人，2015；Chen等人，2016）。
最近，Zheng等人（2018）通过使用邻接矩阵的连续函数（特别是A?A的矩阵指数）制定了一个等价的非周期性约束。这种方法极大地改变了问题的组合性，使其成为一个连续的优化问题，可以通过使用成熟的黑盒求解器来有效解决。然而，这个优化问题是非线性的，因此这些求解器通常只返回一个静止点的解决方案，而不是全局最优。然而，作者表明，根据经验，这种局部解决方案与通过昂贵的组合搜索获得的全局解决方案具有高度的可比性。
【【论文导读】DAG】随着约束条件的启发式重构，我们重新审视了目标函数。基于分数的目标函数通常对变量和模型类别进行假设。例如，Zheng等人（2018）在线性结构方程模型（SEM）上展示了一个最小二乘法损失。虽然方便，但这种假设往往是有限制的，它们可能无法正确反映现实生活中数据的实际分布。
因此，在深度神经网络（这可以说是通用的近似器）的显著成功的激励下，我们在这项工作中开发了一个基于图的深度生成模型，旨在更好地捕捉忠实（）于DAG的采样分布。为此，我们采用了变分推理（）的机制，用专门设计的图神经网络（GNN）对编码器/解码器进行参数化。那么，目标函数（得分）是证据下界（ELBO）。
【ELBO给一个简介，之后可能再写一下变分推理的经典论文导读
变分推断中的ELBO(证据下界)的博客-CSDN博客_elbo】
与目前蓬勃发展的GNN设计不同（Bruna等，2014；等，2016；Li等，2016；Kipf & ，2017；等，2017；等，2017；Chen等，2018； ?c等 ′ ，2018），文中提出的方法是从线性SEM泛化而来，因此，当数据是线性的，新模型至少表现得和线性SEM一样好。【也就是因为假设的是线性结构，所以处理线性问题表现很好】