RelEx结合代理和扰动的思想，研究节点分类模型的可解释性。

论文标题：RelEx: A Model-Agnostic Relational Model Explainer
论文地址：https://arxiv.org/pdf/2006.00305.pdf

RelEx实验

实验目的

研究RelEx的有效性

首先，研究RelEx在合成数据集上解释GNNs模型的有效性

然后，研究RelEx在合成数据集上解释HL-MRFs模型的有效性

其次，研究RelEx在真实数据集上解释GNNs模型的有效性

最后，研究RelEx在真实数据集上的多种解释

实验方案

研究RelEx在合成数据集上解释GNNs模型的有效性

与其他解释器做对比实验

我们分别在两个合成数据集上训练一个3层的GCN作为黑盒。我们在表1中给出了树网格数据集的定量结果，在表2中给出了树BA数据集的定量结果。由于树网格数据集和树BA数据集都是综合生成的，因此我们知道基本事实正确的原因结构，并用它来计算学习到的关系解释与正确原因的偏差。

研究RelEx在合成数据集上解释HL-MRFs模型的有效性

与其他解释器做对比实验

GNN代表深度图神经网络模型，HL-MRF代表统计关系模型

对于HL-MRF模型，我们设计了表3中的集合一阶逻辑规则。为了训练PSL模型，我们随机选择一半的节点作为观察节点，另一半作为种子节点。

由于GNN-Explainer和Saliency Map需要访问梯度，因此它们不能应用于HL-MRF模型。

研究RelEx在真实数据集上解释GNNs模型的有效性

与其他解释器做对比实验

我们已知碳原子具有环结构，在化学上代表致突变的芳香族化合物；氮原子和氧原子结合形成-NO2结构，氮原子也可以与其他碳原子以五方或六方结构存在。我们利用不同的解释器去绘制我们感兴趣的节点的解释。在所有图中，白色节点是我们感兴趣的节点。为了从软的重要值来绘制解释，而不是寻找最佳阈值，我们选择使用边缘的颜色来捕捉边缘的重要性，其中较深的颜色表示边缘具有较高的重要性。

研究RelEx在真实数据集上的多种解释

与其他解释做对比实验

我们为每个感兴趣的节点训练不同的解释并比较同一节点的多种解释。

实验结果

RelEx在合成数据集上能有效解释GNNs模型

AUC-ROC是一个面积，其值越大，解释越准确

Infidelity是一个得分，其值越小，解释越准确

从AUC-ROC和Infidelity结果可以看出，RelEx-Gumbel在这两个指标上都有最好的表现。

我们还注意到，Saliency Map无法像其他模型那样有效，因为Saliency Map不是专门研究 ‘关系’ 的模型。这进一步确定了：为传统IID模型设计的解释器不能无缝地用于关系模型，我们需要专门为关系模型设计解释器。

RelEx在合成数据集上能有效解释HL-MRFs模型

AUC-ROC是一个面积，其值越大，解释越准确

Infidelity是一个得分，其值越小，解释越准确

**从AUC-ROC和Infidelity结果可以看出，RelEx-Sigmoid在这两个指标上都有最好的表现。**因为HL-MRF模型为感兴趣节点周围的链接分配了不同的连续重要性值，这些值由学习的规则权重捕获。因此，RelEx-Sigmoid成功地获知了每个链路的相应重要性值。这显示了我们的两种方法RelEx-Sigmoid和RelEx-Gumbel在两种不同类型的关系模型上的能力。

图2分别显示了树节点、网格节点和BA节点的示例说明。我们观察到，定性结果与RelEx-Sigmoid的定量结果是一致的，得到了更接近实际正确原因的关系解释。我们还可以看到，RelEx-Sigmoid模型能够收集到解释预测的核心拓扑结构。

RelEx在真实数据集上能有效解释GNNs模型

Infidelity是一个得分，其值越小，解释越准确

从表5我们看到RelEx-Gumbeler和GNN-Explainer都获得了类似的最佳结果。

在图3中，我们观察到，RelEx-Gumbel学习到的碳节点的解释找到了正确的六角环结构，RelExSigmoid学习到的解释包含两个连接的六角环，这两个环都捕获了与碳节点对应的核心关系结构(六角环)。

图4显示了对一个氮节点的解释，除了Relational Anchors之外，所有的解释器都能够识别正确的-NO2拓扑结构（三叉星）。

RelEx在真实数据集上的多种解释有意义

图5给出了从基于RelEx-Gumbeler的解释器获取的两个示例解释，其中白色节点是我们感兴趣的节点。

图5(a)显示了分子，图5(B)和5(C)对同一节点给出了两种不同的解释。在图5(a)中，我们看到感兴趣的节点是两个环形结构的一部分，其中一个是五边形，另一个是六边形。第一种解释学习了一个五边形的环结构，而不同的第二种解释发现了两种环结构。虽然这两种解释都是正确的，但第二种解释从域的角度来看更有意义，因为它收集了节点所属的两个核心关系结构。

同样，在图5(d)中，尽管两种解释都能够了解到负责预测的核心六边形结构，但我们看到图5(e)中的第一种解释包含一些噪声，而图5(f)中的第二种不同解释排除了噪声，更可取。

因此，我们的方法学习不同解释的能力对于学习多个“正确”的解释很方便，其中一些从领域的角度来看更有意义。

数据集

合成数据集

网格树（TREE-GRID）：使用固定高度的二叉树作为基本结构，然后将多个网格结构连接到树上，通过在网格中的节点(称为网格节点)和树(树节点)之间随机添加噪声链接来连接多个网格结构。

BA树：使用二叉树作为基本结构(树节点)，然后通过以链接的形式随机添加噪声来将多个Barabasi Albert(BA)结构(BA节点)连接到树上。

网格-BA树（TREE-GRID-BA）：是一个三级图数据集，我们生成多个树、网格和Barabasi Albert图，并在它们之间随机添加噪声链接来构建这个图数据集。

真实数据集

MUTAG：它由188个具有致突变性的芳香族和杂芳族硝基化合物组成，含有碳、氮、氧等7种不同的原子。

总结

本实验展示了RelEx在两个合成和一个真实图形数据集上解释两个不同的黑盒关系模型的定量和定性能力。

它在合成数据集上能有效解释GNNs模型和HL-MRFs模型，在真实数据集上能有效解释GNNs模型。在真实数据集上的多种解释在一些领域有意义。

2021.8.22 by YI