阅读笔记 MISA: Modality

文章目录2.2.33. 实验
1.前言
**ACM MM 2020 **
多模式情感分析是一个活跃的研究领域，它利用多模态信号对用户生成的视频进行情感理解。然而，信号的异质性造成了分布模态的差距。
在本文中，我们旨在学习有效的模态表示，以帮助融合过程。我们提出了一个新颖的框架MISA，该框架将每个模态投影到两个不同的子空间。第一个子空间是模态不变的，其中跨模态的表示学习它们的共性并减少模态差距。
第二个子空间是特定于模态的，它对每个模态是私有的，并捕获其特征。这些表示提供了多模态数据的整体特征，该特征用于融合来进行预测。
模型图如下：
2.模型结构
模型具体结构如图：
2.12.1.1 -level
每一个模态都提取出序列特征，我们把这个seq 通过一个LSTM，并且LSTM的最后一个隐层接一个全连接映射到同一维度
2.1.2 - and -
我们把同一个特征映射到两个不同的特征空间中，一个是模态不变特征，一个是模态特有特征。
作者认为模态不变和模态特有特征提供了有效融合所必需的整体特征。学习这些表示是其工作的主要目标。

文章插图
主要通过auto
2.2
用的结构
把我们之前提取的6个特征变成一个seq
2.3
损失函数包括
2.3.1Loss
最小化相似性损失可减少每种模态的共享表示之间的差异。
我们使用中心距误差
loss 定义如下：
2.3.2Loss
这种损失是为了确保模态不变和模态特有的表示捕获输入的不同方面。
用的是范数来算两个矩阵的相关性
最终diff loss 定义如下
模态间的diff 和模态内的 diff 都计算进去了
2.3.3Loss
此损失主要是限制损失太多信息了
定义如下
其中
2.3.4 Task Loss
这个就是我们下游任务的预测损失了
3. 实验
【阅读笔记 MISA: Modality】效果挺好