CIKM 2020：Deep Time( 三 ) _预测模型

基于上述原因，提出了时间感知进化层来对项目行为中的时间间隔序列进行建模，以捕捉项目的流行度，使得具有相同项目行为的两个项目可以具有不同的流行度。我们利用GRU逐步向前学习相关的时间间隔嵌入，以获得整个时间间隔序列的最具代表性的信息。
3.2.5 下游应用网络层
在最后的全连接层，将当前用户的向量表示，候选物品的向量表示，用户行为序列的向量表示，物品行为序列的向量表示，拼接后输入到全连接层中，得到最终的预测结果。如果下游任务是CTR，则使用交叉熵来计算损失：
4. 实验结果
从下表中，我们可以看到，与所有基线相比，TIEN显著提高了性能，并实现了最先进的性能。
消融实验如下表所示，删除TIEN中的任何组件都会导致性能下降。
实用性如下表所示，在TIEN的帮助下，所有基于模型的性能都得到了提高，这证明了动态项目演化的有效性，并展示了TIEN的实用性。因此，我们的TIEN可以被视为一个通用的框架来增强现有的基于用户行为的CTR预测模型。
我们最后看一下截断长度对模型的影响。如下图所示，可以观察到，当截断长度增加时，TIEN效果会显著提升。这意味着TIEN能够处理长期的项目行为，从而实现显著的改善。相反，当长度增加时，基线模型的性能下降。这表明，如果没有时间间隔关注层和健壮的个性化层，基线模型不能处理长期的项目行为，因为不必要地引入了噪声和无用的信息。
5. 个人思考
该篇论文主要是为了完成一个项目演化的问题。例如一些场景，像双11等可能会出现不同于日常的用户偏好，促销中的物品可以在很短的时间内流行起来。在这种情况下，使用典型的用户行为通常无法预测用户的新兴兴趣。其原因不仅在于用户行为中可能存在过时的兴趣，而且用户新兴偏好的预测在很大程度上依赖于项目的演化。
核心思想是建模项目随时间变化的个性化动态和流行度，可以实现对新兴偏好的更准确推荐。
核心结构是三个层。
我们提出了一个时间间隔注意力层，根据历史交互和推荐时间的间隔来计算每个用户在项目行为中的重要性。这模型在项目行为中关注有价值的用户（直白来说时间间隔越小，参考价值越高，降低过时兴趣）；提出了一个鲁棒的个性化关注层，以消除项目行为中的噪声用户，从而实现鲁棒的个性化项目动态；最后，提出了一个时间感知进化层来对项目行为中的时间间隔序列进行建模，以捕捉项目的流行度，使得具有相同项目行为的两个项目可以具有不同的流行度（几天前的频繁交互肯定比一年前的频繁交互更流行）。
最后简单说两个拍脑袋想法。
【CIKM 2020：Deep Time】GRU建模改为，时间戳按照的思路加入。的优势就不赘述了。其实可以把所有的用户和项目都当做是一些节点，那么每个节点下的项目/用户序列都可以看你做是天然的边，那么是不是可以用GCN的思路构造出所有用户/项目的全局图式表征。