CIKM 2020：Deep Time( 二 ) _预测模型

最后，提出了一个时间感知进化层来对项目行为中的时间间隔序列进行建模，以捕捉项目的流行度，使得具有相同项目行为的两个项目可以具有不同的流行度（动机4的第二个特性）。
利用项目行为，即建模随时间变化的个性化项目动态和流行度，可以实现对新兴偏好的更准确推荐。
3. 模型 3.1 问题定式
在这项工作中，最终CTR预测可以定式如下：
3.2 提出模型
在这一节中，我们展示了如图1所示的TIEN模型。TIEN同时利用了用户行为和项目行为。
3.2.1 嵌入层
用户和物品特征主要包括多个离散特征，对用户特征来说，包括用户ID、性别、年龄段等等，对物品特征来说，主要包括物品ID、店铺ID和品类ID等等。用户行为序列中每一个物品会转换为对应的特征表示，而物品行为序列中每一个用户也会转换为对应的特征表示，在层，用户和物品特征会转换为对应的，分别用 e u e_u eu?和 e i e_i ei?表示：

文章插图
同样，用户行为序列中的每一个物品特征也会转换为对应的表示，用 S u S_u Su?表示，物品行为序列中每一个用户特征也会转换为对应的表示，用 S i S_i Si?表示：
3.2.2 时间间隔注意力层
时间间隔注意力层，利用历史交互和推荐时间之间的时间间隔来计算每个用户在项目行为中的重要性权重。
首先说一下时间间隔是如何计算的。首先计算时间间隔： t i v k = ∣ t ? t k ∣ tiv_k = |t- t_k| tivk?=∣t?tk?∣；我们认为时间间隔符合指数分布，因此将时间间隔映射在范围内： [ 0 , 1 ) , [ 1 , 2 ) , [ 2 , 4 ) . . . [0,1), [1,2), [2, 4)... [0,1),[1,2),[2,4)...；然后，我们执行嵌入查找，以获得不同时间间隔的嵌入：
在时间间隔注意层，我们首先用GRU对项目行为嵌入的依赖关系进行建模，得到行为隐藏状态 h u k h_{uk} huk? 。为了计算每个用户在项目行为中的重要性权重从而强化特定用户的信息，我们通过实现时间间隔关注用户状态来构建关注机制的关注query 。它是由行为隐藏状态和项目间隔嵌入的元素总和产生的： h u t k = h u k + e t i v k h_{utk} = h_{uk}+e_{tivk} hutk?=huk?+etivk? 。
3.2.3 鲁棒的个性化注意力层
项目行为中的时间感知有助于关注最近一段时间内与特定项目互动的用户。然而，新出现的偏好推荐可能会受到嘈杂交互的影响。此外，为了实现个性化的项目动态，注意力机制被用来激活与特定目标用户相关的项目行为中最相似的用户。然而，如果仅考虑最相似的用户，嘈杂的交互可能导致不可靠的个性化项目动态。
基于上述原因，提出了鲁棒个性化关注层，用于消除时间感知项目行为中的噪声用户，从而提高个性化项目动态性的鲁棒性。在健壮的个性化关注层中，我们使用平均池来表示项目行为中的用户嵌入。最后我们使用目标用户和平均项目行为嵌入来构建注意力机制的注意力Query，如下：
我们的注意力机制计算如下：
Query：目标用户的平滑嵌入 e u s m o o t h e_{u_{}} ??
Key：用户状态的注意力时间间隔h u t k h_{utk} hutk?
Value：用户的行为隐藏状态 h u k h_{uk} huk?
通过同时考虑时间间隔嵌入和平滑目标用户嵌入来计算每个用户在项目行为中的权重，并将该权重应用于项目行为的隐藏状态，从而通过加权求和实现鲁棒的个性化项目动态。此外，为了使模型能够共同注意来自不同位置的不同表征子空间的信息，我们采用了多头注意。
3.2.4 时间感知演化层
在很多场景下，每一件物品都有不同的流行趋势和生命周期，这也是电子商务中一件物品最重要的特征。然而，先前将项目行为建模为序列的方法简单地忽略了项目行为的交互时间戳，这导致两个项目具有相同的时间动态。因此，为新兴偏好推荐捕获进化项目动态是有益的。