本文共 9696 字，大约阅读时间需要 32 分钟。

在许多推荐系统中，用户-物品交互的时间顺序可以揭示时间演变和顺序的用户行为。用户将与之交互的项可能依赖于过去访问过的项。然而，用户和物品的大量增加使得顺序推荐系统仍然面临着不小的挑战:

• (1)对短期商品用户兴趣建模的难度;
• (2)难以获取长期商品用户兴趣;
• (3)商品共现模式的有效建模。

为了解决这些挑战，提出了一种记忆增强图神经网络(MA-GNN)来捕获长期和短期用户兴趣。具体地说，利用图神经网络在短期内对物品上下文信息进行建模，并利用共享记忆网络捕获物品之间的长期依赖关系。除了对用户兴趣进行建模之外，还使用了一个双线性函数来捕获相关商品的共现模式。

1、前言

如图1，增强图神经网络(MA-GNN)处理顺序推荐任务。它由一个通用兴趣模块、一个短期商品兴趣模块、一个长期商品兴趣模块和一个商品共现模块组成。

在通用兴趣模块中，采用矩阵分解项对用户的通用兴趣进行建模，而不考虑商品序列的动态性。

在短期商品兴趣模块中，使用GNN聚合商品的邻居，以形成短期内的用户意图。

为了对用户的长期商品兴趣进行建模，采用共享key-value记忆网络来生成基于用户长期商品序列的兴趣表示。通过这样做，其他有相似偏好的用户在推荐一个商品时就会被考虑进去。

为了融合短期商品和长期商品兴趣， 在GNN框架中引入了一种门控机制，类似于LSTM。这控制了短期商品和长期商品代表对组合代表的贡献。在商品共现模型中，利用一个双线性函数来捕获在商品序列中一个接一个出现的密切相关的商品。

$$图1：MA-GNN$$

2、方法

2.1 问题定义

本文所考虑的推荐任务以顺序隐式反馈作为训练数据。用户偏好按时间顺序由用户-商品序列表示， ${\mathcal{S}}^u=\left(I_1,I_2,\dots ,I_{|{\mathcal{S}}^u|}\right)$中$I_{\ast }$是用户$u$交互过的商品索引。给定$M$用户中前面的子序列${\mathcal{S}}_{1:t}^u\left(t<\left|{\mathcal{S}}^u\right|\right)$ ，问题是从$N$ 商品$(K<N)$中向每个用户推荐一个包含$K$的列表，并计算${\mathcal{S}}_{t+1:|{\mathcal{S}}^u|}^u$中的商品是否出现在推荐列表中。

2.2 通用兴趣模块

通用兴趣建模用户的一般或静态兴趣捕获了用户的固有偏好，并被假定为随着时间的推移是稳定的。为了获取一般用户的兴趣，我们使用矩阵分解项，而不考虑项目的顺序动态。这一项的形式是

$${\mathbf{p}}_u^{\top }\cdot {\mathbf{q}}_j$$ 其中${\mathbf{p}}_u\in {\mathbb{R}}^d$是用户$u$ embedding , ${\mathbf{q}}_j\in {\mathbb{R}}^d$是目标商品$j$的输出embedding ，$d$是维数。

2.3 短期商品兴趣模块

用户的短期商品兴趣描述了用户当前的偏好，并基于短期内最近访问的几个商品。用户在不久的将来将要交互的商品很可能与她刚刚访问的商品密切相关，并且这种用户行为的属性已经在之前得到了确认。因此，在顺序推荐中，有效地为用户的短期商品兴趣建模是非常重要的，这反映在最近访问的商品上。

为了显式地对用户的短期商品兴趣进行建模，采用滑动窗口策略将商品序列分割为细粒度的子序列。然后，可以关注最近的子序列，预测哪些商品将出现在接下来，而忽略影响较小的不相关商品。

对于每个用户$u$，提取$|L|$连续商品作为输入，它们的下一个$|T|$商品作为被预测的目标，其中$L_{u,l}=\left(I_l,I_{l+1},\dots ,I_{l+|L|-1}\right)$是用户$u$的第$l$个子序列。

那么问题可以用公式表示为:在用户商品交互序列${\mathcal{S}}^u$中，给定一个$|L|$连续的商品序列，该用户预测的商品符合目标$|T|$商品的可能性有多大。由于具有邻域信息聚合和局部结构学习的能力，图神经网络(gnn)很好地匹配了聚合$L_{u,l}$中的商品来学习用户短期兴趣的任务。

2.3.1商品的图构建

因为商品序列本身不是用于GNN训练的图，所以需要构建一个图来捕获商品之间的连接。如图2，对于商品序列中的每个商品，提取几个后续商品(三个商品)，并在它们之间添加边。为每个用户执行此操作，并计算所有用户中提取的商品对的边数。

然后对邻接矩阵行标准化。因此，可以提取序列中相互接近的相关商品。图2显示了一个如何提取商品邻居和构建邻接矩阵的示例。将提取的邻接矩阵表示为$A$，其中$A_{i,k}$表示商品$k$对于商品$i$的归一化节点权值。而$i$的相邻商品记为${\mathcal{N}}_i$。

$$图2$$

2.3.2短期商品兴趣聚合

为了获取用户的短期商品兴趣，使用了一个两层GNN来聚合$L_{u,l}$中的相邻商品来学习用户的短期商品兴趣表征。形式上，对于第$l$个短期窗口$L_{u,l}$中的商品$j$，其输入embedding表示为 ${\mathbf{e}}_j\in {\mathbb{R}}^d$ 。那么用户的短期商品兴趣是:

$${\mathbf{h}}_i=\tanh \left({\mathbf{W}}^{(1)}\cdot \left[\sum _{k\in {\mathcal{N}}_i}{\mathbf{e}}_k{A}_{i,k};{\mathbf{e}}_i\right]\right),\forall i\in L_{u,l}\text{\hspace{1em}(1)}$$

$$\begin{array}{c}{\mathbf{p}}_{u,l}^S=\tanh \left({\mathbf{W}}^{(2)}\cdot \left[\frac{1}{|L|}\sum _{i\in L_{u,l}}{\mathbf{h}}_i;{\mathbf{p}}_u\right]\right)\end{array}\text{\hspace{1em}(2)}$$

其中 $[\cdot ;\cdot ]\in {\mathbb{R}}^{2d}$ 表示垂直连接, ${\mathbf{W}}^{(1)},{\mathbf{W}}^{(2)}\in {\mathbb{R}}^{d\times 2d}$ 是图神经网络中的可学习参数，上标$S$为来自用户的短期商品兴趣表征。通过聚合$L_{u,l}$中的商品的邻居，${\mathbf{p}}_{u,l}^S$是一个联合级汇总表明哪些商品是密切相关的商品在$L_{u,l}$。根据汇总的用户短期商品兴趣，可以推断出用户接下来将要访问的商品。

但是，直接应用上述GNN进行预测，显然忽略了用户过去的长期商品兴趣$H_{u,l}=\left(I_1,I_2,\dots ,I_{l-1}\right).$在短期商品窗口$L_{u,l}$之外可能有一些商品可以表示用户偏好或指示用户状态。

这些商品可以在预测在不久的将来会被访问的商品方面发挥重要作用。因此，如何对长期依赖建立模型，并使其与短期汇总保持平衡，是顺序推荐中的一个关键问题。

2.4 长期商品兴趣模块

为了获取长期的用户商品兴趣，用户访问商品$H_{u,l}=\left(I_1,I_2,\dots ,I_{l-1}\right)$ ，可以使用外部记忆单元来存储随时间变化的用户兴趣。但是，为每个用户维护记忆单元会有巨大的记忆开销来存储参数。同时，记忆单元可能捕获与用户embedding ${\mathbf{p}}_u$所表示的信息非常相似的信息。

因此，使用记忆网络来记忆所有用户共享的潜在兴趣表征，每个记忆单元代表某种类型的潜在用户兴趣，例如用户对不同类别的电影的兴趣。给定用户在过去的$H_{u,l}$中访问的商品，可以学习不同类型的兴趣的组合来反映用户的长期兴趣(或状态)在$L_{u,l}$之前。

使用多维注意力模型来生成query embedding，而不是像在原始记忆网络中那样执行求和操作来生成query 。这允许区分信息商品，可以更好地反映用户的偏好，对相应的外部记忆单元的定位有更大的影响。形式上，将在$H_{u,l}$ 的商品 embeddings 表示为${\mathbf{H}}_{u,l}\in {\mathbb{R}}^{d\times |H_{u,l}|}$ 。多维注意力生成查询嵌入${\mathbf{z}}_{u,l}$的计算如下:

$$\begin{array}{rl}{\mathbf{H}}_{u,l}& :={\mathbf{H}}_{u,l}+\mathrm{PE}\left(H_{u,l}\right)\\ {\mathbf{S}}_{u,l}& =\mathrm{softmax}\left({\mathbf{W}}_a^{(3)}\tanh \left({\mathbf{W}}_a^{(1)}{\mathbf{H}}_{u,l}+\left({\mathbf{W}}_a^{(2)}{\mathbf{p}}_u\right)\otimes 1_{\varphi }\right)\right)\\ {\mathbf{Z}}_{u,l}& =\tanh \left({\mathbf{S}}_{u,l}\cdot {\mathbf{H}}_{u,l}^{\top }\right)\\ {\mathbf{z}}_{u,l}& =\mathrm{avg}\left({\mathbf{Z}}_{u,l}\right),\end{array}\text{\hspace{1em}(3)}$$ 其中$\mathrm{P}\mathrm{E}(\cdot )$是正弦位置编码函数，它将商品位置映射到位置嵌入，这与在中使用的相同。$\varphi$ 等于 $\left|H_{u,l}\right|,\otimes$ 表示外积。${\mathbf{W}}_a^{(1)},{\mathbf{W}}_a^{(2)}\in {\mathbb{R}}^{d\times d}$ ， ${\mathbf{W}}_a^{(3)}\in {\mathbb{R}}^{h\times d}$ 是注意模型中的可学习参数，$h$是控制注意模型中维度数的超参数。${\mathbf{S}}_{u,l}\in {\mathbb{R}}^{h\times |H_{u,l}|}$是注意力得分矩阵。${\mathbf{Z}}_{u,l}\in {\mathbb{R}}^{h\times d}$是查询的矩阵表示，每一行$h$表示查询的不同方面。最后， ${\mathbf{z}}_{u,l}\in {\mathbb{R}}^d$ 是将不同方面平均的组合查询嵌入。

给定查询嵌入${\mathbf{z}}_{u,l}$，使用此查询来找到记忆网络中共享用户潜在兴趣的适当组合。形式上，记忆网络的键和值分别表示为$\mathbf{K}\in {\mathbb{R}}^{d\times m}$和$\mathbf{V}\in$${\mathbb{R}}^{d\times m}$，其中$m$为记忆网络中的记忆单元数。因此，用户长期商品兴趣嵌入可以建模为:

$$\begin{array}{rl}& s_i=\mathrm{softmax}\left({\mathbf{z}}_{u,l}^{\top }\cdot {\mathbf{k}}_i\right)\\ & {\mathbf{o}}_{u,l}=\sum _i{s}_i{\mathbf{v}}_i\\ & {\mathbf{p}}_{u,l}^H={\mathbf{z}}_{u,l}+{\mathbf{o}}_{u,l}\end{array}\text{\hspace{1em}(4)}$$ 其中${\mathbf{k}}_i,{\mathbf{v}}_i\in {\mathbb{R}}^d$中是第$i$ 个记忆单元，上标$H$为来自于用户的长期商品兴趣表征。

2.5 兴趣融合

得到了用户短期商品表征和长期商品表征。下一步的目标是在GNN框架中结合这两种隐含表征，以促进用户对未评分商品的偏好预测。在这里，修改了Eq. 2，将用户的短期商品和长期商品连接起来。

具体来说，借鉴了LSTM的思想，用门来控制近期用户商品兴趣表征和长期用户商品兴趣表征的汇总用户兴趣，用于商品预测

$$\begin{gathered} {\mathbf{g}}_{u,l}=\sigma \left({\mathbf{W}}_g^{(1)}\cdot \frac{1}{|L|}\sum _{i\in L_{u,l}}{\mathbf{h}}_i+{\mathbf{W}}_g^{(2)}\cdot {\mathbf{p}}_{u,l}^H+{\mathbf{W}}_g^{(3)}\cdot {\mathbf{p}}_u\right) \\ {\mathbf{p}}_{u,l}^C={\mathbf{g}}_{u,l}\odot \frac{1}{|L|}\sum _{i\in L_{u,l}}{\mathbf{h}}_i+\left(1_d-{\mathbf{g}}_{u,l}\right)\odot {\mathbf{p}}_{u,l}^H\text{\hspace{1em}(5)} \end{gathered}$$ 其中${\mathbf{W}}_g^{(1)},{\mathbf{W}}_g^{(2)},{\mathbf{W}}_g^{(3)}\in {\mathbb{R}}^{d\times d}$是门中的可学习参数，$\odot$表示元素相乘，而${\mathbf{g}}_{u,l}\in {\mathbb{R}}^d$是可学习门。上标$C$表示长期和短期兴趣的融合。

2.6 商品的共现模型

由于推荐系统的有效性和可解释性，成功学习成对商品关系是推荐系统的关键组成部分。这已经在许多推荐模型中得到了研究和利用。

在序列推荐问题中，密切相关的商品可能会在商品序列中一个接一个地出现。例如，用户在购买手机后，更有可能购买手机保护套或保护套。为了获取商品共现模式，使用一个双线性函数来显式地建模$L_{u,l}$中的商品和其他商品之间的成对关系。这个函数的形式如下

$${\mathbf{e}}_i^{\top }{\mathbf{W}}_r{\mathbf{q}}_j$$ 其中${\mathbf{W}}_r\in r^{d\times d}$是一个可学习参数的矩阵，捕捉商品潜在特征之间的相关性。

2.7 预测和训练

为了推断用户偏好，有一个预测层，将上述因素组合在一起:

$${\hat{r}}_{u,j}={\mathbf{p}}_u^{\top }\cdot {\mathbf{q}}_j+{\mathbf{p}}_{u,l}^{C\top }\cdot {\mathbf{q}}_j+\frac{1}{|L|}\sum _{i\in L_{u,l}}{\mathbf{e}}_i^{\top }{\mathbf{W}}_r{\mathbf{q}}_j\text{\hspace{1em}(6)}$$ 由于训练数据来源于用户隐式反馈，针对贝叶斯个性化排名目标通过梯度下降对所提模型进行了优化。这包括优化正(观察到的)和负(未观察到的)商品之间的成对排序: $$\begin{array}{rl}\underset{\mathbf{U},\mathbf{Q},\mathbf{E},\mathbf{\Theta }}{\mathrm{argmin}}\sum _u\sum _l\sum _{\left(L_{u,l},H_{u,l},j,k\right)}& -\log \sigma \left({\hat{r}}_{u,j}-{\hat{r}}_{u,k}\right)+\lambda \left(\Vert \mathbf{P}{\Vert }^2+\Vert \mathbf{Q}{\Vert }^2+\Vert \mathbf{E}{\Vert }^2+\Vert \Theta {\Vert }^2\right)\end{array}\text{\hspace{1em}(7)}$$ 这里$j$表示$T_{u,l}$中的商品，$k$表示随机抽样的负商品，$\sigma$是sigmoid函数，$\Theta$表示模型中的其他可学习参数，$\lambda$是正则化参数。${\mathbf{p}}_{\ast },{\mathbf{q}}_{\ast }$和${\mathbf{e}}_{\ast }$ 是$\mathbf{P},\mathbf{Q}$ 和 $\mathbf{E}$ 的列向量。当目标函数极小化时，所有参数的偏导数均采用反向传播梯度下降法计算。

参考

Memory Augmented Graph Neural Networks for Sequential Recommendation

转载地址：http://ydyzi.baihongyu.com/