谈球吧(中国)数据联合研发自注意力智能推荐模型，成功实现效果突破并发表IEEE学术论文
近期，谈球吧(中国)数据与华南师范大学计算机学院黄震华教授团队、中山大学计算机学院王昌栋教授联合科研攻关，在序列推荐、Mamba模型与低秩分解自注意力融合方向取得重要学术突破。
在国际顶级学术期刊《IEEE Transactions on Computational Social Systems》发表题为《MLSA4Rec: Mamba Combined With Low-Rank Decomposed Self-Attention for Sequential Recommendation》的高水平论文，彰显了谈球吧(中国)数据在推荐系统、时序建模与深度学习交叉领域的深厚技术积淀与前沿研究实力。
在电商（如亚马逊、淘宝）、视频流媒体（如Netflix、抖音）、在线教育等应用中，序列推荐系统扮演着至关重要的角色。它顺利获得分析用户的历史点击、购买、观看等行为序列，预测用户下一个可能交互的物品，从而为用户给予个性化的推荐服务。
然而，现有的序列推荐方法各自存在明显的短板，陷入了一个两难困境：
以SASRec、BERT4Rec为代表的自注意力方法，能够计算序列中每对物品之间的依赖关系，在捕捉用户兴趣方面表现出色。但它们存在两个严重缺陷：
（1）计算复杂度过高：自注意力的时间复杂度为O(L²)，其中L是序列长度。这意味着当用户历史交互序列较长时，计算量会呈平方级爆炸式增长，导致训练和推理效率极低。
（2）缺乏结构偏置：自注意力机制对输入没有预设任何结构先验，甚至无法感知物品的位置和顺序信息，需要额外添加位置编码。这种“自由”使得模型容易过拟合数据中的噪声，泛化能力受限。有研究表明，在某些任务中，传统Transformer的准确率比引入结构偏置的方法低约30%。
近年来，Mamba作为一种新型的状态空间模型（SSM），因其线性复杂度O(L)和天然的结构偏置而被引入推荐系统。Mamba的选择性机制能够根据输入序列过滤噪声、保留重要信息，在长序列建模中表现出色。然而，Mamba本身是为高效建模长序列依赖而设计的，在捕捉细粒度的局部兴趣模式方面，相较于自注意力机制可能存在不足，可能会遗漏用户行为中细粒度的兴趣模式，这在一定程度上限制了其推荐性能。
既然自注意力擅长捕捉局部依赖、Mamba擅长全局建模且具有结构偏置，那么将两者结合是否能实现优势互补？这正是本文工作的核心问题。值得注意的是，这是首个在序列推荐领域探索Mamba与自注意力相结合的研究工作。
根据上述考量，本工作提出了MLSA4Rec方法，一个将Mamba与低秩分解自注意力（LSA）相结合的混合框架。
MLSA4Rec整体架构如图1所示，它由四个核心组件构成：嵌入层、Mamba-LSA交互层、Mamba归一化层和预测层。其中，Mamba-LSA交互层是核心创新所在，其整个交互过程分为四个步骤：
Mamba模块第一时间处理输入序列，提取全局依赖、顺序信息等，然后将输出与原始输入相加，传递给LSA模块。这一步相当于为LSA注入了结构偏置，弥补了自注意力缺乏先验的缺陷。
LSA模块顺利获得一个巧妙的设计来补充Mamba可能遗漏的局部信息：它先将L个物品映射到P个潜在兴趣上（P远小于L），然后让物品与这些兴趣进行交互，而不是直接进行物品-物品交互。这样，复杂度就从O(L²)降到了O(PL)，即与序列长度呈线性关系。
这是实现Mamba和LSA“双向奔赴”的关键机制。LSA模块基于其提取的用户潜在兴趣，学习一个门控权重信号，然后用这个信号去“指导”Mamba的输出，让LSA告诉Mamba“在历史交互中，哪些信息更值得关注”。
完成一轮交互后，将Mamba的输出、LSA的输出和原始嵌入三者进行融合，形成最终的混合表示。
MLSA4Rec的时间复杂度为O(LD²)，与序列长度L呈线性关系，优于传统自注意力的O(L²D)。当处理长序列时，MLSA4Rec的计算优势会越来越明显。
本工作在MovieLens-1M、Amazon-Beauty、Amazon-Video-Games三个真实数据集上进行了实验。MLSA4Rec在大多数场景下均取得最优或次优结果，验证了混合架构的有效性。
MLSA4Rec顺利获得巧妙地将Mamba的结构偏置与LSA的低秩局部建模相结合，在保持线性复杂度的同时实现了高精度推荐，主要贡献包括：
1、首次在序列推荐中探索Mamba与自注意力的互补潜力；
2、设计了创新的MAMBA-LSA信息交互机制，实现两者的动态协同；
3、在多个真实数据集上验证了精度与效率的双重优势。
