老码农和你一起学AI系列：非Transformer架构

非Transformer架构指的是不依赖自注意力机制作为核心计算单元的神经网络架构。简单来说就是不走Transformer那条路的模型设计。在Transformer于2017年横空出世之前几乎所有语言模型都是非Transformer架构。而今天尽管Transformer已成为绝对主流但研究者们仍在积极探索替代方案试图解决Transformer固有的“平方复杂度”即随着文本长度增加计算量呈平方级增长等瓶颈问题。下面我们从两个维度来理解一是历史中的非Transformer架构二是面向未来的新探索。一、历史中的非Transformer架构在Transformer诞生前语言模型的世界是RNN及其变体的天下。架构核心机制类比理解优点局限性RNN隐藏状态传递像一个“接力棒”记忆力有限的读者读一页忘一页能处理可变长序列参数量小梯度消失/爆炸长距离依赖能力弱LSTM门机制遗忘门、输入门、输出门像一个“智能档案管理员”能决定记什么、忘什么的读者缓解了梯度消失能记住更长的信息仍是串行计算训练速度慢GRULSTM的简化版参数更少效率更高的档案管理员计算量比LSTM小效果相近同样受限于串行计算这些模型在今天的一些轻量级场景中仍有应用但它们最大的问题在于天生串行——必须一个词一个词地往后读无法充分利用GPU的并行计算能力。这也是Transformer能够后来居上的根本原因。二、后Transformer时代随着模型规模不断扩大Transformer的O(n²)复杂度n为文本长度成为越来越明显的瓶颈。当处理十万、百万甚至更长的文本时自注意力的计算成本高得令人望而却步。研究者们正在探索多种替代方案试图打破这一限制。1. 状态空间模型SSMState Space Model代表模型Mamba、Mamba-2SSM是当前最受关注的非Transformer方向之一。它的核心思想是用状态空间方程来模拟序列的动态演化而非通过注意力机制显式计算词与词之间的关系。类比理解如果把Transformer比作一个“全局会议”——所有人都要跟所有人交流复杂度O(n²)那么Mamba就像一条“高效的流水线”——每个工位只处理当前工件但通过精心设计的系统状态信息仍能高效传递到下游。Mamba的核心创新选择性状态空间让模型能够根据输入内容动态调整状态更新方式解决了传统SSM“一视同仁”的问题。线性复杂度O(n)处理长文本时计算量随长度线性增长而非平方级增长。在10万token的序列上Mamba比Transformer快数个数量级。当前状态Mamba在长文本建模、音频处理等任务上展现出巨大潜力但在大规模语言模型上能否完全替代Transformer仍在验证中。值得关注的是Mamba-2引入了与注意力机制更紧密的理论联系为两者融合提供了新思路。2. 线性注意力Linear Attention代表模型RWKV、RetNet线性注意力试图在保持注意力机制“动态权重”优点的同时将计算复杂度从O(n²)降至O(n)。RWKV这个名字取自RNN循环 Transformer注意力的结合。它巧妙地将Transformer的注意力计算重写为一种RNN的形式——训练时仍可并行像Transformer推理时则表现为RNN的常数级状态不像Transformer需要缓存所有历史KV。RWKV的参数量与同规模Transformer相当但在推理速度上优势明显。RetNet微软引入了“保留机制”在训练时支持并行推理时支持循环并实现了O(n)复杂度。RetNet在某些语言建模任务上表现出与Transformer相当的性能。3. 其他探索方向Hyena斯坦福使用长卷积替代注意力实现了次二次复杂度O(n log n)在部分任务上可匹敌Transformer。KAN基于柯尔莫哥洛夫-阿诺德定理的神经网络用可学习的激活函数替代固定激活函数探索全新的网络结构。神经拟态计算尝试模拟人脑的脉冲神经网络SNN追求极致的能效比目前尚处于早期研究阶段。三、非Transformer架构Transformer虽然强大但它并非完美问题说明平方复杂度处理长文本时计算成本极高。一篇10万token的小说自注意力需要计算100亿次交互。推理成本高自回归生成时需要缓存所有历史token的KV状态长文本下显存占用巨大。位置编码局限对绝对位置或相对位置的编码方式仍在不断演进尚未有完美方案。非Transformer架构的探索正是为了突破这些瓶颈寻找更高效、更适合长文本、推理更快的替代方案。四、非Transformer架构的现状与未来客观地说目前Transformer仍是大语言模型的绝对主流非Transformer架构尚处于“挑战者”地位。GPT-4、LLaMA、Qwen等主流模型无一例外都基于Transformer或其变体。但情况正在发生变化2023年底Mamba论文引发广泛关注被视为最有潜力的替代方案。2024年Mamba-2发布进一步提升了性能和实用性RWKV v5、RetNet等也在持续迭代。2025年多个研究团队尝试将Transformer与SSM融合如Jamba结合Mamba和Transformer的混合架构取长补短。未来很可能不是“谁取代谁”而是“谁更适合什么场景”通用大模型仍以Transformer为主其成熟度和生态优势难以撼动超长文本处理SSM类模型可能成为首选边缘端/实时推理线性注意力或RNN类模型更具优势最后小结非Transformer架构是一个不断演进的范畴。它既包括RNN、LSTM这些Transformer之前的“前辈”也包括Mamba、RWKV这些试图超越Transformer的“新锐”。尽管Transformer在可预见的未来仍将占据主导地位但探索替代架构的研究对于突破计算瓶颈、开辟新可能性的意义不言而喻。正如计算机架构领域没有“万能芯片”一样语言模型的架构选择也终将走向多元化——不同架构服务于不同需求而非单一的“最优解”。