📖标题：SWAN-GPT: An Efficient and Scalable Approach for Long-Context Language Modeling
🌐来源：arXiv, 2504.08719

🌟摘要

🔸我们提出了一种仅限解码器的Transformer架构，该架构能够稳健地推广到比训练期间看到的序列长度长得多的序列长度。我们的模型SWAN-GPT交织了没有位置编码的层（NoPE）和配备旋转位置编码的滑动窗口注意力层（SWA-RoPE）。
🔸实验证明，在不需要额外的长上下文训练的情况下，序列长度明显长于训练长度的情况下具有很强的性能。这种稳健的长度外推是通过我们的新颖架构实现的，在推理过程中通过直接动态缩放注意力得分来增强。此外，SWAN-GPT的计算效率高于标准GPT架构，从而降低了训练成本，提高了吞吐量。此外，我们证明，现有的仅预训练解码器模型可以通过最少的持续训练有效地转换为SWAN架构，从而实现更长的上下文。总的来说，我们的工作提供了一种有效的方法，可以以稳健和高效的方式将语言模型扩展到更长的上下文中。

🛎️文章简介

🔸研究问题：如何解决标准Transformer模型在处理超出训练上下文长度的序列时出现性能衰退？
🔸主要贡献：论文提出了一种新的SWAN架构，通过结合不同类型的注意力机制，实现了对长上下文的有效处理，而无需额外的长上下文特定训练。

📝重点思路

🔸论文提出SWAN-GPT架构，结合了没有位置编码的全局注意力层（NoPE）和带有旋转位置编码的局部滑动窗口注意力层（SWA-RoPE），以实现更好的长度外推能力。
🔸通过动态注意力缩放机制，优化了全局注意力层在扩展上下文处理时的性能。
🔸采用继续预训练（CPT）的方法，能够有效地将现有的预训练模型转换为SWAN架构，提供一种经济高效的升级路径。

🔎分析总结

🔸SWAN-GPT在长序列（如32K tokens）上表现出显著的稳健性，能够保持较高的性能，远超出训练长度，而标准RoPE模型在此情况下则表现出灾难性的性能下降。
🔸在实验中，通过位置预测探针和注意力模式可视化分析，证明了SWAN架构中的SWA-RoPE层在处理长序列时能稳定隐式位置编码，从而提高了模型的鲁棒性。
🔸实验结果显示，SWAN-GPT在各类标准LLM基准测试中表现与RoPE模型相当，且在扩展上下文长度方面展现出更优越的外推能力。

💡个人观点

论文的核心是将不同类型的注意力机制结合，通过继续预训练突破上下文长度限制。

🧩附录