Tag: MoE专家模型

All the articles with the tag "MoE专家模型".

• 从GPT-2到KimiK3：22580倍参数规模下的架构演进

  28 Jul, 2026

  文章梳理了从GPT-2到Kimi K3的架构进化史。分析了从GPT-2的KV Cache瓶颈，到Linear Attention、DeltaNet在降低复杂度与处理长上下文上的突破；最终聚焦Kimi K3如何利用MLA、KDA、Latent-Space MoE及选择性残差机制（AttnRes），解决高参数规模下的计算效率与记忆容量难题。