跨域·核迹（arXiv 2605.24330）
0:002:07
May 27, 2026 · 8:07 AM
跨域·核迹（arXiv 2605.24330）
Transformer KV cache 二次增长 vs SSM 固定状态但不能 query-key 寻址——Interdomain Attention 用核方法架桥，把 key/value 投影到 SSM 维护的基函数上，query 在固定状态里拿回条件注意力。1.3B 规模超 softmax baseline，3.5× 上下文外推无崩。通勤两分钟，听懂今日最强 Attention×SSM 融合架构。
跨域·核迹（Interdomain Attention）
arXiv 2605.24330 · Naoki Kiyohara 等 · 2026-05-26 announced
Transformer 用 KV cache 做内容寻址，代价是二次增长的复杂度。SSM 把上下文压成固定大小的循环状态，但没有 query-key 匹配能力。两套范式各有硬伤，各让一半。
这篇论文问的是：能不能用核方法把这两件事同时做对？
Interdomain Attention 的做法分三步：用有限特征图近似注意力核；把 key 特征和 value 投影到单个 SSM 循环维护的共享基函数上；每个 query 用自己的特征图处理压缩后的系数，在固定大小状态里拿回 query 条件注意力。存的是 SSM 的固定状态，读的是 Transformer 级别的内容寻址。
消融实验直接指出答案：query 条件投影是性能增益的主角，删掉它效果就掉。
实验在 FineWeb-Edu 上跑了 125M 到 1.3B 四个规模，结论干净：在循环状态预算匹配的条件下，全面优于 SSM token mixer；1.3B 规模在验证困惑度和 8 项常识任务上超过同配置 softmax 基线。上下文外推到 3.5× 训练长度时性能没有崩。
今天这首 rap 把这套逻辑从头到尾打一遍。
歌词
[Verse 1]
KV cache 线性叠加 无止境的增长
二次方复杂度 内存墙顶着天花板撞
每个 query 扫全序列 权重矩阵铺满堂
Transformer 的代价 你用了多少算力才够扛
SSM 说我不一样 固定状态装得下
循环递推一步一步 把上下文压成矩形砖瓦
但你没有 query-key 匹配 内容寻址差
压缩了上下文 却失去了精准的抓
[Chorus]
跨域注意力 核方法架桥
有限特征图 把注意力核近似好
键和值投影 SSM 基函数存档
query 在固定状态上 拿回条件注意力的招
跨域——两个范式终于对齐
核迹——不用 KV cache 无限增加
固定大小状态 装下 query 条件一击
1.3B 实验验证 三点五倍长度外推赢
[Verse 2]
Naoki 他们问 为什么要二选一
Transformer 的表达力 加上 SSM 的效率值
核方法说来 用 Mercer 定理砌基石
有限特征图近似 用少量维度把无限维压制
键特征和值 投影到共享的基函数集
单个 SSM 循环维护 不随序列增
每个 query 拿自己的特征图去处理压缩系数
在固定状态里检索 精准定位一字不失
[Bridge]
消融实验说话了 query 条件投影是主角
删掉它性能掉崖 留着它才是整套逻辑的锁
FineWeb-Edu 一两亿到十亿规模全跑过
softmax 基线 你该退场了 历史记录在这敲
[Chorus]
跨域注意力 核方法架桥
有限特征图 把注意力核近似好
键和值投影 SSM 基函数存档
query 在固定状态上 拿回条件注意力的招
跨域——两个范式终于对齐
核迹——不用 KV cache 无限增加
固定大小状态 装下 query 条件一击
1.3B 实验验证 三点五倍长度外推赢
[Outro]
Interdomain Attention arXiv 2605.24330
注意力不必二次增长 状态固定也能精准回应
核方法在两个域之间开了一扇门
下一代架构 从今天这里迈出第一步
Related content
Picked from other channels by content similarity—find new creators to follow.
ArticleMemory 技术日报 2026-06-20：CXL KV、CacheWeaver、原子事实与共享记忆
本期筛出 5 条 memory/context 方向进展：SAC 用 CXL 做稀疏注意力 KV 按需访问，CacheWeaver 通过 RAG 证据排序复用前缀缓存，Execution-State Capsules 将端侧 agent 复用粒度扩展到完整执行状态，AtomMem 用 atomic facts 组织长期记忆，MATM 让多智能体共享任务轨迹。读完可判断今天该跟进 serving 状态复用，还是 agent 长期记忆和经验共享。
大模型 Memory 技术日报
ArticleMemory 技术日报 2026-06-18：MSA、GLM-5.2、XPU kernel skill
本期筛出 3 条长上下文与 memory 系统相关进展：MiniMax Sparse Attention 的窗口内技术解读，GLM-5.2 对 1M context、IndexShare 与 KV-cache serving 的发布说明，以及 Hugging Face / Intel 将 XPU kernel 优化闭环打包成 Agent Skill。读完可判断今天该跟进 sparse attention、开源长程 coding agent，还是底层推理 kernel 优化。
大模型 Memory 技术日报
ArticleMemory 技术日报 2026-06-19：Brain、KV 压缩竞赛、DeepSeek/GLM 服务栈
本期筛出 4 条 memory 方向进展：Perplexity Brain 把 agent 工作轨迹做成可追溯 context graph，KV cache 压缩讨论转向 TurboQuant、OSCAR 与 EpiCache 的组合取舍，Together AI 暗示 DeepSeek V4 Pro 的 cache state 已模型特化，Phala 用 W4AFP8 给 GLM-5.2 留出 1M context 服务余量。读完可判断今天该跟进工作记忆、KV 压缩，还是长上下文 serving 的显存账。
大模型 Memory 技术日报
ArticleMemory 技术日报 2026-06-16：KV 共享、可执行用户记忆、搜索栈持久化
本期筛出 3 条大模型 memory 方向的一手进展：SwiftCache 用跨模型显存共享降低长对话 KV 加载成本，User as Code 把个性化记忆变成可执行状态，Elastic 展示用 Elasticsearch 承载 Claude Code 跨会话记忆的工程路线。读完可快速判断今天该跟进哪一层 memory 基础设施。
大模型 Memory 技术日报
ArticleMemory 技术日报 2026-06-23：KV-aware 路由、5D serving 与 AgentCore memory
本期筛出 4 条 memory/context 工程进展：KV-cache-aware routing 正在从单机优化走向网关调度，Red Hat 把长上下文 serving 拆到 5D parallelism，Elastic + AgentCore 展示可审计双层 agent memory，GeneralCompute 给出带 RAGAS 的开源 RAG pipeline。读完可判断今天该优先排查 prefix cache 命中、长上下文 KV 预算，还是企业 agent 的记忆治理。
大模型 Memory 技术日报
Image postSpatial-TTT：边看边记空间
量子位新文图片笔记：清华 Spatial-TTT 用 fast weights 做流式空间记忆，2B 模型处理长视频空间推理，项目已入选 ECCV 2026。
量子位图片笔记
Add more perspectives or context around this Post.