值得关注的模型和新技术

DeepSeek-V3.2

Qwen/Qwen-Image-Layered

zai-org/GLM-4.7

MiniMaxAI/MiniMax-M2.1

Jina-VLM

SAM Audio

值得关注的开源项目

Awesome Claude Skills: A curated list of Claude Skills.

Minne: a read-it-later & personal knowledge management solution

Ebook-MCP: A MCP server that supports mainstream eBook formats including EPUB, PDF and more. Simplify your eBook user experience with LLM.

vibe-vibe: 首个系统化 Vibe Coding 开源教程

data-juicer: Data processing for and with foundation models

open-ptc-agent: An open source implementation of code execution with MCP (Programatic Tool Calling)

Agent-Skills-for-Context-Engineering: A comprehensive collection of Agent Skills for context engineering, multi-agent architectures, and production agent systems.

值得关注的研究和论文

DeepSeek V3.2

• DeepSeek稀疏注意力（DSA）
• RL协议
• Agent任务合成流水线
• DeepSeek-V3.2-Speciale： 放宽了长度限制，推理能力增强

DSA

Why：解决长序列的计算复杂度

$O(L^2) -> O(Lk)$

其中 $k \ll L$

通过稀疏化机制减少计算量

Lightning Indexer： 用于计算当前 Query Token 与前序 Token 之间的索引评分 I_{t,s} 。使用 ReLU 作为激活函数，且只包含少量的 Head

Fine-grained Token Selection：基于索引器的评分，只检索 Top-k 个分数最高的 KV 条目

Core Attention： 仅针对筛选出的这部分稀疏 KV 条目计算注意力输出，而不是针对全序列

DSA 通过Continued Training完成：

• Dense Warm-up Stage：初始化闪电索引器，保持主模型使用Dense Attention，冻结除索引器外的所有参数， 使用 KL 散度损失，强制索引器的输出分布去拟合主模型全量注意力的分布
• Sparse Training Stage： 引入细粒度选择机制，让模型适配稀疏模式，开启 Top-k 选择，优化所有模型参数。索引器继续通过 KL 散度学习对齐注意力分布，而主模型则通过语言建模损失进行优化；索引器的输入会从计算图中分离，即索引器的优化仅依赖 KL 损失，不接受语言建模损失的梯度

特性	Vanilla Attention (标准)	MLA (DeepSeek-V3.1)	DSA (DeepSeek-V3.2)
计算复杂度	$O(L^2)$ (核心注意力)	优化了 KV 缓存，但计算仍较密集	$O(Lk)$ (核心注意力)，显著降低 16
KV 检索方式	全量检索 (Dense)	压缩/潜在向量 (Latent Vector)	稀疏检索 (Top-k Sparse) 17
实现模式	MHA (多头注意力)	支持 MHA 和 MQA 模式	强制使用 MLA 的 MQA 模式 以共享 KV 18
索引机制	无	无	引入 Lightning Indexer，虽然本身复杂度 $O(L^2)$ 但计算量极小 19
性能影响	基准	高性能	无明显降级，在长上下文任务中甚至优于旧版本 20202020

DSA 相比之前的架构，最大的区别在于引入了一个轻量级的“向导”（Indexer）来预先筛选重要的 Token，从而避免了对无关 Token 的大量无效计算。相比于 DeepSeek-V3.1 的 MLA，V3.2 的 DSA 保持了架构兼容性，仅通过训练策略的调整（引入 Indexer 和稀疏化）就实现了显著的效率提升。

后训练

Specialist Distillation

构建了多个领域的“专家模型”，然后将它们的能力迁移给主模型。（针对 数学、编程、逻辑推理、通用 Agent 任务、Agent 编码、Agent 搜索 这六个领域，分别训练了专门的专家模型），使用训练好的专家模型生成高质量的领域数据，用于微调最终的 DeepSeek-V3.2 检查点

Mixed RL Training

这一阶段的核心策略是多任务融合，以避免分阶段训练可能导致的“灾难性遗忘”

• 沿用了 GRPO
• 将 Reasoning、Agent 任务 和 Human Alignment的数据整合在同一个 RL 阶段进行训练
• 奖励：
  • 推理和 Agent 任务： 基于规则的结果奖励，长度惩罚，语言一致性奖励
  • 通用任务： generative reward model，针对每个 prompt 有专门的评分标准

Scaling GRPO

稳定 GRPO 算法，防止训练崩溃

• Unbiased KL Estimate： ？
• Off-Policy Sequence Masking： 推理和训练之间存在不一致（Off-policy），计算数据采样策略与当前策略的 KL 散度，并掩盖掉那些策略差异过大且优势为负的样本
• Keep Routing： 强制训练时的专家路由路径与推理采样时保持一致
• Keep Sampling Mask： 在训练时复用采样时的截断掩码（Top-p/Top-k mask），确保新旧策略在相同的动作空间子集上进行比较，维护重要性采样的原则

Agentic Task Synthesis

合成数据流水线

• 冷启动，通过设计包含 <think> 标签的 System Prompt，将非 Agent 的推理数据与非推理的 Agent 数据结合，引导模型在调用工具前先进行思考
• 合成任务：利用 DeepSeek-V3.2 构建自动化 Agent 来生成训练环境和数据
  • 搜索 Agent： 自动挖掘长尾实体，构建问答对，并验证答案的正确性
  • 代码 Agent： 从 GitHub 挖掘 Issue-PR 对，自动构建可执行的测试环境（包含 Python, Java, C++ 等多种语言）
  • 通用 Agent： 自动合成超过 1800 个任务导向的环境（如旅行计划）

DeepSeek-V3.2-Speciale

解除对模型思考长度的限制，训练过程中显著降低了对生成长度的惩罚

为了提升在复杂数学证明任务上的能力，该模型额外整合了来自 DeepSeekMath-V2 的数据集和奖励方法

在推理能力上显著强于标准版

How Far Are We from Genuinely Useful Deep Research Agents?

arXiv:2512.01948

核心贡献:

• Finder (Fine-grained DEepResearch bench)： 一个细粒度的深度研究基准， 引入了419个结构化的检查清单，用于标准化评估报告的结构、分析深度和事实依据
• DEFT (Deep rEsearch Failure Taxonomy)： 对深度研究智能体的失败分类学， 将错误细分为3个核心维度（推理、检索、生成）下的14种具体失败模式

DEFT 的构建

• Open Coding， 使用5种不同的LLM作为编码员，分析失败案例，生成初始概念
• Axial Coding 结合人类专家介入，计算一致性， 将概念归纳为14个轴向类别
• Selective Coding， 提炼出“推理”、“检索”、“生成”三个核心维度

Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory

arXiv:2511.20857

缺乏一个统一的框架来评估智能体在部署期间（Test-time）如何检索、整合和进化其记忆

创新点

Evo-Memory 基准测试：提出了一个新的评估基准，将传统的静态数据集重构为顺序任务流， 要求模型在完成一个任务后，必须更新记忆以供后续任务使用

评估框架： 归纳了一个通用的记忆智能体公式：(Search -> Synthesis -> Evolve)，即检索、合成上下文、进化记忆的循环

ReMem： 传统的 ReAct 只有“思考”和“行动”， ReMem 引入了 Action–Think–Memory Refine 循环，让智能体主动地推理、修剪和重组记忆

ExpRAG 基准： 一个基于检索的简单基准，专门用于检索过去的“经验”（输入-输出-反馈三元组），而不仅仅是检索知识

ReMem 的工作机制

1. Think (思考)： 分解任务，规划步骤。
2. Act (行动)： 与环境交互。
3. Refine (优化)： 这是核心。智能体在每一步都会进行“元推理”（Meta-reasoning），决定哪些记忆是杂音需要删除，哪些经验值得保留或重组。

ExpRAG 的工作机制

• 将每次任务的 (输入, 预测, 反馈) 作为一个经验单元存入。
• 在遇到新任务时，检索最相似的 k 个过往经验作为上下文参考

Beyond Data Filtering: Knowledge Localization for Capability Removal in LLMs

https://alignment.anthropic.com/2025/selective-gradient-masking/

Selective GradienT Masking (SGTM): 针对LLM中危险知识的移除问题

• 在 Transformer 的每一层中，将部分注意力头和 MLP 神经元指定为“遗忘参数”，其余为“保留参数”
• 在训练过程中，当模型遇到被标记为“危险”的数据时，只更新“遗忘参数”（通过掩盖其他参数的梯度）
• 当遇到普通数据时，更新“保留参数”。
• 对于未标记数据，允许更新所有参数
• 训练结束后，直接将遗忘参数置零。这样就物理上移除了危险知识，同时保留了存储在其他参数中的通用能力。

Budget-Aware Tool-Use Enables Effective Agent Scaling

arXiv:2511.17006

ReAct 模式下简单地增加工具调用预算，并不能带来性能提升；往往在预算耗尽前就过早停止搜索，或者在死胡同里浪费资源

创新：

• Budget Tracker: 在每一轮对话中显式地告诉代理“当前已用多少资源，还剩多少资源”

• BATS (Budget-Aware Test-time Scaling) 框架：

  利用预算感知来动态调整Planning和Verification策略。它能根据剩余预算决定是Dig Deeper当前线索，还是Pivot尝试新路径。

• 统一成本指标: 将“Token消耗成本”和“工具调用成本”结合的统一指标 （性价比）

QwenLong-L1.5: Post-Training Recipe for Long-Context Reasoning and Memory Management

arXiv:2512.12967

• 长文本数据合成管线
• 稳定化长文本 RL 策略
• 记忆增强架构（Memory Agent）

1. 数据合成管线

核心突破在于生成需要在全局分布的证据中进行多跳关联和推理的任务

通过将文档去构造为原子事实及其底层关系，再通过程序化手段组合成可验证的复杂问题

• 合成策略：
  • 基于知识图谱（KG）： 挖掘文档中的实体关系，构建跨文档的多跳推理路径。
  • 基于结构化表（SQL）： 将文档中的数值信息转化为表格，通过 SQL 生成复杂的数值计算问题。
  • 多智能体自进化（MASE）： 使用三个智能体（提问者、解答者、验证者）迭代生成并验证难度递增的问题。
• 验证：
  • 知识落地检查（Knowledge Grounding Check）：移除源文档，测试模型是否仍能回答。若能回答，说明该问题依赖内部知识而非上下文，会被剔除
  • 上下文鲁棒性检查（Contextual Robustness Check）：通过插入无关文档扩展上下文，确保问题及其答案在复杂的噪声干扰下依然稳健

2. 长文本 RL

长文本RL存在的问题：

• 奖励信号，错误答案中往往包含大量正确的推理步骤，导致模型难以区分哪些动作导致了最终的失败
• 长文本数据涉及多个领域且分布极不均匀，传统的随机采样会导致训练Batch内的任务分布失衡
• 在长序列训练中，模型很容易陷入响应长度失控或熵崩溃（过度收敛）的陷阱

创新策略：

• 采样策略：不再随机选取数据，而是确保每个训练批次中平均分配五类任务
• 优势估计：改进了 GRPO 算法中的优势计算方式。改为**在同一任务类型内计算奖励的标准差，**隔离不同任务间的奖励噪声
• Negative Gradient Clipping， 高熵（模型不确定）的负向样本会产生巨大的梯度，从而扰乱优化过程，通过裁剪或屏蔽这些高熵负面响应的梯度，可以保护模型在探索过程中的潜力

AEPO 算法： AEPO 会根据模型当前的熵动态调整训练：当熵过高（太随机）时，暂时屏蔽负向优势样本以降低熵；当熵过低（太死板）时，重新引入负向梯度以鼓励探索

Progressive Paradigm： 从 20K 到 60K，再到 120K 输入长度的阶梯式训练；

3. Memory Agent

• 将超长文档切片（Chunking）。
• 模型按顺序阅读切片，每一步输出：1. 记忆更新（提炼关键信息）；2. 导航计划（决定下一步关注什么，小本子？）。
• 最后基于累积的记忆生成答案。
• 采用多阶段融合训练：先训练全上下文推理能力，再训练记忆管理能力，最后通过模型融合（Model Merging）结合两者。

推荐内容

一篇agent-memory综述： Memory in the Age of AI Agents: A Survey

一系列年度报告：

• OpenRouter: The 2025 State of AI Report
• Anthropic: How enterprises are building AI agents in 2026
• OpenAI: The state of enterprise AI
• Langchain: State of AI Agents

如何写好Claude.md: Writing a good CLAUDE.md

LLM 评估时的各式各样细节问题

• Chasing 100% Accuracy: A Deep Dive into Debugging Kimi K2’s Tool-Calling on vLLM
• Why benchmarking is hard

Physics of Language Models

---

影音记录

精选歌单

Live演出

12.08 L’Impératrice

12.09 Godspeed you! Black Emperor

12.13 Diels-Alder

书&阅读摘录

面向业务落地的AI产品评测体系设计与平台实现

在AI产品落地过程中，它的不确定性、动态性和复杂性，给质量和体验保障带来了前所未有的挑战。AI产品的特性使得测试既不是简单的功能验证，也不是纯算法模型的评测

工程产品是“需求明确 → 设计实现 → 测试验证”，AI产品则是“技术驱动 → 场景探索 → 效果迭代”的螺旋式过程。 评测需前置至需求阶段，与产品和研发共同定义“好”的标准

在算法评测中，金标评测集可以长期复用；在agent场景：每次评测时，外部服务数据、时间、接口行为可能变化；即使输入相同，也会因为外围导致答案偏离原始金标。

以前一个版本是一次代码发布；现在一个版本可能是：模型更换、prompt 改写、检索策略调整、工具编排改造或它们的任意组合；

评测标准的制定从研发单一角色制定转变到产品、设计、研发、业务方（BD/运营）共同参与指标，从“研发自说自话”转向“业务-技术目标同频”，解决AI产品常见的“技术达标但体验崩坏”问题 回收研发评测、产设验收及线上运营标注数据——将优质数据沉淀为金标集

我们推荐大部分AI产品的评测基于端到端评测

针对有参考答案的评测，我们核心要解决的是构造一个稳定可复现的“环境”。

我们建议按“变更范围 × 变更风险”来设计三档评测策略，并通过用例标签体系自动筛选推荐用例

怎么评估线上效果 形成“监测-分析-优化”完整闭环

作为一名科技从业者，如何总结你的 2025？

在我看来，人类正面临一个自身难以克服的挑战——知识爆炸让我们都成了越来越细分的专家，而创新往往发生在知识的交叉边缘。 当一个人穷其一生都无法触及某个领域的边缘时，跨领域的创新就变得异常困难。而AI正是帮助我们突破知识壁垒，探索未知世界的很好的工具，我对这一点充满了期待。

AI Agent 很火，但 Agent Infra 准备好了吗？

之所以 Infra 层会有很大的变化，核心在于，AI Agent 今天的开发和落地范式，与以往的 App 完全不同了。 核心的区别就是不确定性的存在。

但在 Agent 工程里，失败往往是模型对开发者意图的误解，或者说是概率上的「漂移」。你没办法像修水管一样去修复一个 Agent，只能像教育孩子一样，去引导它、说服它、约束它。

现在交付的是一种概率性的能力，你很难去定义什么是绝对的「正确」。

绝大多数工程师从入职第一天起，工作就是在确定性系统里进一步提升确定性，判断标准只有「对」和「错」。但现在我们面对的是不确定性的复杂系统，工作方式必须彻底转变。 这种转变主要体现在两点： 第一，从工程思维转向科学实验思维。而科学实验思维的核心，是建立一套评测体系，把复杂系统拆解成一个个子系统，屏蔽其他子系统的干扰，去单独评测每个子系统的影响。只有通过这种控制变量的方式，一步步摸索，才能驾驭 Agent 的复杂性； 第二，从 Day One 思维转向 Day Two 思维

AI Infra 更关注的是模型的算力、优化和推理，如何以最快、最稳定的算力服务让模型输出内容。 而 Agent Infra 关注的是项目的最终结果输出，上层的逻辑、记忆和工具调用。如何编排、如何管理记忆、如何调用各种工具接口，如何更稳定在沙盒里运行的问题。

AI Agent 第一次把「计算」这件事，真正意义上地民主化了。很多以前算不过账的事情，不太经济的商业模式，突然变得合理了。

Dify 认为可调试性、记忆管理和低延迟性能是下一阶段的重点。

上下文工程：AI-Native时代的软件研发新范式

真正有价值的，不是 AI 写了多少行代码，而是——你是不是在做 AI-Native 的软件工程。

人定边界，AI 填细节。 想业务、抽象、模型、trade-off，而不是某个库的 API 写法

上下文就是新的源码（Context is the new Source Code）。

Agent Engineering: A New Discipline

Traditional software assumes you mostly know the inputs and can define the outputs. Agents give you neither: users can say literally anything, and the space of possible behaviors is wide open Agent engineering is the iterative process of refining non-deterministic LLM systems into reliable production experiences. It is a cyclical process: build, test, ship, observe, refine, repeat.

We see agent engineering as a new discipline that combines 3 skillsets working together: Product thinking defines the scope and shapes agent behavior Engineering builds the infrastructure that makes agents production-ready. Data science measures and improves agent performance over time

LLMs are powerful enough to handle complex, multi-step workflows. We’re starting to cross the threshold where agents are delivering meaningful business value in production. Every input is an edge case. You can’t debug the old way. “Working” isn’t binary.

To achieve a reliable agent system, shipping is how you learn, not what you do after learning. Build your agent’s foundation. Test based on scenario you can imagine Ship to see real-world behavior Observe. Refine Repeat

The teams shipping reliable agents today share one thing: they’ve stopped trying to perfect agents before launch and started treating production as their primary teacher. In other words, tracing every decision, evaluating at scale, and shipping improvements in days instead of quarters.

微信杂谈：AI 产品 & 品味

agent 也只是当下使用 ai 的一种形式，形式可能会淘汰（比如大模型迭代），但底层的能力不会，应该去关注更本质的东西。

最近和人聊到 ai 产品，在 vibe coding 大行其道的今天，其实想做出让人眼前一亮的产品，就是需要靠品味和细节来打动人。因为你能做的事情，ai 基本都能做，但是品味这个东西，只可意会不可言传，ai 很难去平衡这个度。

“情绪价值函数”，它不是简单的对错运算，而是一些感性的东西在帮你做决策

地下阿根廷：犹太钱庄、华人超市、摆烂的年轻人与返贫的中产

所有的热情，最终都指向了一个赤裸裸的动词：逃生。

他们并不关心什么是 Web3，他们只关心一件事：USDT 能不能让我手里的钱不缩水。

当穷人在用现金避税，富人在用 Crypto 转移资产时，谁成了这场危机中唯一的输家？答案令人心碎：是那些遵纪守法的「老实人」。

中产阶级的崩溃，往往是无声的。他们不会像底层那样上街烧轮胎抗议，也不会像富人那样直接移民。他们只是默默地取消了周末的聚餐，换掉了孩子的私立学校，然后在每一个深夜焦虑地计算着下个月的账单。

他们是这个国家最听话的纳税人，也是被收割得最彻底的一群人。

---