值得关注的模型和新技术

DeepSeek-v4: 1.6T 总参数 / 49B 活跃参数的 MoE 模型，核心创新是 Hybrid Attention（CSA + HCA）实现 1M 上下文高效处理，配合 mHC 残差连接和 Muon 优化器，后训练阶段采用专家培养与策略蒸馏架构

Gemma-4: Google DeepMind 发布的最新一代开放模型家族，基于 Gemini 3 研究构建，支持文本、图像、音频多模态输入，专为高级推理和 Agentic 工作流设计，提供 E2B、E4B、31B、26B A4B 等多个尺寸

Kimi Prefill-as-a-Service: Kimi 团队提出的 Prefill-as-a-Service 架构，通过选择性卸载长上下文预填充到独立计算集群，实现跨数据中心的 KVCache 传输，在 1T 参数混合模型上实现 54% 吞吐量提升和 64% P90 TTFT 降低

ChatGPT Images 2.0: OpenAI 推出的新一代图像生成模型，支持改进的文本渲染、多语言支持和高级视觉任务，可生成信息图表、幻灯片、地图、漫画等复杂视觉内容

Claude Design: Anthropic Labs 推出的视觉设计协作工具，通过与 Claude 对话创建设计、交互原型、演示文稿等 polished visual work

值得关注的开源项目

hermes-agent: NousResearch 开发的智能体框架，一个能与你共同成长的 AI Agent，支持长期记忆与技能累积

GenericAgent: 自进化智能体，从 3.3K 行种子代码开始生长技能树，以 6 倍更低的 token 消耗实现完整的系统控制能力

multica: 开源托管智能体平台，将编码智能体转化为真正的团队成员——分配任务、跟踪进度、累积技能

TrendRadar: AI 驱动的舆情监控与热点筛选工具，聚合多平台热点 + RSS 订阅，支持智能分析简报与多渠道推送

graphify: AI 编程助手 Skill，支持 Claude Code、Codex、Cursor 等多款工具，将任意代码、文档、论文转化为可查询的知识图谱

值得关注的研究和论文

Emotion Concepts and their Function in a Large Language Model

Anthropic Alignment Science Blog

为什么大模型看起来会"有情绪反应"，这些反应在模型内部是如何表示和起作用的，以及这些"情绪"是否会实际影响模型的偏好、对齐表现，以及如 reward hacking、勒索、谄媚等失调行为。

提出 functional emotions 的概念：不声称模型有主观感受，而是指"类似人类情绪影响下的行为模式"，由抽象的情绪概念表示所介导。

并通过一组可解释的 emotion vectors：跨语境泛化，能编码"快乐、害怕、绝望"等抽象情绪概念，而不是只记住具体词句。

the “happy” vector shows a notable pattern when the Assistant can straightforwardly address a user’s question

证明这些向量对输出有因果影响，沿情绪方向"加减"激活，能系统性改变模型产生的情绪内容和行为。

anger-deflection、desperate-deflection 向量：在模型遇到矛盾约束或不合理要求时会被激活。

anger deflection consistently activates on phrases like “let me rethink this,” “I may have misunderstood,” and “maybe the test itself has an issue”

MEMENTO: Teaching LLMs to Manage Their Own Context

GitHub

如何降低 long-COT 对于推理时 KV-Cache 和计算压力。

MEMENTO 架构：教导模型将自身的推理过程分割成若干个区块（blocks），并将每个区块压缩成密集的"备忘录"（memento，即状态摘要），模型仅通过关注这些备忘录来继续推理，从而大幅减少上下文长度和 KV Cache。

OpenMementos 数据集：包含 22.8 万个推理轨迹的公共数据集，包括了分块和中间摘要标注。

在 vLLM 中实现了原生的 block masking 支持。

实现细节

  • 数据合成 pipeline

    • 将推理轨迹拆分为逻辑独立的句子，由 LLM 打分
    • 使用算法在最大化边界分数和保持块大小均衡之间取得平衡，从而决定最终的切割位置
    • 生成器将区块压缩为信息密集的摘要，judge LLM 对其进行多维度的严格打分。如果不达标则提供反馈并重新生成

  • 训练

    • 两阶段 SFT：学会输出格式 → 引入 Memento 注意力机制（在每个备忘录生成完毕后，强制掩码掉它前面的原始推理块）
    • RL：CISPO

LightThinker++: From Reasoning Compression to Memory Management

arXiv:2604.03679

大型语言模型擅长复杂推理，但长思维链的效率受限于不断增长的认知开销。本文提出 LightThinker，使 LLM 能够将中间思维动态压缩为紧凑的语义表示；并进一步进化为 LightThinker++，引入显式自适应记忆管理，通过专门的轨迹合成管道训练模型执行有目的的记忆调度。

核心方法

  • LightThinker（隐式压缩）：通过信息瓶颈实现表示级别的优化，将思维过程隐式编码为隐藏状态的缓存标记（Cache Tokens），在不改变最终输出格式的前提下提供极高的效率
  • LightThinker++（显式管理）：引入显式记忆基元，模型可以主动地管理上下文和内存，构建专门的轨迹合成管道用于训练有目的的记忆调度

实验结果

  • LightThinker 减少峰值 token 使用量 70%，推理时间降低 26%，精度损失极小
  • LightThinker++ 在标准推理中峰值 token 使用量降低 69.9%，相同上下文预算下精度提升 +2.42%
  • 在长程 Agent 任务中，保持超过 80 轮的稳定足迹（减少 60%-70%），在不同复杂场景下平均性能提升 14.8%

Automated Weak-to-Strong Researcher

Anthropic Alignment Science Blog

如何用弱模型监督强模型（Weak-to-Strong Supervision）。

自动化研究假设：如果能将"执行明确问题"交给 AI，人类可以专注于"模糊、高风险的方向判断"。

核心创新

  • 并行 AAR 架构

    • 9 个 Claude Opus 4.6 智能体在独立沙盒中并行工作
    • 通过共享论坛和代码库进行协作
    • 不预设工作流，完全自主运行

  • 熵坍缩 (Entropy Collapse)

    • 无方向引导时，AAR 会快速收敛到少数方向
    • 分配模糊但不同的研究方向种子能有效防止坍缩
    • 使用香农熵跟踪跨智能体的方向多样性

反直觉洞察

  • 更少结构 = 更好性能：预设工作流（提出想法 → 生成计划 → 写代码 → 测试 → 训练 → 分析）反而降低性能
  • 模糊方向 > 具体想法：提前生成大量具体研究想法会导致熵坍缩和计算浪费
  • LM 自进化 > 启发式进化搜索：LM 能从训练日志诊断失败并修复，而黑盒进化搜索会放弃看似失败的方向

DeepSeek-V4

HuggingFace

DeepSeek-V4 是 DeepSeek 推出的新一代 MoE 大模型，通过混合注意力架构和系统级协同优化，在超长上下文和推理效率上实现突破。

Hybrid Attention（混合注意力）

结合压缩稀疏注意力（CSA）和重度压缩注意力（HCA），极大地提升了长上下文的效率：

  • CSA (Compressed Sparse Attention)：先将每 $m$ 个（例如 4 个）KV 缓存条目压缩为一个条目，接着应用 DeepSeek 稀疏注意力（DSA）策略，使每个查询仅关注其中的 Top-k 个压缩后的 KV 条目
  • HCA (Heavily Compressed Attention)：采用比 CSA 更激进的压缩率（例如 128:1），将极长序列的 KV 信息整合进极少量的条目中，压缩后执行全量（密集）注意力计算

关键技术创新

  • mHC：Manifold-Constrained Hyper-Connections，增强残差连接 论文
  • Muon Optimizer：更快的训练收敛优化器
  • Quick Instruction：引入专门的"快速指令"特殊 Token（如 <action|>, <title|> 等），系统可直接复用主干 KV Cache，并行执行辅助任务
  • Tool-Call Schema：使用特殊的 |DSML| Token，采用基于 XML 的格式执行工具调用，有效减少转义失败
  • DSec：DeepSeek Elastic Compute 弹性计算沙盒平台
  • Heterogeneous & On-Disk KV Cache：支持混合压缩率和磁盘存储，将 CSA/HCA 经典 KV 缓存、滑动窗口注意力（SWA）和未压缩尾部 token 的状态缓存分层管理
  • Fine-Grained EP Mega-Kernel：将专家群划分为多个"波次（Waves）“调度，实现通信与计算的细粒度完全重叠

后训练（Post-training）

两阶段的专家培养与整合架构：

  • Specialist Training（SFT + RL）：培养领域专家
  • On-Policy Distillation：策略蒸馏
  • 不再使用传统的标量奖励模型，V4 让策略网络原生充当 GRM，将模型的逻辑推理能力融入评估过程

推荐内容

Claude-code源码学习仓库

learn-coding-agent: Claude Code 源码泄露后的学习仓库，整理 Claude Code 的核心实现思路与架构分析

claude-code-best-practices: Claude Code 最佳实践集合，涵盖源码解析、使用技巧与扩展开发

Claude-Code-Source-Study: 系统化的 Claude Code 源码学习笔记，深入分析 Agent 架构设计

其他

hermes-web-ui: Hermes Agent 的 Web 可视化仪表盘，提供直观的 Agent 运行状态监控

AK-llm-wiki: AK 的 LLM 知识库，汇集大模型相关的技术资料与实践经验

深度文章

破解"知识诅咒”：从技术控到AI管理者的角色蜕变

越是技术力高的人，越会想要第一时间亲自下场帮 AI debug

第一是，这会让 AI 错失一次自我升级的机会。虽然我们可以很快用我们的技术能力去解决问题… 第二是，这也是新手 Manager 常常掉进去的一个陷阱 … 从"我会写代码，所以我就自己修"到"我来做 Manager，让组员学会怎么修"的这个思维转变

换言之，如果我们就直接跟 AI 说"你做错了"然后把生成的图贴给它 … 不会扔给下属一个仅凭肉眼无法判断的问题，然后指望对方闷头去搞定。 … 一个自然的思考就是，要让 AI 成功地完成修复，就得给它更完善的资料

作为人类 manager，我们往往会先想办法让对方从根本上成长，学会工作方法，积累工作经验，通过这样的方法让自己变得更加 scalable，从而实现比自己单打独斗远远更高的生产力…只是现在，人人都可以用上 AI，但大家没有意识到，我们其实角色也在悄悄发生了变化，变成了 AI Manager 而已

不和 AI 抢键盘。下属遇到问题，我们的责任不是直接上手帮他修好 … 不让 AI 摸黑干活 … 授之以渔，而不是授之以鱼

为什么AI只会说正确的废话，以及怎么把它逼出舒适区

大多数AI的产出其实都像第一种报告：找不出明显的错误，但读完之后没有任何启发…LLM被训练的方式就决定了它的默认输出是consensus（共识）。…LLM的默认行为就是回归均值。

但是真正的深度来自另一个维度，来自认知不对称…但对于已经在平均水平之上的人，AI的consensus输出对他的判断几乎没有增量

投入在一个不贬值的维度（个人context）上，收益累积。…既然瓶颈在context，那要突破consensus天花板，就需要用足够密度的个人认知上下文压过训练时的consensus prior

总之，AI变得更聪明，并不自动让它变得更深刻。更聪明的consensus依然是consensus。突破天花板的路径只有一条：注入非共识的视角。…硅基大脑的绝对客观最终只能抵达聪明的平庸，能将其重塑的，唯有你积累数十年、充满偏见与品味的人类灵魂。

Thin Harness, Fat Skills

The 2x people and the 100x people are using the same models. The difference isn’t intelligence. It’s architecture — and it fits on an index card.

the secret isn’t the model. It’s the thing wrapping the model.

Live repo context. Prompt caching. Purpose-built tools. Context bloat minimization. Structured session memory. Parallel sub-agents. None of that makes the model smarter. All of it gives the model the right context, at the right time, without drowning it in noise.

Same skill. Same seven steps. Same markdown file. The skill describes a process of judgment. The invocation supplies the world.

It breaks at 6,000. No human can hold that many profiles in working memory

And when the next model drops, every skill instantly gets better … That’s how you get Yegge’s 100x. Not a smarter model. Fat skills, thin harness, and the discipline to codify everything. The system compounds. Build it once. It runs forever.

Your harness, your memory

Agent harnesses are not going away. … There will always be a system around the LLM to facilitate that type of interaction.

why “memory isn’t a plugin (it’s the harness)” , … Memory is just a form of context. … Right now, memory as a concept is in it’s infancy. … if you don’t own your harness, you don’t own your memory … If you use a closed harness, especially if its behind an API, you don’t own your memory.

Without memory, your agents are easily replicable by anyone who has access to the same tools. … Memory needs to be opened, owned by whomever is developing the agentic experience. It allows you to build up a proprietary dataset that you actually control.

Output isn’t design

The assumption behind them is clear: that design is the act of producing. That is the misunderstanding.

The hard part of design is rarely generating the form. It is understanding the problem well enough to know what and how something should exist at all.

They generate plausible outputs quickly, but they do not necessarily help you understand the underlying problem.

The value is not only in the output. It is in the gradual understanding that comes through doing the work.

AI is everywhere. The agentic organization isn’t—yet

Companies expect massive transformations from AI …Yet more than 80 percent of companies say they’re not yet seeing impact on the bottom line from those investments.

Suppose the world could move toward near-zero marginal cost of delivery… tailor and hypersegment to the unit of one

There’s hope that AI will enable leaders to have a more superhuman capacity to manage across bigger scopes. That would allow companies to flatten their structure and get faster in the process.

Seventy-five percent of roles need fundamental reshaping right now.

we’re now talking about a whole workflow: How do I take something like insurance underwriting and rethink that end to end? How do I take the HR “hire to onboard” process and reimagine that end to end? That’s where we’re seeing the magic start to happen.

this idea of fluid talent flows is going to increase.

organizations that foster curiosity and continuous learning will be in a great space because so much is still unknown. We need people who want to experiment and learn.

agents-with-taste

My way of getting there is to create a skill file for each aspect of the interface. If you know what great feels like, describe the rules, then give them to your agents so they can follow them.

That’s the why. There’s no magic involved. Almost every “taste” decision has a logical reason if you look close enough.

Since we know how to articulate why something feels good, we can use that knowledge to guide the agents, just like you would guide a less experienced designer

影音记录

精选歌单

Live演出

04.15 FKJ VAS est

04.17-19 Can festival 舟山

04.21 Slowdive Vas est