值得关注的模型和新技术
MiniMax M2.7: MiniMax 发布的自研迭代模型，核心创新是模型深度参与自身训练数据的生成与筛选，实现"模型自我进化"的闭环
Attention Residuals: Kimi 团队提出的新型残差连接机制，用 softmax attention 替代固定权重累加，解决 Transformer 深层"信息稀释"问题
Gemini Embedding-002: Google DeepMind 首个原生多模态 Embedding 模型，将文本、图像、视频、音频统一映射到同一向量空间
值得关注的开源项目
karpathy/autoresearch: Andrej Karpathy 开源的极简自主研究系统，夜间运行、零人工干预，人类编写 program.md 定义目标，Agent 自主修改代码完成实验
bytedance/deer-flow: 字节跳动开源的 Super Agent Harness，基于 LangGraph 构建，内置子代理编排、长期记忆、沙箱执行，支持多平台 IM 集成与 MCP Server
letta-ai/claude-subconscious: Letta 团队开发的 Claude Code 插件，后台运行的 Agent 观察会话、阅读代码库、跨会话记忆偏好，在每次提示前"低语"指导
supermemoryai/supermemory: State-of-the-art AI 记忆引擎，三大记忆基准测试均排名第一，自动提取事实、构建用户画像、处理知识更新与矛盾，提供 MCP Server 和多框架集成
jackwener/opencli: 将任何网站、Electron 应用或本地 CLI 工具变成命令行接口，复用 Chrome 登录态，零 LLM 成本，覆盖 50+ 网站和桌面应用
koala73/worldmonitor: AI 驱动的实时全球情报仪表盘，435+ 新闻源跨 15 分类，双地图引擎，金融雷达覆盖 92 个交易所，支持 21 种语言和本地 AI
值得关注的研究和论文
Learning Personalized Agents from Human Feedback
arXiv:2602.20478
PAHF 引入了一个三步持续学习循环（行动前澄清 → 行动实施 → 行动后反馈），使智能体能够从实时交互中在线学习个性化偏好
核心组件
| 组件 | 目的 | 解决的问题 |
|---|---|---|
| 行动前交互 | 行动前请求澄清 | 部分可观测性（已知的确定性） |
| 行动执行 | 基于检索到的偏好做出决策 | 任务完成 |
| 行动后反馈 | 出错后更新记忆 | 非平稳性（偏好漂移） |
Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
arXiv:2602.11988
由 LLM 生成的上下文文件会降低任务成功率，并增加 20%+ 的推理成本，而开发者编写的文件仅能带来微弱的性能提升（+4%）
AGENTbench：一个全新的基准测试，包含来自 12 个仓库的 138 个实例，所有实例均包含开发者提供的上下文文件
三种评估设置
- None（无）：无上下文文件
- LLM：由 LLM 生成的上下文文件（使用智能体的
/init命令） - Human（人类）：开发者提供的上下文文件
实验结果
| 设置 | SWE-bench Lite | AGENTbench | 成本影响 |
|---|---|---|---|
| 无上下文文件 | 基线 | 基线 | 基线 |
| LLM 生成 | 成功率 -0.5% | 成功率 -2% | 成本 +20-23% |
| 开发者编写 | N/A | 成功率 +4% | 成本 +19% |
人类编写的上下文文件应该只描述最低限度的要求，在仓库缺乏文档时最有用
Think Deep, Not Just Long: Measuring LLM Reasoning Effort via Deep-Thinking Tokens
arXiv:2602.13517
引入了 Deep-Thinking Ratio (DTR)，通过识别模型内部预测在深层发生显著修正的标记（Tokens）来衡量推理质量；DTR 与准确率的相关性（r=0.828）远强于生成长度（r=-0.544）
核心洞察
Long-CoT 存在 over-thinking 的问题，并非生成越长推理质量越高
Deep-Thinking Tokens
在收敛之前，其内部预测在模型深层仍经历显著修正的 Token。判定标准：
- 提取中间层分布：对每一层 $l$，使用反嵌入矩阵 $W_U$ 投影隐藏状态 $h_{t,l}$，得到概率分布 $p_{t,l}$
- 计算 JS 散度：测量中间层与最终层分布之间的差异：$D_{t,l} = \text{JSD}(p_{t,L} | p_{t,l})$
- 确定稳定深度：找到首个满足阈值（g=0.5）的深度 $c_t$
- 分类 DT Tokens：如果稳定深度 $c_t$ 处于模型总层数 $L$ 的后 15%，则判定为 DT Tokens
DTR 计算
$$\text{DTR} = \frac{\text{Deep-Thinking Tokens 数量}}{\text{总 Token 数量}}$$
OpenClaw-RL: Train Any Agent Simply by Talking
arXiv:2603.10165
核心洞察：Next-State Signals 是通用的——所有 Agent 交互产生的下一个状态信号都可以被统一利用来训练策略
信号提取框架
| 信号类型 | 提取方式 | 信息内容 |
|---|---|---|
| Evaluative Signals (评估信号) | PRM Judge → 标量奖励 | 动作执行得好不好 |
| Directive Signals (指令信号) | Hindsight-Guided OPD → token-level 监督 | 动作应该怎么改 |
Hindsight-Guided On-Policy Distillation (OPD)
- Hindsight Hint Extraction：Judge 模型对动作序列和下一状态进行处理，生成 1-3 句话的改进提示
- Enhanced Teacher Context：将 Hint 拼接至原始输入，构建增强版教师上下文
- Token-level Directional Advantage：同一模型分别作为 Teacher（知道提示）和 Student（不知提示），计算每个 Token 的条件概率差异
$$A_i^{\text{OPD}} = \log \pi_{\theta}(y_i \mid s_{\text{enhanced}}, y_{<i}) - \log \pi_{\theta}(y_i \mid s_t, y_{<i})$$
系统架构
OpenClaw-RL 采用异步运行架构：Policy Serving、Environment Server、PRM/Judge、Trainer 四组件分离
SkillNet: Create, Evaluate, and Connect AI Skills
arXiv:2603.04448
避免 Agent 重复造轮子，通过 Skill Creation → Skill Structuring & Relation Graph → Skill Evaluation 实现技能的统一管理与复用
Skill Relation Graph
不基于向量检索搜索 skills，而是采用 DAG + Unified Ontology 构建 skills 间的计算拓扑：
- Skill Taxonomy：层级化树状结构对所有技能进行领域划分
- 四类核心有向图边：
similar_to：连接功能同构但实现细节不同的技能depend_on：定义前置条件compose_with：定义哪些原子技能可以拼接成复杂工作流belong_to：定义树状拆解结构
Skill 评估维度
| 维度 | 评估方式 | 指标 |
|---|---|---|
| Safety | 静态代码分析 | 漏洞率（Injection Risks、Filesystem Abuse） |
| Completeness | 文档映射分析 | Feature/API Coverage |
| Executability | 沙盒化动态测试 | Success Rate |
| Maintainability | 静态结构分析 | Schema Drift |
| Cost-awareness | 沙盒化动态测试 | 平均调用成本 |
MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens
arXiv:2603.23516
Scalable Sparse Attention：将 Retrieval 和 Generation 融合为一个端到端可导的统一循环
核心机制
- Chunk-mean Pooling：将长文档的 Latent state（K、V 矩阵以及路由键 $K_r$）进行高比例压缩
- 内容感知稀疏化：当前 Query 被投影为 $Q_r$，与全局 $K_r$ 进行相似度匹配，动态挑选 Top-k 个 Chunks
- 端到端可微：路由机制由模型内部的投影矩阵实现，Loss 可通过反向传播更新权重
关键创新
| 技术 | 解决的问题 |
|---|---|
| Document-wise RoPE | 海量文档拼接时位置编码数值过大导致的位置漂移和外推崩溃 |
| Memory Parallel | 轻量级路由键放 GPU 显存，内容键值放内存，平衡速度与容量 |
| Memory Interleaving | Multi-hop reasoning 中模型容易"忘记目标"或"线索断链"，采用自适应交替循环：Generative retrieval → 上下文扩展 → 生成 |
与现有方案对比
- 原始 Transformer (Full-attention)：$O(N^2)$ 复杂度
- RAG：检索与生成断层，检索器无法随模型迭代
- MSA：检索内置在注意力层中，Next-token Loss 可直接优化检索准确率
推荐内容
学习资源
Agent 自我演化
处理MiniMax-M2.7 和 Andrej Karpathy 的autoresearch外，3月份还有不少有关 Agent self-Evolution有关的研究
| 项目 | 论文 | 代码库 | 核心贡献 |
|---|---|---|---|
| EvoX | arXiv:2602.23413 | skydiscover-ai/skydiscover | 模型自我进化框架 |
| Hyperagents | arXiv:2603.19461 | facebookresearch/Hyperagents | 超参数优化的Agent系统 |
| AutoAgent | arXiv:2603.09716 | vicFigure/AutoAgent (待发布) | 全自动Agent生成框架 |
| Memento-Skills | arXiv:2603.18743 | Memento-Teams/Memento-Skills | 可遗忘与更新的技能管理 |
| SkillCraft | arXiv:2603.00718 | shiqichen17/SkillCraft | 面向复杂任务的技能合成 |
Claude-code/Claw 学习资料
Hello Claw: Datawhale 出品的Claw入门教程
Claw0: ShareAI Lab的Claw实践指南
AgentWay: Claude-code/Claw 开发资源导航，系统整理工具链与最佳实践
你不知道的 Claude Code：架构、治理与工程实践: 详细的Claude Code原理解析与工程实践指南
Agent Skills 资源
slavingia/skills: Sahil Lavingia基于《The Minimalist Entrepreneur》理念设计的Claude Code Skills集合
follow-builders: AI builders digest — monitors top AI builders on X and YouTube podcasts, remixes their content into digestible summaries. Follow builders, not influencers.
影音记录
精选歌单
书&阅读摘录
The Self-Driving Codebase
How do we get from today’s delivery process to a self-driving codebase?
Individual speed ≠ organizational velocity.
Agents running in the background need their own execution environment with a full toolchain, ability to run tests and access via secrets to systems.
Remove the human from the invocation loop
Your engineers aren’t in the loop. They’re on the loop.
SaaS 已死，CaaS 新生——无界面创业的兴起
企业的核心护城河，不再是”代码与 UI”，而是”专属场景图谱（Context）与记忆体系（Memory）”。
SaaS 厂商并不关心企业的场景是否适配，只关心企业是否持续付费。但大模型的出现，彻底击碎了这种”强耦合”关系。这意味着，传统 SaaS 那层昂贵的”交互外壳”，价值开始趋零。
而真正稀缺、不可替代的，是企业独有的”状态（State）”—— 那些沉淀在老员工脑子里的隐性经验、存在于 Slack 对话里的破碎决策、藏在历史订单中的客户偏好、贯穿企业十年发展的失败复盘，这些才是企业的”不动产”，也是 AI 真正能产生价值的核心。
记忆层的核心价值，在于”决策审计”与”经验复用”。具体来说，它包含两个核心功能：决策轨迹留存、经验复用与优化
长期记忆的本质不是存储，而是组织——让Agent能从过往交互中快速定位可利用的知识片段，并在新情境下进行适应性重组
Agent Harness is the Real Product
The model is interchangeable. The harness is the product.
A framework is abstractions… pretty unopinionated. Harnesses are batteries included
The model decides what to do. The harness decides what the model can see, what tools it can use, and what happens when it fails.
How To Be A World-Class Agentic Engineer
The point of this is to say that the most important principle to hold is the realization that every new generation of agents will force you to rethink what is optimal, which is why less is more.
Today, I want to dispel all of that and leave you guys with a simple, honest statement, and we’ll go from there. You don’t need the latest agentic harnesses, you don’t need to install a million packages and you absolutely do not need to feel the need to read a million things to stay competitive. In fact, your enthusiasm is likely doing more harm than good.
Context is everything … You suffer from context bloat - which is just a fancy way of saying your agents are overwhelmed with too much information!
Separate research from implementation
I find that “neutral” prompts work… I don’t say “Find me a bug in the database”, instead, I say “Search through the database, try to follow along with the logic of each component, and report back all findings.”
If you don’t want your agent to do something, write it as a rule. Skills are like rules, except rather than encoding preferences
Letting Your Agents Know How To End The Task… Tests are a very very good milestone for agents,
The natural extension of this is to create a “contract” with your agent, and embed it into a rule. Say, this {TASK}_CONTRACT.md constitutes what needs to be done
That’s it. That’s really the secret. Keep it simple, use rules and skills and CLAUDE.md as a directory and be religiously mindful about their context and their design limitations.
No agent today is perfect. You can relegate much of the design and implementation to the agents, but you will need to own the outcome.
Productive Individuals Don’t Make Productive Firms
It was when we finally redesigned the institution and the technology together that the upside materialized.
Because of a simple fact: productive individuals do not make productive firms.
The real shift isn’t from tools to services, it’s building the technology and the institution together
What I Learned from Two Weeks Inside China’s AI Ecosystem
China’s educational system produces excellence but doesn’t leave enough space for deviation. The output is founders who are exceptional executors of known problems…
Most Chinese funds have built their entire theses around backing the best alumni from Bytedance or DJI — pedigree over spikiness, credential over conviction.
Chinese open source is genuinely impressive — but the closed models remain significantly behind the best Western ones, and the gap is likely to widen
That tier of breakout private software company largely doesn’t exist in China — and the few exceptions, like HeyGen, Manus, and GenSpark, ended up leaving once they did find it.
The West is considerably more hostile toward China than China is toward the West.
Chinese founders see no contradiction in combining Chinese engineering execution and hardware depth with Western go-to-market and product vision. That combination… will produce some genuinely remarkable companies.
《IBM和纳粹》
Edwin Black 著
许多人都曾为计算机时代和信息时代的到来而欣喜若狂。我便是其中之一。但现在，身为大屠杀幸存者的儿子，我被一股强烈的意识所吞噬，这种意识带给我一种全新的认识。在这个“认知时代”（Age of Realization），我们将重新审视技术的觉醒。除非我们了解纳粹分子如何获取名单，否则将有更多人被那些名单所编码。
IBM谨遵一条“不道德”的特殊信条：只要有能力做，那就应该做。对于盲目的技术官僚而言，手段永远比目的重要
结合上个月密集爆发的一系列新闻，书中的警告仿佛正在现实中重演：Anthropic 因拒绝为五角大楼提供涉及国内监控与自主武器的 AI 技术而遭封杀；OpenAI 则顺势拿下了国防部的军工订单；Palantir 的数据服务正被 ICE（美国移民局）用于精准抓捕非法移民；而在近期的美以伊冲突中，甚至传闻 AI 的致命误判导致一所小学被战斧导弹夷为平地。 重读此书促使自己重新思考：技术伦理的边界在哪里？