值得关注的模型和新技术

值得关注的开源项目

值得关注的研究和论文

Agentic Retrieval Augmented Generation for Personalized Recommendation

arXiv:2506.21931

基于RAG的推荐系统中的两大核心问题:

  • 静态和简单的检索机制
  • 对用户意图的理解不足

创新点

ARAG (Agentic Retrieval-Augmented Generation) 的框架，其核心是将多智能体（Multi-Agent）协作机制引入到RAG的推荐流程中

  • 设计了四个Agent:将复杂的推荐任务分解为用户理解、内容对齐、上下文总结和最终排序等多个子任务
  • 将推荐过程从简单的“检索-然后-生成”模式，转变为一个由多个智能体协同进行的“推理-然后-排序”的过程
  • 通过智能体的协作，ARAG能够动态地构建和提炼用于最终排序的上下文信息

Dynamic Chunking for End-to-End Hierarchical Sequence Modeling

arXiv:2507.07955

目前LLM是使用的分词存在一些弊端：

  • 非end-to-end 的学习
  • 对字符级别的操作（如拼写错误、大小写变化）不鲁棒
  • 特殊语言如中文上处理效果不佳
  • 分词结果可能不符合语义

创新：

提出了一套名为动态分块（Dynamic Chunking, DC）的机制，并将其整合到一个新颖的分层网络（Hierarchical Network, H-Net）架构中

动态分块： 可微的、端到端学习的分块机制，能根据内容和上下文动态决定如何切分序列； 包含： 路由模块 (Routing Module)：通过计算相邻元素表示的余弦相似度来预测边界，平滑模块 (Smoothing Module)：在解码（上采样）阶段，使用类似指数移动平均（EMA）的方法，根据边界预测的置信度对表示进行平滑插值

Recursive H-Net： 架构本身采用类似U-Net的分层设计（编码器-主网络-解码器），但其核心特点是可递归嵌套，这意味着模型可以构建多层次的抽象。

优化训练：

  • Ratio Loss： 引入一个辅助损失函数来控制压缩率，防止模型压缩过多或过少，确保计算效率

Thought Anchors: Which LLM Reasoning Steps Matter?

arXiv:2506.19143

如何有效识别并量化CoT中各个步骤的重要性，从而理解模型的推理结构？

提出“思想锚点”（Thought Anchors）概念： 在推理过程中，并非所有句子都同等重要。存在一些具有超常重要性、并能不成比例地影响后续推理过程的关键句子；

这些锚点通常是进行Planning或Backtracking/Uncertainty Management 的句子，而不是具体的计算步骤

Thought Anchors识别方式：

  • Measuring Counterfactual Influence: 通过比较“包含”与“不包含”某个句子的影响来衡量其重要性, 如果一个句子 S_i 很重要，那么用一个语义不同的句子替换它，模型的最终答案或后续推理路径应该会发生显著变化；具体而言，在原始推理链中，保留句子 S_i，然后让模型从 S_i 之后继续生成100次，得到一个最终答案的分布， 回到 S_i 之前的位置，让模型重新生成一个句子 T_i 并继续推理100次， 只选择那些新生成的句子 T_i 与原句 S_i 语义不相似的样本进行比较（embedding 的cosine相似度）， 通过计算两种情况下最终答案分布的KL散度，来量化句子 S_i 对最终答案的因果重要性
  • Attention Aggregation： 重要的句子（思想锚点）可能会被后续的推理步骤反复、高度地关注； Receiver Heads (存在一些特定的注意力头，它们的功能是将注意力高度集中在少数几个过去的句子上, 注意力分布kurtosis很高) 高度关注的句子，即为思想锚点，一个句子的重要性可以通过它从所有“接收头”那里获得的平均注意力分数来衡量
  • Attention Suppression： 通过主动干预注意力来测量句子间的直接依赖关系， 如果句子 S_j 在逻辑上依赖于句子 S_i，那么阻止 S_j “看到” S_i，S_j 的生成过程会受到显著影响；具体，在生成后续句子时，人为抑制所有注意力头对某个过去句子 S_i 的注意力， 比较在抑制和不抑制两种情况下，后续每个token的预测logits的KL散度， 将一个句子中所有词元的KL散度平均，得到句子 S_i 对后续某个句子 S_j 的直接因果影响分数。这可以构建一个句子间的因果依赖矩阵

Gemini 2.5 Pro Capable of Winning Gold at IMO 2025

arXiv:2507.15855

创新点： self-verification pipeline

  • Step 1: Initial solution generation， 使用Gemini 2.5 Pro对一个问题进行多次采样，生成一批初始解答
  • Step 2: Self-improvement， 让模型回顾并尝试改进上一步生成的解答。这一步主要是为了给予模型额外的“思考预算”（32768个token），使其能继续完成在第一步中因预算耗尽而未完成的推理
  • Step 3: Verifying the solution，Gemini 2.5 Pro使用验证提示作为验证者逐行检查解答，验证者会生成一份“错误报告”，将问题分为“关键错误”或“论证缺陷”，并附上解释
  • Step 4: Review of the bug report， 由人类专家审查错误报告，删除验证者误判的问题，确保反馈的准确性
  • Step 5: Correcting or improving， 将经过审核的错误报告反馈给“解题者”模型，让它根据报告中的问题来修正或完善解答
  • Step 6: Accept or Reject， 重复步骤3到5，进行多轮迭代， 当一个解答能够连续5次通过验证且没有发现任何问题时，该解答被“接受”， 如果迭代过程中始终存在无法修复的关键错误，则“拒绝”该解答

Lost at the Beginning of Reasoning

arXiv:2506.22058

模型的推理过程对第一步的推理（initial reasoning step）有极强的依赖性。一旦第一步出错，模型很难在后续步骤中纠正这个错误，导致最终答案大概率也是错误的 （Lost at the Beginning）

基于上述发现，作者提出了一种名为Early Pruning的采样策略。该策略的核心思想是：先生成多个简短的第一步推理候选项，然后利用一个奖励模型（Reward Model）快速评估这些候选项的质量，只保留质量最高的几个，并仅对这些有希望的路径继续生成完整的推理过程

并创建了一个名为 LaBoR (Lost at the Beginning of Reasoning) 的新基准，一个专门用于衡量长思维链模型在“开局不利”情况下自我修正能力的基准，每个样本都包含一个问题和一个故意设计的、有缺陷的第一步推理。

推荐内容

Context Engineering有关内容

AI代理的上下文工程：构建Manus的经验教训

context-engineering-intro

12-Factor Agents - Principles for building reliable LLM applications

Andrej Karpathy 的推文

The rise of “context engineering”

The New Skill in AI is Not Prompting, It’s Context Engineering

Context Engineering: Bringing Engineering Discipline to Prompts

课程&Books

Post-training of LLMs from DeepLearningAI

Slides for LLM Reasoning at Stanford CS 25

Foundations of Large Language Models

影音记录

精选歌单

Live演出

07.09 Alcest

07.11 雪国

书&阅读摘录

朋友圈的沉默，是我们这代人最无声的告别

人们在主动逃离公共社交，从公之于众的「广场」上，躲回到更私密的群聊、私聊甚至「仅自己可见」的心里。 我们正在经历一个「发帖倦怠」（posting ennui）的时代。 发什么，都不对劲

而 2025 年，我们却陷入了一个奇怪的悖论：任何东西都可以发，但没有任何东西值得发。 这不是孤例，而是 Z 时代人的共识：比起被看见，更不想让别人误解。 《纽约客》的文章提到一个有意思的心理词汇：vulnerability hangover，用来形容在公开表达脆弱之后，感到羞耻、后悔、焦虑或暴露感的反应。

还有一批年轻人在实践「数字极简主义」，不仅不发，还少看、少评、少点赞，甚至关闭通知、卸载通知，以恢复注意力、缓解焦虑，给自己进行一个「数字排毒」。

在 AI 兴起后，产生了一个术语叫「Google Zero」：即通过 AI，搜索引擎直接呈现答案，用户不再点进网站的时代。 社交媒体的未来，也许正在逼近「Posting Zero」。 那将是一个普通人不再发帖的世界，只剩品牌、媒体矩阵、营销、AI 生成的内容

Context Engineering: Bringing Engineering Discipline to Prompts

Prompt engineering was about cleverly phrasing a question; context engineering is about constructing an entire information environment so the AI can solve the problem reliably.

The term context engineering is catching on because it intuitively captures what we actually do when building LLM solutions. “Prompt” sounds like a single short query; “context” implies a richer information state we prepare for the AI.

Context engineering means dynamically giving an AI everything it needs to succeed – the instructions, data, examples, tools, and history – all packaged into the model’s input context at runtime.

AI代理的上下文工程：构建Manus的经验教训

具有相同前缀的上下文可以利用KV缓存，这大大减少了首个token的生成时间(TTFT)和推理成本——无论你是使用自托管模型还是调用推理API。我们说的不是小幅度的节省：例如使用Claude Sonnet时，缓存的输入token成本为0.30美元/百万token，而未缓存的成本为3美元/百万token——相差10倍

代理本质上必须根据所有先前状态预测下一个动作——而你无法可靠地预测哪个观察结果可能在十步之后变得至关重要 … 这就是为什么我们在Manus中将文件系统视为终极上下文：大小不受限制，天然持久化，并且代理可以直接操作

Manus将其目标复述到上下文的末尾。这将全局计划推入模型的近期注意力范围内，避免了"丢失在中间"的问题

Writing is thinking

writing is not only about reporting results; it also provides a tool to uncover new thoughts and ideas. Writing compels us to think — not in the chaotic, non-linear way our minds typically wander, but in a structured, intentional manner.

However, LLMs are not considered authors as they lack accountability, and thus, we would not consider publishing manuscripts written entirely by LLMs (using LLMs for copy-editing is allowed but should be declared).

Nevertheless, outsourcing the entire writing process to LLMs may deprive us of the opportunity to reflect on our field and engage in the creative, essential task of shaping research findings into a compelling narrative — a skill that is certainly important beyond scholarly writing and publishing.