值得关注的模型和新技术

Google 2025 I/O 大会：

I/O 2025

Google在2025年I/O大会上全面展示了AI的最新进展和深度整合战略，涵盖基础模型迭代（如Gemini 2.5、Gemini Diffusion、Gemma 3n、Veo 3和Imagen 4）及多模态创新

OpenAI codex

Introducing Codex

OpenAI 于 2025年5月16日推出了 Codex 软件工程代理及其驱动模型 codex-1 和 codex-mini-latest，专注提升软件开发的自动化与效率。codex-1 基于 o3 模型，优化并行处理、多轮测试和复杂项目支持，擅长代码生成、Bug 修复等任务；codex-mini-latest 则主打低延迟，适合快速命令行操作。Codex 平台通过云端隔离沙箱，安全模拟真实开发环境，自动化完成如重构、测试编写等任务，支持细致行为定制。

Claude 4

Introducing Claude 4

Anthropic 于2025年5月22日发布了新一代 Claude 4 系列模型，包括 Claude Opus 4 和 Claude Sonnet 4，重点提升了编码、高级推理和对AI代理的支持能力。Opus 4 在行业编码基准测试中表现领先，拥有更强的内存与持续任务能力，并大幅减少“抄近路”行为，专注于高复杂任务和AI代理核心场景。Sonnet 4 则在提升推理与指令遵循能力的同时，平衡了性能与效率。

DeepSeek-R1-0528

Huggingface： deepseek-ai/DeepSeek-R1-0528

通过强化学习与算法优化实现推理能力提升，单问题推理深度翻倍（平均Token量从12K→23K），更强的数学、编码能力，并支持工具调用，大幅降低幻觉。同时开源了蒸馏小模型模型 deepseek-ai/DeepSeek-R1-0528-Qwen3-8B。

Flowith Neo

Flowith Neo 是 Flowith 团队推出的新一代 AI 智能代理，专为自动化复杂、长流程任务设计。其核心技术包括支持无限步骤的持续云端执行、强大的上下文保持能力、灵活调用多种外部工具，以及可视化工作流和自反思机制，显著提升流程的连贯性和可靠性。

值得关注的开源项目

DeerFlow

Github: github.com/bytedance/deer-flow

由字节跳动开源的，基于LangStack 开发的Deep Research 开源项目，支持深度研究、MCP 集成、报告 AI 增强编辑以及播客生成等功能，通过Docker compose一键启动。

FlowGram.AI

Github: github.com/bytedance/flowgram.ai

FlowGram.AI 是由字节跳动推出的一款基于节点的可视化流程构建引擎，支持固定布局和自由连接布局两种模式，帮助开发者快速创建清晰输入输出的交互式工作流。

MCP Server Chart

Github: github.com/antvis/mcp-server-chart

MCP Server Chart 是一个基于 AntV 的可视化MCP server，支持通过 AI 工具生成 15+ 种图表类型（如面积图、柱状图、折线图、词云等），并兼容 SSE 和 Streamable 协议，可无缝集成到 Claude、VSCode、Cline 等桌面或在线平台.

RL-Factory

Github: github.com/Simple-Efficient/RL-Factory

RL-Factory 是一个专为代理强化学习（Agent Learning）设计的高效框架，通过解耦环境与强化学习后训练流程，让用户仅需配置工具和奖励函数即可快速训练智能体。其核心优势包括：易用性（支持一键式Qwen3模型训练及多轮工具调用，内置模型评估奖励机制）、高效性（异步工具调用和奖励计算使训练速度提升2倍）、模型支持（当前原生支持Qwen3系列模型，如Qwen3-4B/8B，并计划扩展至Deepseek、Llama等主流模型）。框架提供端到端检索模型训练能力（通过rag_server），并计划集成WebUI实现全流程可视化管理

值得关注的研究和论文

EfficientLLM: Efficiency in Large Language Models

arXiv:2505.13840

No One-Size-Fits-All Solution: 没有免费午餐,任何效率提升都伴随着其他方面的代价

MoE架构虽然能提升模型性能并减少每token的FLOPs，但会使峰值VRAM使用量增加约40%

int4可节省高达3.9倍的内存占用和能耗，但会导致任务平均准确率下降约3-5%

Optima are Task- and Scale-Dependent: 效率最优解高度依赖于具体情境

  • MQA在内存受限设备上提供了最佳的内存-延迟边界；MLA在质量关键任务中产生最低的困惑度；NSA能耗最低
  • 对于1B-3B模型，LoRA及其变体（如DoRA）在特定内存约束下损失最低；对于超过14B参数的模型，RSLoRA在效率上（更低延迟和功耗）超过了LoRA。参数冻结在微调过程中端到端延迟最低
  • int4训练后量化能显著提升内存效率（最高减少3.9倍内存占用）和推理吞吐量（在内存受限条件下可提升3倍），同时模型性能仅有轻微下降（平均任务得分下降3-5个百分点）；bfloat16在Hopper架构GPU上一致优于float16

Broad Applicability Across Modalities：

  • 在LLM上验证的效率技术能有效迁移到LVM和VLM
  • MQA/GQA能提高LVM的生成质量
  • PEFT方法在LVM和VLM上也实现了良好的性能-效率权衡

Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning

Paper

使用RL 提升LLM的tool-using能力

解决的问题：

  • SFT tool-using 需要大量数据标注
  • 目前方法面对OOD数据表现不佳

具体实现

  • 基于Qwen2.5-7B/14B-Instruct，采用GRPO
  • 策略模型输出包含两部分：：用<thinking>标签包裹的自然语言推理 和 用<tool_call>标签包裹的JSON格式工具名及参数
  • 奖励设计：
    • 格式正确性
    • 工具调用正确性：工具名与参数需与真实值完全匹配（通过字典格式验证）
  • 无需预训练SFT，直接从原始数据进行RL训练
  • 数据：整合xLAM和ToolACE数据集，过滤无效工具调用，将多轮对话拆分为单步预测实例

有趣发现

  • SFT-then-RL未必最优：纯RL训练优于SFT-then-RL流程（但并不显著），SFT可能阻碍RL性能
  • 二元奖励优于细粒度奖励：细粒度奖励（如部分正确得分）易导致模型过拟合格式或局部匹配
  • 移除格式正确性奖励，导致性能下降

类似的tool-RL方向论文：

LLMs Get Lost In Multi-Turn Conversation

Paper

arXiv:2505.06120

关于LLMs在多轮未完全指定对话场景下的性能退化问题

Get lost的原因：

  • 过早且错误的假设：模型在对话早期基于不完整的信息做出假设，后续对话中，模型会围绕错误假设生成答案，导致最终结果完全偏离用户真实需求
  • 未掌握完整信息时尝试完整解答：模型急于生成最终答案，即使用户尚未提供所有必要信息，；因为LLMs的训练目标不包含信息完善等内容
  • 过度依赖之前的错误答案：模型将自己之前的错误回答视为“事实”，并在后续对话中不断强化这些错误
  • 输出过于冗长：模型生成冗长的回答，包含无关细节或重复内容；因为训练数据中长文本占比高，且模型倾向于“过度解释”以避免遗漏
  • 忽视中间回合的信息：模型对对话开头和结尾的信息关注度更高，但忽略中间回合的关键细节 “loss-in-the-middle”

建议：

  • 整合需求到单轮提示：一次性把话讲清楚
  • 对话偏离时：重启并提供总结
  • Be careful：
    • 多模型交叉验证
    • Temperature可以减少随机性，但即便为0也仍存在不可靠性
  • 开发建议：
    • 基准测试评估：增加多轮未指定任务的评估，而非仅关注单轮性能
    • 错误识别修正，self-verification
    • 意图识别

ZeroSearch: Incentivize the Search Capability of LLMs without Searching

Paper

解决了两个主要问题:

  • 从真实搜索引擎返回的文档质量往往不可预测，这会给训练过程引入噪声和不稳定性
  • 强化学习(RL)训练需要频繁进行推演(rollout)，可能涉及数十万次搜索请求，这会产生巨大的API费用并严重限制可扩展性

创新点

提出了ZeroSearch框架，一种不需要与真实搜索引擎交互就能增强LLM搜索能力的强化学习方法; 通过轻量级监督微调，将LLM转变为能够根据查询生成相关和噪声文档的检索模块;

设计了Curriculum learning 的推演策略，在训练过程中逐步降低生成文档的质量，使模型逐渐适应更具挑战性的检索场景;

引入损失屏蔽机制，确保只对模型自身生成的token应用损失计算，避免从检索模块生成的文档token影响训练稳定性

具体实现

  • 搜索模拟微调

    • 收集LLM与真实搜索引擎交互的轨迹，根据是否导致正确答案将其标记为正面或负面样本
    • 从这些轨迹中提取查询-文档对进行轻量级监督微调

  • Curriculum Search Simulation: 使用概率函数控制生成噪声文档的可能性，随着训练进行逐步增加难度,允许策略模型先学习基本输出格式和任务要求，然后逐渐适应更具挑战性的检索场景

    噪声文档生成概率：

$$p_i = p_s + \frac{b^{i/m} - 1}{b - 1} (p_e - p_s)$$

  • 奖励设计: 采用基于F1分数的奖励，平衡精确率和召回率，避免模型通过生成过长答案来提高命中率的"reward hacking"行为

    $$r_\phi(x, y) = \frac{2 \times IN}{PN + RN}$$

    其中 IN 为模型输出与标准答案之间的重叠词数（Intersection Number），PN 和 RN 分别为模型输出的词数（Prediction Number） 和标准答案的词数（Reference Number）

    没有对输出格式单独奖励，因为实验发现模型在训练过程中能自发学会输出规范格式

Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in Math

Paper

如何提升小型LLM（3.8B）在数学推理任务中的推理能力；

实现：

  • Distillation：利用DeepSeek-R1生成的大量多领域、多难度的CoT推理数据，对Phi-4-Mini进行中间训练，提升其基础推理能力
    • 如果数据集包含reasoning trajectories，则直接使用，没有推理过程，则用DeepSeek-R1生成CoT推理答案，生成8个不同rollouts，最终总共收集了约160万道题、1000万个rollouts
    • 用自动化工具检查答案是否正确，对于工具的误判复杂解答，用GPT-4o-mini再复查一遍
  • Rollout Preference Learning：利用大模型生成的错误推理样本，构建正确-错误的偏好对，采用DPO方法优化
  • RL with Verifiable Reward： 使用GRPO进一步优化，奖励函数为自动化验证工具对最终答案的判定

遇到的问题和解决方案：

  • 响应长度差异大导致训练不稳定：采用Prompt Optimization，在RL训练前，先用蒸馏后的模型对多个候选prompt多轮采样，只保留那些生成答案长度比较一致的prompt；
  • 奖励一致时梯度消失问题，GRPO依赖于advantage estimate，如果同一组采样的答案奖励完全一样（比如全对或全错），就会导致梯度为零；即便将全对/全错过滤，长度差异大，梯度依然不稳定，正负样本极度不平衡，影响RL收敛：**Reward Rebalancing，**针对难题，先过采样以保证组内多样性，然后把所有正向奖励的答案都保留，再随机采样等量的负向奖励答案，保证正负样本平衡，对于太容易的题目直接过滤掉。
  • Exploration–Exploitation Tradeoff，RL训练需要exploration才能找到高奖励策略，通常用高温度采样促进探索，但实际评测时往往用低温度来减少输出波动：Temperature Annealing，训练初期用高温度（1.0）促进探索，随着训练进展，线性降低温度到0.6，后期固定为0.6，逐步过渡到exploitation

UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities

Paper

  • 如何让RAG系统能灵活地从多种模态和多种粒度的知识库中检索最合适的信息，提升事实准确性和适应性。
  • 现有“统一嵌入空间”的多模态检索方法存在“模态鸿沟”（modality gap），即检索时更倾向于返回与查询同模态的数据，导致跨模态检索效果差。

主要创新点

  • Modality-aware Routing：不再强行将所有模态数据压缩到同一个嵌入空间，而是为每种模态（文本、图片、视频）分别维护独立的检索空间，通过一个“路由”模块，根据查询内容动态判断最适合的模态和粒度，然后只在对应的知识库中检索。
  • Granularity-aware Retrieval：每种模态下进一步细分粒度：如文本分为段落级、文档级，视频分为片段级、完整视频级，图片本身为最细粒度，路由不仅判断模态，还能判断所需的粒度，提升检索的相关性和生成质量
  • 路由器设计：支持“零训练”路由（用大模型如GPT-4o直接prompt分类）和“有监督训练”路由（用DistilBERT、T5-Large等模型训练分类器）

具体实现

  • 路由： 输入查询后，路由器首先判断该问题是否需要外部检索，若需检索，则进一步判断最合适的模态（文本/图片/视频）和粒度（段落/文档/片段/完整视频）
  • 分模态检索：每种模态有独立的检索器和嵌入空间，避免模态混淆
  • 生成回答：检索到的内容与原始查询一起输入到多模态大模型（LVLM）中，生成最终回答

推荐内容

Huggingface 官方推出的MCP教程: MCP Course

Deepleaning.AI 同Anthropic 联手推出的MCP课程： MCP: Build Rich-Context AI Apps with Anthropic

AI Engineering Transition Path

AI Red Teaming Playground Labs

影音记录

精选歌单

Live演出

  • 05.08 Adam Fischer-杜塞尔多夫交响乐团《马勒第九交响》
  • 05.09 Honeydip
  • 05.10 Hans Zimmer
  • 05.16 Envy
  • 05.23 Sea Power
  • 05.24-05.25 Offside Festival
  • 05.28 Maruja

书&阅读摘录

Why Cline Doesn’t Index Your Codebase (And Why That’s a Good Thing)

Why RAG Breaks Down for Code … The approach seems straightforward – chunk your data, create embeddings, store them in a vector database, and retrieve relevant pieces when needed. … But code isn’t like other data. It’s interconnected, constantly evolving, and often contains your most sensitive intellectual property. When you apply traditional RAG approaches to codebases, three critical problems emerge:

  1. Code Doesn’t Think in Chunks … when you chunk code for embeddings, you’re literally tearing apart its logic. …
  2. Indexes Decay While Code Evolves … An index, by definition, is a snapshot frozen in time. The code inevitably drifts out of sync. …

Cline’s Approach: Think Like a Developer, Act Like a Developer … Starting with Structure, Not Snippets … Discovery, Not Retrieval

If you’re an engineer who’s feeling hesitant or overwhelmed by…

stop treating AI like a vending machine for code. Think of AI as a highly skilled (but forgetful) pair programmer. Planning before AI writes any code. Frontload all relevant context – files, existing patterns, overall goals. Then, collaboratively develop a strategy with your AI.

Use “Rules Files” – essentially custom instructions – to persistently guide AI behavior. Complement Rules Files with “Memory Banks.” This allows the AI to “remember” critical project details, patterns, and decisions over time.

万字干货！如何让用户体验良好的同时，提高产品转化率？

确实能带来短期转化，但问题是只要用户反感一次，就很难再赢回来了

结论：良好的用户引导应以用户利益为核心

用户引导不该是“温柔的陷阱”，而应该是“清晰的邀请”；产品设计也不该是“只求你上钩”，而应该是“愿你心甘情愿留下”

Avoiding Skill Atrophy in the Age of AI

we may be increasing productivity, but at risk of losing our edge to skill atrophy if we’re not careful.

This cognitive offloading - relying on external tools to handle mental tasks - has plenty of precedents.

tempt us to “turn off our brain” for routine coding tasks. … “I’ve become a human clipboard”

Using AI as a collaborator, not a crutch Use AI to augment, not replace, code review. Pair program with the AI.

AI Agent 新探索：构建 AI 原生团队，使能 AI 员工

为什么目前的 AI 无法成为靠谱的数字员工: 首先是企业知识未文档化的问题…很少有系统性的文档记录… 工具与系统的操作障碍严重限制了 AI 的能力发挥 AI Agent 缺少执行持续任务的机制 AI 缺少长期记忆机制，难以累积经验和知识

要让 AI 成为有效的团队成员，首先要解决的不是 AI 技术本身，而是企业知识管理的问题。 要真正发挥 AI 的潜力，我们不仅需要提升 AI 的能力，还需要改造现有的工具和系统 然而，许多企业的 CI/CD 管道不完善或不存在…环境配置往往是手动完成的，难以复制。 … 原因很简单： B 团队的知识是可检索的，而 A 团队的知识被锁在人脑和私人对话中 … 而在 AI 原生团队中，知识必须从个人大脑转移到共享资源 — “团队知道某事” 增加了整体效能。 … Markdown 与 Git 等版本控制系统兼容性更好，支持差异对比和协作编辑，这对团队知识管理至关重要。 … 为内部系统提供 API 接口

即使是最聪明的开发者（或 AI）也需要适当的测试条件。 测试驱动开发(TDD)的理念在 AI 时代变得更加重要 … 在 AI 时代，这变成了”人机四眼”—AI 生成的代码需要人类审查，人类编写的复杂代码可由 AI 辅助检查。

它核心理念是”要想真正学会，就要能教会他人”。 要求 AI 在接受任务后首先生成一份 “工作理解文档”，包括： 目标概述：一句话总结任务目标上下文理解：相关背景和约束澄清问题：需要进一步明确的事项初步方案：可能的实现路径预期成果：如何评判成功 … 与其说我们在教 AI 如何更好地执行任务，不如说我们在教它如何更好地理解任务

主动性不足是限制 AI 成为真正团队成员的另一大障 … 一个沉默地陷入困境的员工比一个主动寻求帮助的员工更让人担忧。 … 而优秀的数字员工则会明确描述问题所在，提出可能的解决路径，并寻求必要的帮助。

从系统安全角度看，这涉及到”环境状态管理”—对工作环境变化的监控和保护能力。 … 变更范围评估：此操作会影响哪些系统组件？风险等级判定：操作可能导致的最坏结果是什么？可逆性分析：如果出错，恢复难度有多大？备选方案考虑：是否存在风险更低的替代方法？