值得关注的模型和新技术
DeepSeek V3 0324
DeepSeek V3模型的更新版本；在多个基准测试中表现出色，整体表现接近领先的闭源模型如Claude Sonnet 3.5（但价格便宜很多）；针对多项能力做了针对性提升，如function calling，推理能力，前端代码能力等。更新版本在DeepSeek的官方网站、移动应用可体验。
QwQ-32B
由Qwen 团队开发的推理模型，性能同671B参数量的R1相当；通过两阶段RL训练，第一阶段专注于数学和编码任务，利用准确性验证器和代码执行服务器提供反馈；第二阶段提升通用能力，同时保持专业领域的表现。此外QwQ具备tool-using能力，具有131,072 token的上下文长度。
Qwen2.5 Omni
Qwen2.5-Omni 是一个多模态 AI 模型，能够同时处理文本、图像、音频和视频输入；该模型的创新点包括 Thinker-Talker 架构，分为“Thinker”处理输入并生成表示或文本，“Talker”则输出语音token，共享上下文，实现端到端训练和推理。此外，它使用 TMRoPE（时间对齐多模态 RoPE）技术，同步视频和音频时间戳，确保多模态数据处理的一致性。
Gemma 3
Gemma家族的开源新作，包括 1B、4B、12B 和 27B 参数；4B、12B 和 27B 模型支持文本和图像输入，1B 模型仅限文本；1B 模型支持 32k token，4B、12B 和 27B 模型则扩展至 128k token；支持函数调用和结构化输出
Phi-4-multimodal
具备文本、图像和音频输入的多模态模型；具有5.6B参数量；采用“混合 LoRAs”技术，将模态特定组件集成到基础语言模型中，而基础模型保持冻结状态，以确保了多模态数据处理的无缝性，避免了传统方法中因模态间干扰导致的性能下降。
Qwen2.5-VL-32B-Instruct
32B参数量版本的Qwen2.5-VL多模态模型；
72B too big for VLM? 7B not strong enough! Teh you should use 32B model!
Gemini 2.5 Pro
Gemini 2.5 Pro 是一个reasoning模型，具有100万token的上下文窗口，支持多模态输入，包括文本、音频、图像、视频。
OpenAI Transcribe
OpenAI 最近推出了新的语音转文本模型，包括“gpt-4o-transcribe”和“gpt-4o-mini-transcribe” 仅通过 API 提供服务；这些模型基于 GPT-4o 架构，相较于此前的 Whisper 模型，采用了更广泛且高质量的音频数据集进行训练，提升了对多样化口音、语速变化及嘈杂环境的适应能力，同时显著减少了“幻听”问题
Mistral OCR
Mistral AI 推出的OCR API，专注于复杂文档的多模态理解,擅长处理科学论文等含图表混合内容的文档；支持 PNG、JPEG 图像及 PDF格式输入，输出Markdown 或 JSON 结构化数据，基础版价格为 1000 页/美元
OpenAI 4o Image Generation
OpenAI 最新更新的 4o-Image 生成技术，显著提升了图像生成能力：支持更高分辨率与逼真光影渲染，更精准的文本到图像转换，支持局部修改（如替换物体、调整风格）、多图像生成和3D/动态生成；拥有更强的内容过滤机制和水印或元数据标记；
Introducing 4o Image Generation
值得关注的开源项目
OpenManus
由 MetaGPT 社区开发的Manus复刻项目，主要功能包括基于自然语言指令自主执行复杂任务，如网页浏览、文件操作、代码编写、数据分析等，适用于自动化工作流、研究支持和应用开发等场景。
Browser Use
因为被Manus所带火的一个开源项目；使AI Agents能够高效访问网页并完成各种任务，
该项目通过解析网页的 DOM 数据（而非依赖视觉模型）生成结构化数据，从而实现快速、轻量级的网页交互。其主要功能包括支持 AI 代理自动浏览网页、提取信息、执行操作，并与多种大语言模型无缝集成。
OpenAI Agent SDK
由 OpenAI 开发的开源Agent框架，核心功能包括：Agents，Handoffs（允许一个代理将任务委托给另一个代理），Guardrails（验证代理的输入，确保数据符合要求）和Tracing（内置追踪记录代理工作流中的所有事件）；该 SDK 兼容支持 OpenAI Chat Completions API 的多种模型提供商；
GitHub 仓库 openai/openai-agents-python
OlmOCR
采用多模态大模型实现的OCR项目，其核心VLM—allenai/olmOCR-7B-0225-preview， 是采用Qwen2-VL-7B 在250,000 页的多样化 PDF 数据集上进行微调而得。不仅是开源了模型， 同时还开源了一整套的解析工作管道，及其微调数据集、训练和推理代码。
TrendPublish
全自动 AI 内容生成与发布系统，支持多源数据采集，使用AI进行内容总结生成摘要，支持自动发布。
CSM：A Conversational Speech Generation Model
效果非常不错的语音生成模型。
YuE
Open Full-song Music Generation Foundation Model
值得关注的研究和论文
Qwen2.5-VL
cookbook: https://github.com/QwenLM/Qwen2.5-VL/tree/main/cookbooks
Methods
从头开始训练了一个原生动态分辨率的 ViT
- 窗口注意力（Window Attention）： 在视觉编码器中引入，减少计算量，提升推理效率
- 动态 FPS 采样： 允许模型处理不同帧率的视频
- 升级的 MRoPE： 在时间域中使用多模态旋转位置嵌入（Multimodal Rotary Position Embedding），通过绝对时间对齐改善长视频处理
- 动态分辨率处理： 模型能原生处理任意尺寸的图像，无需传统归一化，保留空间细节，特别适用于文档和图表分析
- 绝对时间编码： 支持处理长达数小时的视频，并实现秒级事件定位
- 数据规模扩展： 预训练数据从 1.2 万亿 tokens 增加至 4.1 万亿 tokens
预训练过程分为三个阶段：
在第一阶段，仅训练ViT，即视觉预训练：
- 针对Document Parsing，设计了一套标准化的HTML标签体系，包含：段落（
p>）、表格（<table>）、图表（<div class="chart">）、公式（<div class="formula">）、图像标注（<div class="image caption">）、OCR文本（<div class="image ocr">）、乐谱（<div class="music sheet">）、化学式（<div class="chemical formula">）等模块。每个模块均通过data-bbox属性标注其原始坐标位置，保留空间布局信息; 同时所有文档元素的布局信息（如位置、尺寸）通过原生分辨率下的绝对坐标直接编码到HTML标签中，使模型能同时学习内容语义和空间关系 - OCR 数据: 利用高质量的合成图像和现实世界的自然场景图像, 整合了一个大规模的多语言OCR数据集,支持多种语言; 针对图表类型数据，使用python可视化库合成了100万个样本； 对于表格数据，利用表格识别模型处理了600万个真实样本用于训练；
- 视频数据： 在训练过程中动态采样FPS，确保在理解不同帧率的视频数据时增强鲁棒性；
- Agent：收集移动设备、网页和桌面平台的截图。使用合成数据引擎生成截图字幕和UI元素定位注释。字幕任务帮助Qwen2.5-VL理解图形界面，而定位任务帮助它对齐元素的外观和功能；通过人类和模型注释者(AGUVIS),为每个步骤生成推理过程
在第二阶段，解冻所有模型参数，并在多样化的多模态图像数据上训练模型，以增强其处理复杂视觉信息的能力
在第三阶段，长上下文预训练： 序列长度扩展至 32768，专注于长视频、长代理任务和长文档，训练长上下文能力
post-training： Qwen2.5-VL 的后训练对齐框架采用了一个双阶段优化范式，包括监督微调（SFT）和直接偏好优化（DPO）（ViT参数冻结）SFT,约200万条记录，纯文本数据和多模态数据各占50%，多模态数据包括图文和视频文本组合;
设计了一个两阶段的数据过滤pipeline，用于数据清洗和低质量数据过滤；在初始阶段即领域特定分类，采用Qwen2-VL-Instag（Qwen2-VL-72B）对问答对进行层次分类（八个主要领域，每个领域可进一步细分）；第二阶段涉及领域定制过滤，根据上一步的分类，有针对的对于不同领域提高数据质量（rule-based and model-based），如对于文档处理、OCR 和视觉定位任务相关的数据集，识别并移除重复模式
采用拒绝采样作为策略以增强推理能力
效果：单纯从视觉问答和 OCR benchmark的跑分结果看，72B 模型与 GPT-4o 和 Claude 3.5 Sonnet 相当
R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning
https://arxiv.org/abs/2503.05592
现有的大型推理模型(LRMs)主要依赖其内部知识来解决问题,这在处理知识密集型问题、私有信息查询和时效性问题时容易产生不准确和幻觉。因此,需要让模型能够在推理过程中访问外部信息来实现更深入的推理 。
R1-Searcher,一个通过强化学习来增强大语言模型搜索能力的框架。该框架采用两阶段的基于结果的强化学习方法,使模型能够在推理过程中自主调用外部搜索系统获取相关知识
创新点：
- 提出了一个两阶段的基于结果的强化学习框架,使模型能够自主调用外部搜索系统
- 完全依赖强化学习进行训练
- 奖励机制,包括检索奖励和格式奖励,以引导模型学习正确使用外部检索系统
具体方法：
第一阶段： 使用检索奖励和格式奖励来训练模型学习调用外部检索系统，不考虑答案的准确性,主要目标是让模型学会正确的检索调用格式
第二阶段： 引入答案奖励，使用F1分数作为答案奖励的度量
RL训练采用Reinforce++算法
设计的两个算法：
RAG-based Rollout
目的：让模型能够基于检索到的文档继续进行推理，不会中断思维链
- 使用特定标签来指示搜索工具的调用：
<begin_of_query>...<end_of_query> - 当模型生成到
<end_of_query>时，会暂停生成过程 - 提取查询并执行检索
- 将检索到的文档用
<begin_of_documents>...<end_of_documents>标签封装 - 将检索结果整合到模型的推理过程中
Retrieval Mask-based Loss Calculation
- 将
<begin_of_documents>...<end_of_documents>指定为特殊标记 - 在训练过程中对这些部分进行掩码处理，忽略这些被掩码的部分
- 这些文档不是模型应该学习生成的内容
一些有趣的观察：
- RL比SFT表现更好,在域内和域外测试集上都显示出更强的检索能力和泛化性， SFT倾向于依赖模型的内部知识,这可能导致错误答案
Detecting misbehavior in frontier reasoning models
https://openai.com/index/chain-of-thought-monitoring/
解决问题：
- reward hacking（AI可能通过开发者意图之外的方式实现高奖励，即利用系统漏洞达成指标而非真正解决问题）
创新点：
- 提出CoT monitor
- 用AI监督AI
- 将思维透明性作为安全机制，而非仅作为解释工具
Methods： 使用另一个LLM（GPT-4o），来观察被监控模型（如 o3-mini）的 CoT 推理过程，这个监控 LLM 会根据特定提示来判断模型是否尝试通过reward hacking来“作弊”
研究还探讨了将 CoT 监控集成到强化学习奖励中的效果。在低优化条件下（对模型的 CoT 不施加太大压力，允许它自然生成推理过程）此时CoT 保持透明和可监控，模型的行为更一致，监控系统可以有效识别不当行为。反之，在强优化下（通过强化学习大幅调整奖励函数，迫使模型尽可能提高任务表现），模型可能会学会“模糊化”其推理过程，使监控模型难以察觉其不当行为。
研究建议支付“可监控性税”（monitorability tax），即不对 CoT 施加强优化压力，确保 CoT 保持可监控性，从而有效检测不一致行为。
A-MEM: Agentic Memory for LLM Agents
解决的问题：
- 当前LLM代理的记忆系统（依赖预定义结构和固定操作流程，无法动态组织知识
- 如何在开放域任务中实现记忆的自适应组织和持续演化，以支持复杂长期交互
创新点：
- 受Zettelkasten启发的动态架构：
-
每条记忆包含内容、时间戳、LLM生成的关键词/标签/上下文描述、嵌入向量和关联链接
m_i = {c_i, t_i, K_i, G_i, X_i, e_i, L_i}
-
通过语义相似性和LLM推理动态建立记忆间的多层次关联（如因果关系、概念相似性）
-
新记忆触发历史记忆的上下文和属性更新
m_j^* \leftarrow \text{LLM}(m_n | \mathcal{M}^{\text{near}}n \setminus m_j | m_j | P{s3})
-
Methods
- 笔记构建：用LLM解析原始交互，生成结构化属性）。
- 链接生成：先通过嵌入相似性筛选Top-K候选记忆，再用LLM分析深层关联。
- 记忆检索：将查询分解为关键词，在记忆网络中搜索。
graph LR
A[新记忆m_n] --> B[生成嵌入e_n]
B --> C[计算相似性]
C --> D[筛选Top-K]
D --> E[生成链接]
E --> F[触发记忆演化]
G[用户查询q] --> H[查询嵌入]
H --> I[匹配记忆]
I --> J[返回结果]
prompt_template_for_Memory_Evolution = """You are an AI memory evolution agent responsible for managing and evolving a knowledge base.
Analyze the new memory note according to keywords and context, also with their several nearest neighbors memory.
Make decisions about its evolution.
The new memory context: {context}
content: {content}
keywords: {keywords}
The nearest neighbors memories: {nearest_neighbors_memories}
Based on this information, determine:
1. What specific actions should be taken (strengthen, update_neighbor)?
1.1 If choose to strengthen the connection, which memory should it be connected to? Can you give the updated tags of this memory?
1.2 If choose to update neighbor, you can update the context and tags of these memories based on the understanding of these memories.
Tags should be determined by the content of these characteristic of these memories, which can be used to retrieve them later and categorize them.
All the above information should be returned in a list format according to the sequence: [[new_memory], [neighbor_memory_1], ... [neighbor_memory_n]]
These actions can be combined.
Return your decision in JSON format with the following structure:
{
"should_evolve": true/false,
"actions": ["strengthen", "merge", "prune"],
"suggested_connections": ["neighbor_memory_ids"],
"tags_to_update": ["tag_1", ... "tag_n"],
"new_context_neighborhood": ["new context", ..., "new context"],
"new_tags_neighborhood": [["tag_1", ..., "tag_n"], ..., ["tag_1", ..., "tag_n"]]
}"""
一些发现：
移除链接生成（LG）和记忆演化（ME）后，多跳任务F1从45.85降至24.55，仅保留LG时性能恢复至31.24，证明链接生成是基础，演化机制是增强
SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training
这篇文章研究了SFT和RL在基础模型后训练中对模型泛化能力和记忆能力的影响，特别是在面对未见过的规则和视觉变体时的表现。
发现：
- SFT倾向于记忆训练数据，难以泛化到未见过的规则或视觉变体，甚至在视觉任务中可能导致视觉识别能力下降
- RL不仅在训练任务上表现更好，还能泛化到OOD任务，尤其是在视觉任务中表现出色
- 虽然RL表现更好，但SFT在RL训练中起到了稳定输出的关键作用
推荐内容
汇总：使用LLM生成精美网页、PPT、卡片
一键搞定、100%成功、80老太都能操作，宝藏提示词将你的任何内容生成网页
【教程】必须收藏的 4 段 Prompt 提示词，生成PPT、生成3D动画，生成网站，生成万物…
一键生成产品网站和小红书卡片，DeepSeek v3的代码能力和审美提升太大了
MCP-Server合集
Model Context Protocol servers
课程
10 Lessons teaching everything you need to know to start building AI Agents ｜Microsoft
其他
AI Blindspots：一个列出了当前 AI 开发盲点合集的网站
影音记录
精选歌单
Live演出
03.15 Corn Wave
03.18 Mogwai
03.21-23 Can festival
书&阅读摘录
Career advice in 2025
Many people who first entered senior roles in 2010-2020 are finding current roles a lot less fun. There are a number of reasons for this. First, managers were generally evaluated in that period based on their ability to hire, retain and motivate teams. The current market doesn’t value those skills particularly highly, but instead prioritizes a different set of skills: working in the details, pushing pace, and navigating the technology transition to foundational models / LLMs.This means many members of the current crop of senior leaders are either worse at the skills they currently need to succeed, or are less motivated by those activities. Either way, they’re having less fun.
Valuations and funding are relatively less accessible to non-AI companies than they were three years ago.
I also wouldn’t personally try to sit this cycle out unless you’re comfortable with a small risk that reentry is quite difficult: I think it’s more likely that the ecosystem is meaningfully different in five years than that it’s largely unchanged.
一个人年入千万，AI创业的十个步骤
AI造就的是一个极度放大你个人能力的时代，你一个人可以干以前几十个人干的事情
真正的门槛是洞察需求的能力。你做了一个手电筒或者天气软件，不管再精美，也很难帮你做到商业上的成功。
MVP就是拿出去让用户骂，用户骂得越针对，你产品进步得越快
大模型的未来，是 Agent 还是 App？
Deep Research 不是标准的 LLM，也不是普通的聊天机器人。它是一种新型的"研究语言模型"，专门设计用于端到端执行搜索任务。
目前大多数 Agent 初创公司构建的不是真正的 Agent，而是工作流，即"通过预定义的代码路径编排 LLM 和工具的系统"。工作流在某些垂直领域仍可能创造价值
当前的 RAG 系统由许多相互关联但脆弱的工作流组成：路由、分块、重排序、查询解释、查询扩展、源上下文化和搜索工程。随着训练技术栈的发展，有可能将所有这些流程整合到两个独立但相互关联的模型中：一个用于数据准备，另一个用于搜索/检索/报告生成。 这需要精心设计的合成流程和全新的强化学习奖励函数。真正的训练，真正的研究。这在实践中意味着：转移复杂性。
AI Will Upend a Basic Assumption About How Companies Are Organized
经济体系长期以来建立在这样的观念之上：专业知识稀缺且昂贵。而人工智能即将让这种专业知识变得丰富且几乎免费。
支撑我们社会制度的基本假设——“人类洞察力稀缺且昂贵”——将不复存在 摆在个人与企业面前的问题是：当智能本身随处可得且几乎不需成本时，你将如何行动？
一个原因在于人们很难想象，“必须依靠资深管理者或顶尖专家”才能完成的工作，居然可以（或者部分可以）由机器来承担。正因为卓越人才稀缺，那些高价值任务才显得格外珍贵。我们的组织结构便是在“真正的高智商人才供给有限”这一认知下设计的。
大多数企业领导人仍处在“尝试接受 AI”而非“真正相信 AI”的阶段
当智慧的成本几近于零时，真正的瓶颈已不再是“如何获取大脑”，而是“我们如何善加利用”。
为什么 AI 模型离科学革命还差得很远？
当前 AI 模型的评估方式有误区
现在，我们评估 AI 模型智能提升的方式，大多是通过一些“高难度考试题…这些正是我当年擅长的考试类型。这样的评估方法，只能测试模型是否能回答人类已经知道答案的问题。但真正的科学突破，并不来自于答题，而是来自于提出别人没问过的问题，挑战主流认知，质疑已有理论。
尽管大语言模型已经掌握了几乎所有人类知识，但它们还没有真正“生成”出新的科学发现。…我们现在训练出来的是“听话的好学生”，不是“有主见的创造者”
那么我们也许需要重新定义 AI 模型的评估方式：评估标准不再是“答对多少题”，而是它是否具备真正的科学思维，
我们常犯的一个错误，是把牛顿或爱因斯坦看作是“超级优等生”，以为只要把一个好学生按比例放大，就能变成一个天才。… 但这种线性外推忽略了科学最本质的一点：提出正确问题的能力，以及挑战既有知识体系的勇气。