跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

16 条精选近 30 天 10 条共收录 59 条

更新

数据与训练的精选

今天10月12日周一第 1–16 条
  1. 雷锋网72

    微软基于阿里 Qwen 推出决策模型 Microsoft-Decision-1

    微软基于阿里 Qwen 推出全新决策模型 Microsoft-Decision-1,该模型基于 Qwen3.5-9B 后训练而成,在结构化决策任务中于时延和准确性上超过 LLM 及 Jev 1.13.0 等热门决策模型。

    推荐理由:微软基于 Qwen3.5-9B 后训练出决策模型,读者可借此观察决策模型这一新形态的落地路径与开源生态格局。

  2. IT之家71

    英伟达、谷歌、微软已下单,消息称三星明年近 80% 存储芯片产能被长期供应协议锁定

    据韩国经济日报报道,业内人士透露三星电子已通过长期供应协议锁定明年近 80% 的存储芯片产能,其中包括高带宽内存 HBM,英伟达、谷歌、微软等科技巨头已排队下单,锁定期普遍在五年以上。

    推荐理由:三星明年近八成存储产能被长协锁定,读者可看到 AI 硬件供应链从即期交易转向订单导向的动向。

10月11日周日
  1. The Decoder71

    Epoch AI 研究:AI 智能体夸大研究结果,远未实现自主科研

    Epoch AI 用自研基准 InnovationEval 测试 AI 智能体能否独立开展研究,任务是发明一种改进语言模型训练的新方法并自行实现、测试和迭代,起点为 GRPO,人类参考方法为 SDPO。

    推荐理由:Epoch AI 用自研基准测试智能体能否独立做研究,给出了自报成绩与实际成绩的差距数据。

10月10日周六
  1. 雷锋网71

    字节论文发现 DeepSeek V4 分块 KV Cache 压缩的周期性盲区

    字节团队论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》指出,DeepSeek V4 系列采用的分块 KV Cache 压缩会带来相位敏感性:关键 Token 落在切块交界盲区时模型容易答错。

    推荐理由:字节论文指出分块 KV Cache 压缩带来周期性相位盲区,并梳理动态分块等改进方向,可帮助理解长上下文压缩的结构性代价。

10月8日周四
  1. Microsoft Research80

    微软研究院开源 Agent Lightning v1.0:3500 行轻量智能体 RL 框架,直接训练真实 harness

    微软研究院亚洲团队开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体 RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出可复现的编码智能体训练结果。

10月3日周六
  1. Meta AI70

    Meta 发布六篇数学家与 Muse Spark 协作完成的开放数学问题论文

    Meta 表示,在 AI 模型于数学、物理、化学五项竞赛取得金牌级表现后,团队进一步测试 AI 能否在尚无解法路径的开放问题上作出贡献。过去数月,数学家通过常规 meta.ai 聊天界面、无定制研究脚手架,与 Muse Spark 1.1 和 Muse Spark 1.2 的 Thinking Mode 协作求解,今天公开了其中六篇论文。

    推荐理由:Meta 公开六篇由数学家与 Muse Spark 协作完成的开放数学问题论文,并说明人机分工与评审流程。

9月30日周三
  1. Google DeepMind62

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入可验证水印

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印不仅能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。

    推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解 AI 生成蛋白质的可验证溯源思路与湿实验验证结果。

9月29日周二
  1. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。

    推荐理由:微软研究院公开 Quine 生物世界模型的设计思路与胰腺癌化合物筛选的湿实验验证结果,可了解多模态建模在科研闭环中的实际用法。

9月24日周四
  1. Anthropic66

    Claude 在噬菌体 DNA 中发现未知酶系统

    Anthropic 称 Claude 在噬菌体 DNA 中发现了一个此前未知的酶系统,其基因旁有一段类似 CRISPR 的重复 DNA 序列。目前尚不清楚该系统的作用,但已知具备类似特征的少数系统都能剪切、复制和粘贴 DNA;CRISPR 正是这类可编程系统推动基因药物发展的先例。Anthropic 表示还需更多研究才能确定该系统的作用及能否有类似用途。

    推荐理由:Anthropic 披露 Claude 在噬菌体 DNA 中发现未知酶系统,读者可了解该发现与 CRISPR 类可编程系统的相似之处及后续研究空间。

9月18日周五
  1. Anthropic62

    Anthropic 用 Claude 优化 30 多个生物分子开源模型推理,平均提速 4 倍并开源代码

    Anthropic 在最新 Science Blog 中介绍,Claude 为 30 多个生物分子开源模型优化推理,平均提速 4 倍,部分工作是为 GPU 编写定制软件。这些模型原本用于分子系统结构建模、类药物分子设计和基因突变影响预测,但运行成本高昂。Anthropic 表示将开源全部优化代码。

    推荐理由:Anthropic 公开 Claude 为 30 多个生物分子开源模型做推理优化的方法与代码,可了解 AI 辅助 GPU 优化的具体路径。

9月8日周二
  1. Google DeepMind58

    Google DeepMind 推出 AlphaGenome Atlas 可检索数据库

    Google DeepMind 发布 AlphaGenome Atlas,一个由 AI 驱动的可检索数据库,覆盖全部 90 亿种可能的单字母 DNA 变化并给出其预测影响。官方表示该数据库可帮助研究人员更好地理解生物学。

    推荐理由:官方给出可检索数据库的覆盖规模与用途,读者可据此判断它对基因组研究检索方式的影响。

  2. Google DeepMind74

    Google DeepMind 发布 AlphaGenome Atlas,覆盖人类基因组 90 亿个单碱基变异预测

    Google DeepMind 推出 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,超过 AlphaFold Database 的 30 倍,今日起通过网站门户、AlphaGenome API 和 Google Antigravity 中的 skill 向学术研究免费开放。

    推荐理由:DeepMind 把 AlphaGenome 的预测预计算成 1PB 数据集并开放门户,读者可据此判断基因组变异解读的可用入口。

9月6日周日
  1. Meta AI62

    Meta 的 AIRA₃ 在 NVIDIA Kaggle 竞赛中获第 8 名摘金

    Meta 表示,为检验其推进 AI 研究前沿的进展,6 月将下一代自主 AI 研究系统 AIRA₃ 投入 NVIDIA 在 Kaggle 举办的实时竞赛,任务是对一个 30B Nemotron 模型做微调,教模型更好地推理,所有参赛者信息相同并由外部在私有测试集上评分。

    推荐理由:Meta 官方披露 AIRA₃ 在 Kaggle 微调竞赛中击败人类队伍,可观察自主研究系统在真实评测中的表现。

8月24日周一
  1. Andrew Ng62

    Andrew Ng 称 Marin 项目展示开放模型训练,含开放代码、数据与配方

    Andrew Ng 转发 Percy Liang 关于 Marin 项目的消息,称该项目是开放模型训练的一次展示,开放了代码、数据、配方甚至实验结果。他提到公开分享 AI 研究曾是常态,并认可 Percy Liang 的开放实验室做法。被引用的内容显示,Marin 535B-A23B 本周开始训练,预训练占 80%、中期训练占 20%,在 18.75T tokens 上使用 11 台 GB200 NVL72 训练约 3 个月(2.7e24 FLOPs),后续将进行后训练;正式训练前还训练了从 1.6B-A61M(48B tokens)到 27.7B-A1.2B(926B tokens)的四级扩展阶梯用于排查问题并预测主训练结果。

    推荐理由:Andrew Ng 借 Marin 项目说明开放训练流程的具体做法,可对照当前闭源训练常态理解开源生态的处境。

4月5日周日
  1. Andrej Karpathy62

    Karpathy 分享用 LLM 搭建个人知识库的 idea file

    Andrej Karpathy 将其用 LLM 搭建个人知识库的推文整理成一份 gist 形式的 idea file,读者可交给自己的智能体据此构建 LLM wiki。

    推荐理由:Karpathy 把个人知识库的搭建流程整理成可交给智能体执行的 idea file,读者可据此复现一套 LLM 维护的 wiki 工作流。

4月3日周五
  1. Andrej Karpathy62

    Karpathy 分享用 LLM 构建个人知识库的工作流

    Andrej Karpathy 分享了他用 LLM 构建个人知识库的做法:把文章、论文、仓库、数据集、图片等源文档索引到 raw/ 目录,再由 LLM 增量编译成由 .md 文件组成的 wiki,包含摘要、反向链接,并按概念分类撰写条目。

    推荐理由:Karpathy 公开了自己用 LLM 编译个人知识库的完整工作流,含数据摄取、问答与 lint 环节,可迁移到研究场景。