探索 Claude 与 GPT 知识截止时间及预训练时间线
2026.08.11 · 观点 · 行业动态 · 社区热议
通过向大模型输入特定测试集，可反推其训练数据、参数量及预训练时间线。
作者 Shrivu Shankar 在文章中探讨了如何通过精心策划的请求来探查前沿大模型的隐藏训练细节。通过对小众事实、分词方式以及日期和自我识别问题的评分，可以近似估计如 GPT-5 和 Opus 等模型的参数量、数据集混合情况及训练时间线。
- 利用不可压缩知识探针近似估计模型参数量
- 通过分词分解情况揭示数据集混合状况
- 依据日期或身份问题估计模型训练时间线
- 大模型训练通常包含预训练、能力提升和后训练三个主要阶段
为什么值得看
揭示了通过巧妙测试反推顶尖 AI 模型训练机密的方法，极具技术洞察力。
适合谁关注
AI 研究人员、大模型开发者及对模型训练原理感兴趣的技术极客