生物医学基础模型越来越强,但我们真的知道它学会了什么吗?
2026.10.02 · 观点 · 论文 · 论文预印本
《Nature Methods》刊文讨论生物医学基础模型的评估困境,建议改革唯分数论的榜单。
德国海森堡大学、美国纽约大学等团队在《Nature Methods》发表「Benchmarking biomedical foundation models」,指出传统「选任务、算指标、排榜单」的方式对基础模型已不够用。论文以单细胞基础模型(scFMs)为例,建议加入简单基线、null model 与 upper-bound reference,并启动 BEACON 评测生态。
- 论文发表于《Nature Methods》,聚焦生物医学基础模型评估困境
- 传统「选任务、算指标、排榜单」对基础模型已远远不够
- 以单细胞基础模型 scFMs 为例,扰动预测被认为具有独特价值
- 建议加入简单基线、null model 与 upper-bound refere
- 研究者启动 BEACON,试图建立标准化、可复现的评测框架
为什么值得看
排行榜高分不等于模型学到了可泛化的生物学知识。
适合谁关注
关注 AI for Science、生物医学大模型与评测方法的研究者。