700亿参数也学不会坐标：大模型的几何盲区给AI制药划出架构分界

趋势前瞻 × 药企研发负责人 ｜ 数据视角 × 医疗数据从业者 ｜ 深度研报

开场：从晶体结构预测生成能，是材料科学与药物发现的同一类问题

坐标—类别数据 (coordinate–category data) 由一组向量与对应的类别信息共同构成，从这类数据预测目标属性，是计算科学里最基础的问题形态之一。在材料科学中，它的典型表现形式是从晶体结构预测生成能 (formation energy) 或弹性模量 (elastic modulus)。这类输入在形式上很朴素：一部分是连续的空间位置，一部分是离散的类别标签。

长期以来，材料科学做这类预测主要依赖两条路线：一是手工特征模型 (hand-crafted feature model)，由领域专家先设计描述结构的数值特征，再交给常规回归模型；二是图神经网络 (graph neural network, GNN)，把原子视为节点、把邻近关系视为边，让模型自行学习结构表示。

最近几年，大语言模型 (large language models, LLMs) 被越来越多地用到同类任务上，做法是把结构序列化成文本，再交给语言模型去做属性预测 (property prediction)。但怎样的策略才能得到可靠预测，一直缺少定论。

在多个科学领域，大语言模型已经达到或超过人类专家水平，这正是它被引入属性预测的直接动因。2026年10月12日，《Nature Computational Science》上线的一篇论文对这个问题给出了系统回答。论文同时指出，药物发现中存在同类的坐标—类别数据问题：分子体系同样由空间坐标与离散类别共同描述。对药企研发负责人来说，这意味着材料科学里得到的结论并非与自己无关。

实验怎么做的：可调坐标与类别贡献比例的合成数据集，加MatText评测框架

作者没有直接在某个真实数据集上比分数，而是先构造了一组合成数据集 (synthetic dataset)，关键设计在于坐标贡献与类别贡献的比例可以调节 (tunable coordinate and category contributions)。

在真实数据集上，坐标与类别的贡献比例是固定的，研究者无法把它当作变量来调，这正是合成数据集被引入的原因。也就是说，研究者可以人为设定目标属性里有多少信息来自坐标、多少来自类别，然后观察语言模型在这两端之间表现如何变化。这一设计把模型究竟有没有用到坐标，从笼统印象变成了可被度量的变量。

在这组合成数据集之上，作者提出了一个综合评测框架，名为 MatText，用于在同一口径下比较不同模型与不同表示方式。它覆盖的是属性预测这一类任务，即给定结构预测其性质。

需要提前说明的是，本研究的实验基础是合成数据集，它不是真实药物发现管线上的实测对比，因此不应被解读为某条具体研发流程的效果证明。

核心发现：抓得住类别模式，抓不住坐标信息

论文的结论可以概括为一句话：大语言模型始终无法捕捉坐标信息，却擅长捕捉类别模式。作者把这一现象称为几何盲区 (geometric blindness)。

两类信息的性质并不相同：类别是离散且可枚举的，坐标是连续且受几何约束的。换句话说，语言模型对序列中元素种类、配比、类别组合这类离散模式学得很好；但由连续坐标决定的几何关系，也就是原子在空间中究竟摆在哪里、彼此距离多远，模型并没有真正学到。这意味着模型在文本序列上表现出的流畅，并不等于它理解了空间结构。

这条发现带着明确的边界条件：它成立于坐标信息对目标属性贡献更大的那类任务。对类别信息占主导的预测任务，论文的结论不应被推广过去，语言模型在那种情形下仍可能表现良好。

盲区有多顽固：700亿参数、200万个结构、换表示策略都无效

真正值得研发负责人注意的是，这个盲区不是靠堆资源就能填上的。作者从三个方向做了排查，每一项排查对应的都是一个常见假设：模型不够大、数据不够多、表示方式不对。三者逐一被排除之后，剩下的解释只剩架构本身。

一是模型规模。盲区与模型规模无关，测试一直做到 700亿参数 (70 billion parameters)。

二是数据规模。盲区与数据规模无关，测试一直做到 2×10的6次方个结构 (2 × 10^6 structures)，约合200万个结构。

三是文本表示策略 (text representation strategy)。换用不同的序列化与表示方式，盲区依然存在。

三个方向全部无效，说明这不是暂时的性能差距，而是能力上的结构性缺失。在由结构效应主导的材料属性预测任务上，专用几何架构 (specialized geometric architectures) 始终优于大语言模型，性能基准上因此出现一条清晰的图神经网络—语言模型墙 (GNN-LM wall)。

冷静观察：GNN-LM墙不是暂时的，架构选择要按坐标占比来定

把三项排查放在一起看，GNN-LM墙更像是架构层面的分界，而不是等待下一代模型去抹平的差距。规模、数据量与表示方式这三条通常有效的改进路径，在这里同时失效。

论文据此给出的指引相当具体：坐标信息占主导的任务，应选几何架构而非大语言模型。落到操作层面，就是在建模之前先判断目标属性中坐标与类别各自的贡献占比，再决定把结构交给 GNN 类模型，还是序列化后交给语言模型。

对药物发现场景，需要保留两点克制。其一，实验基础为合成数据集，不构成真实药物发现管线上的实测对比；其二，结论不适用于类别信息占主导的预测任务。只有在这两条边界之内，这条架构分界线才成立。

同样需要避免的另一种误读，是把这条分界理解为对大语言模型的全面否定。论文的表述限定在结构效应主导的任务上，并未否定语言模型在其他任务形态中的价值。对医疗数据从业者而言，相同的限制也适用于评估环节：论文给出的架构选择指引以坐标占比为依据，脱离这一依据去谈论模型优劣，就容易越界。

原文链接：Nature Computational Science

千方医数集编辑部 出品