AI蛋白质设计性能评估：从计算预测到湿实验验证

数据基础：计算预测与双源湿实验并存

本教程采用Anthropic公开的claude-protein-binder-design数据集，涵盖针对16个靶标蛋白设计的1440种AI生成迷你蛋白结合剂。该数据集的关键价值在于同时提供两类结果：一是多种AI结构预测模型（如AlphaFold2、RoseTTAFold等）输出的计算评分；二是由两家独立实验室（Adaptyv Bio与Twist Bioscience）完成的平行湿实验结果——包括结合与否的二元判定（binder/non_binder）及最终共识标签（binder_final）。这种‘in-silico + wet-lab’双重标注结构，使研究得以超越单纯分析AI设计方案本身，转向对AI预测可靠性的实证检验。

核心评估维度：四重验证框架

研究围绕四个相互关联的问题展开实证分析：（1）主流结构预测器识别真实结合剂的能力如何？即计算得分与实验结果的一致性；（2）是否可通过融合多个预测模型的输出（如加权平均、集成排序）提升判别性能；（3）若按AI预测得分排序并依次开展湿实验，不同预算规模（如前10%、前50个）下实际命中率（hit rate）如何变化，这对实验资源规划有何指导意义；（4）两家实验室结果不一致的案例占比多少，其差异在多大程度上源于检测方法本身的变异（assay noise），而非AI设计缺陷。

方法实现：稳健统计与目标感知建模

技术流程强调工程严谨性：动态检测并安装缺失依赖（如huggingface_hub、scikit-learn），通过Hugging Face API自动枚举数据集内所有Parquet表路径，避免硬编码导致的路径错误（例如wetlab_summary实际位于data/tables/wetlab/summary.parquet，非直觉路径）；加载design_summary主表（1440行×多列）作为分析起点。对可评估样本（至少一家实验室完成检测）进行筛选，得到1378个有效条目，其中确认结合剂392个（基线率28.4%）。采用Wilson置信区间精确估计各分组（如不同设计模型、生成策略、靶标类型）的命中率，并使用分组交叉验证（GroupKFold）与直方图梯度提升分类器（HistGradientBoostingClassifier）训练目标感知（target-aware）二分类模型，以检验计算特征能否稳定预测实验成功概率。特征重要性分析进一步揭示影响预测的关键信号来源。

实验异质性量化：不可忽视的检测噪声

分析显示，Adaptyv与Twist两家实验室对同一设计的判定存在可观分歧：约12%的样本被一家判为结合剂、另一家判为非结合剂。这一比例显著高于纯随机误差预期，表明湿实验环节本身引入了实质性变异。研究将此类分歧明确归因为‘assay-level disagreement’，并在后续建模中将其作为关键协变量纳入考量，避免将实验噪声误判为AI设计失败。

编者观点：对中国AI制药企业的启示

该工作凸显了AI驱动药物发现中‘预测—验证’闭环验证的必要性——仅有高精度计算模型不够，必须建立与高质量湿实验深度耦合的评估体系；中国企业布局AI蛋白设计时，应优先构建自有或合作的标准化生物实验平台，将检测变异纳入模型迭代指标，而非仅优化算法在计算榜单上的排名。