← 行业趋势

中医辨证论治如何被大模型客观评测？TCM-BEST4SDT 基准数据集的三步标注与评测解读

中国中医科学院团队在 Scientific Data 发布中医辨证论治大模型评测基准 TCM-BEST4SDT，基于临床病例、经典医案与权威考题构建 600 道题，覆盖中医基础知识、医学伦理、内容安全与辨证论治四大任务，采用专家标注、交叉验证、第三方审核三步标注流程，为中医大模型的客观评测提供了标准化框架。

研究背景：中医大模型为什么缺一把“客观标尺”？

大语言模型（Large Language Model，LLM）正在快速进入中医药领域，但一个关键问题迟迟没有解决：中医“辨证论治”高度个性化、整体化，很难像西医考试那样用标准答案去打分。

现有评测基准大多只做两件事：要么考知识问答（背典籍、记方剂），要么只测“辨证”准确率。最核心的一环——治疗决策（面对证型到底开什么方）——几乎没人系统评测。

结果就是：市面上的“中医大模型”到底能不能用、好在哪里，缺乏一把可信的客观标尺。这正是这份数据集要解决的问题。

创新点：TCM-BEST4SDT 如何把“辨证论治”客观化？

中国中医科学院智能科学与工程技术研究中心团队，在 Scientific Data 上发布了 TCM-BEST4SDT——一个专门用于评测大模型“辨证论治（Syndrome Differentiation and Treatment，SDT）”能力的基准数据集。

它的核心思路一句话可以概括：把中医个性化的诊断逻辑，拆解成可打分、可复现的标准化任务，再用多重机制交叉印证模型表现。

数据集共 600 道题，覆盖四大任务：

  • 中医基础知识：考模型对经典理论、术语、方剂的掌握；
  • 医学伦理：考模型在涉及患者权益、知情同意等情境下的判断；
  • 大模型内容安全：考模型面对敏感、诱导性提问时是否安全合规；
  • 辨证论治（SDT）：考模型从证型推断到处方决策的完整临床能力——这是以往基准最缺的一环。

数据集构建方法：600 道题的三步标注流程

TCM-BEST4SDT 的题目并非凭空编写，而是从三类真实来源汇聚而来：临床病例、经典医案记录、权威考试真题。要让这些异构材料变成可靠考题，关键在于医疗数据标注流程的把控。

团队采用了一套严格的三阶段标注流程：

  • 第一步——专家标注：由中医领域专家对题目逐条给出标准答案与依据；
  • 第二步——相互交叉验证：多名专家互相复核彼此的标注，消除个人主观偏差；
  • 第三步——独立第三方审核：引入独立于标注团队之外的第三方把关，做最终裁定。

三步走下来，把“主观的中医判断”尽量转化为“结构化医疗数据 + 医疗 NLP 数据集”形态，既保住了专业性，又保证了评测的一致性。

TCM-BEST4SDT 三步标注与四任务评测框架

数据说话：模型越大越强，单调相关性说明了什么？

评测框架整合了三种机制，从不同角度交叉印证模型能力：

评测机制 作用
选择题评测（selected-response） 客观打分，直接比对标准答案
评判模型评测（judge model） 用大模型作为裁判，评估开放性回答质量
专用奖励模型（reward model） 量化“方剂—证型”的匹配度，专治开方对不对

一个最关键的结果是：在 Qwen3 系列上的对照实验显示，模型性能与模型规模之间呈严格的单调正相关——模型越大、表现越好，且这一趋势稳定可复现。

这一点为什么重要？它证明这份基准足够“灵敏”，能真正区分不同模型的能力高低，而不是随便给个高分糊弄过去。 团队还在 15 款主流大模型（覆盖通用模型与中医专用模型）上做了系统评测，进一步验证了基准的有效性。

模型规模与性能的单调相关性结果示意

应用前景与局限

TCM-BEST4SDT 的价值，主要体现在把“中医 AI 好不好”这件事变得可度量：

  • 标准化评测：为智能中医研究提供了统一、可复现的评测框架；
  • 客观化辨证：把“个性化诊断逻辑”落到可打分的任务上，便于系统比较；
  • 指导模型优化：明确的短板定位，能反过来指导中医大模型迭代。

局限同样要讲清楚：

  • 规模有限：600 道题对中医浩如烟海的证型、方剂而言仍是样本，覆盖广度待扩展；
  • 文本为主：现阶段评测聚焦文本问答，未涵盖舌象、脉象等多模态信息；
  • 中医主观性本质仍在：三步标注能“压缩”主观偏差，但无法完全消除，中西医对同一证型的理解差异仍可能存在。

结论

中医大模型最缺的，从来不是“更聪明的算法”，而是一把能客观衡量“辨证论治”能力的标尺。TCM-BEST4SDT 用 600 道题、四大任务、三步标注流程和三重评测机制，把这件事往前推了一大步。

它的启示在于：医疗数据集建设的价值，往往不在于题目多少，而在于标注流程是否严谨、评测是否能真正区分能力高低。 对医疗 AI 而言，一份能客观打分的基准数据集，比单个更强的模型更稀缺，也更能推动整个领域往前走。

相关问题

医疗数据标注怎么做才可靠？

TCM-BEST4SDT 给出了一套可参考的范式：先由领域专家逐条标注标准答案，再让多名专家相互交叉验证消除个人偏差，最后引入独立第三方做最终审核。这套“专家标注 → 交叉验证 → 第三方审核”三步走，能把主观判断尽量转化为可复现的结构化标注，是医疗数据标注质量把控的通用思路。

中医大模型评测和西医大模型评测有什么不同？

西医评测多靠标准答案（如医学考试选择题）直接打分；中医“辨证论治”是个性化、整体化的，同一个病人不同流派可能开出不同方剂，难以用单一标准答案衡量。TCM-BEST4SDT 因此叠加了评判模型和专门量化“方剂—证型”匹配度的奖励模型，用多重机制交叉印证，而不是只靠一道标准答案。

TCM-BEST4SDT 数据集在哪里下载？

论文以开放获取（Open Access）形式发表于 Scientific Data，采用 CC BY 4.0 协议，数据集与评测框架的获取入口在论文的数据可用性声明（Data availability）中说明，可通过论文 DOI 10.1038/s41597-026-07587-4 进入原文查看。

论文标题A benchmark dataset for evaluating Syndrome Differentiation and Treatment in large language models（用于评测大语言模型辨证论治能力的基准数据集）
作者Kunning Li、Jianbin Guo（共同第一作者）、Zhaoyang Shang、Yiqing Liu、Hongmin Du、Lingling Liu、Yuping Zhao（通讯）、Lifeng Dong（通讯）
机构中国中医科学院智能科学与工程技术研究中心、北京文阁科技、中国科学院自动化研究所、天津大学智能与计算学部、中国中医科学院中医基础理论研究所
期刊Scientific Data（Nature Portfolio）
发表时间2026 年（在线发表，2026-05-29 录用）
DOI10.1038/s41597-026-07587-4
许可协议CC BY 4.0（开放获取）

论文原文信息地址：https://www.simodata.cn/blog/2026-09-30-tcm-best4sdt/

参考文献

  1. Li K, Guo J, Shang Z, Liu Y, Du H, Liu L, Zhao Y, Dong L. A benchmark dataset for evaluating Syndrome Differentiation and Treatment in large language models. Scientific Data, 2026. DOI: 10.1038/s41597-026-07587-4
← 返回行业趋势