Reliability of Large Language Model Generated Clinical Reasoning in Assisted Reproductive Technol...

一、文章主要内容总结

该研究聚焦辅助生殖技术（ART）领域，旨在评估大型语言模型（LLMs）生成的临床思维链（CoT）的可靠性，并探索优化提示策略以提升生成质量。研究采用盲法对比设计，通过三种提示策略（零样本、随机少样本、选择性少样本）生成CoT，由资深ART临床医生和GPT-4o（AI评估器）进行双维度评估。

核心发现包括：

1. 选择性少样本策略在所有人类评估指标（逻辑连贯性与清晰度、关键信息利用与覆盖、推理合理性与临床准确性）上显著优于其他两种策略（p<.001），其优势源于“金标准深度”（推理质量）和“代表性多样性”（泛化能力）双原则；
2. 随机少样本策略相比零样本基线无显著提升，证明低质量示例与无示例效果相当；
3. AI评估器（GPT-4o）无法区分不同策略生成CoT的质量差异，存在明显“天花板效应”，凸显人类专业评估在高风险临床AI中的不可替代性；
4. 研究提出“双原则”框架，为大规模生成可信临床推理数据提供了经验证的解决方案，缓解了可解释性医疗AI的数据瓶颈。

二、文章创新点

1. 聚焦临床思维链的内在可靠性：突破现有研究多关注CoT对最终答案准确性的外在提升，首次系统评估生成推理本身的临床有效性、连贯性和可信度，填补领域空白；
2. 提出选择性少样本提示策略与双原则框架：明确“金标准深度”和“代表性多样性”是提升CoT质量的核心，为临床场景下的提示工程提供具体方法论；
3. 双评估体系的对比验证：