Utilising Large Language Models for Generating Effective Counter Arguments to Anti-Vaccine Tweets

一、文章主要内容总结

该研究聚焦于利用大语言模型（LLMs）和小语言模型（SLMs）自动生成针对反疫苗推文的有效反驳论据，以应对社交媒体上反疫苗虚假信息传播对公共健康的威胁。核心工作包括：

1. 数据集构建：基于CAVES多标签反疫苗推文数据集，利用GPT-4o-mini生成包含两种版本（含标签描述/不含标签描述）的CNTR-VAX反驳论据数据集，涵盖宗教、政治、成分安全、有效性等12类反疫苗核心关切。
2. 生成策略设计：
   • 基础提示策略：仅输入反疫苗推文生成通用反驳；
   • 标签感知提示策略：结合推文的标签描述（如“阴谋论”“副作用担忧”），通过链式思维（CoT）引导模型生成针对性反驳；
   • 两步法与CoT推理：先通过编码器-解码器模型预测推文标签，再输入SLMs生成反驳；或通过CoT提示让模型自主分析关切后生成论据。
3. 模型优化与部署：采用知识蒸馏技术，将GPT-4o生成的高质量反驳论据用于微调Gemma、LLaMA、Phi-3等SLMs，在保证性能的同时降低计算成本，适配资源受限场景。
4. 多维度评估：通过人类评估（涵盖全面性、清晰度、事实准确性、说服力）、LLM评估（GPT-4o评分）和自动指标（ROUGE、BERTScore）验证，证实含标签描述的提示策略和两步法推理能显著提升反驳论据质量。

二、文章创新点