2025_NIPS_Training Transitive and Commutative Multimodal Transformers with LoReTTa

文章总结与翻译

一、主要内容

本文针对多模态数据集稀缺（尤其是三模态及以上对齐数据匮乏）的问题，提出了一种名为LoReTTa（Linking mOdalities with a tRansitive and commutativE pre-Training sTrAtegy）的自监督预训练框架。该框架融合因果建模、掩码建模，并利用交换律和传递律规则，实现模态内和模态间的转换，从而让预训练模型能够探索真实的联合概率分布。

在仅存在不相交模态组合（如(A,B)和(B,C)）的情况下，LoReTTa可通过A↔B↔C的传递关系建模未见过的模态组合(A,C)，且在推理时能处理任意模态混合（包括未见过的模态对和三模态组合）。文章在合成数据集（SVL-MNIST）、医疗数据集（TCGA-OMICS）和强化学习数据集（MUGEN-GAME）上进行了广泛评估，结果表明，LoReTTa在涉及缺失模态组合的任务中，持续优于GPT、BERT、CLIP等强基线模型，在分类、生存预测、跨模态生成等下游任务中表现突出。

二、创新点

1. 传递性与交换律融合的预训练策略：首次将交换律（(A,B)=(B,A)）和传递律（(A→B)∧(B→C)⇒(A→C)）融入多模态预训练，解决了仅存在不相交模态组合时的跨模态关联建模问题。
2. 统一因果与掩码建模：结合因果建模（用于生成任务，预测下一个token）和掩码建模（用于判别任务，利用双向上下文），兼顾生成能力和上下文理解能力，避免单一建模方式的局限性。