2025_NIPS_ContiFormer: Continuous-Time Transformer for Irregular Time Series Modeling

ContiFormer 文章总结与核心翻译

一、主要内容

ContiFormer 是一款面向不规则时间序列建模的连续时间 Transformer 模型，旨在解决传统方法在捕捉连续动态系统与数据间复杂关联时的不足。文章通过融合 Neural ODE 的连续动力学建模能力与 Transformer 的注意力机制，将离散的 Transformer 扩展到连续时间域，实现对不规则时间序列的精准建模。

研究在合成数据集（2D 螺旋）和真实数据集（UEA 分类数据集、MIMIC 等事件预测数据集）上开展了插值、分类、事件预测、常规时间序列 forecasting 等多类任务验证，结果表明 ContiFormer 在预测精度、鲁棒性（应对不同数据缺失率、参数设置）上均优于 Transformer、Neural ODE、RNN 等基线模型，且兼顾了并行计算效率。

二、核心创新点

1. 连续时间注意力机制：首次将连续时间机制融入 Transformer 注意力计算，通过常微分方程定义潜在轨迹，将离散点积扩展为连续时间域的积分运算，捕捉数据的连续演化特性。
2. 并行化建模方案：提出新的参数化方法，解决连续时间计算与 Transformer 并行性的冲突，实现不同时间范围的连续注意力并行执行。
3. 理论泛化性：从数学上证明，多款针对不规则时间序列的 Transformer 变体（如时间嵌入方法、核化注意力方法）均可视为 ContiFormer 的特