大模型推理加速神器vLLM获1.5亿美元融资，正式成立Inferact公司！

最新推荐文章于 2026-06-28 22:07:23 发布

原创最新推荐文章于 2026-06-28 22:07:23 发布 · 990 阅读

10 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#人工智能 #langchain #语言模型 #自然语言处理 #知识图谱

简介

开源大模型推理加速框架vLLM创始团队成立Inferact公司，获1.5亿美元种子轮融资，估值8亿美元。公司致力于将vLLM发展为世界领先的AI推理引擎，降低推理成本并加速AI发展。vLLM已支持500多种模型架构，在200多种加速器上运行，拥有2000多名贡献者，是业界最受欢迎的开源大模型推理加速框架之一。

大模型推理的基石 vLLM，现在成为创业公司了。

北京时间周五凌晨传来消息，由开源软件 vLLM 的创建者创立的人工智能初创公司 Inferact 正式成立，其在种子轮融资中筹集了 1.5 亿美元（约合 10 亿元人民币），公司估值达到 8 亿美元。

本轮融资由风险投资公司 Andreessen Horowitz（a16z）和 Lightspeed 领投，Sequoia Capital、Altimeter Capital、Redpoint Ventures 和 ZhenFund 也参与了投资。

Inferact 的 1.5 亿美元天使轮融资虽不及 Ilya Sutskever 的公司 SSI 的 10 亿美元，但已经超过了 Mistral AI 的 1.15 亿美元，是有史以来规模最大的种子轮融资之一，标志着业界对于 AI 推理基础设施的重视程度正在急速提升。

Inferact 的使命是将 vLLM 发展成为世界领先的 AI 推理引擎，并通过降低推理成本、加快推理速度来加速 AI 的发展。

该公司认为，AI 行业未来面临的最大挑战不是构建新模型，而是如何以低成本、高可靠性地运行现有模型。

毫无疑问，Inferact 的核心是开源项目 vLLM，这是一个于 2023 年启动的开源项目，旨在帮助企业在数据中心硬件上高效运行 AI 模型。

vLLM 最初由加州大学伯克利分校（UC Berkeley）的天空计算实验室 (Sky Computing Lab) 开发，现由 PyTorch 基金会负责管理，已吸引了来自整个 AI 行业的 2000 多名贡献者，是全球范围内最受欢迎的开源大模型推理加速框架。

如今，vLLM 的推理能力在为 Meta、谷歌、Character.AI 等科技公司提供支持。

Inferact 的首席执行官 Simon Mo 是一位伯克利在读博士生，他是 vLLM 的创始维护者之一。Mo 表示，公司成立于 2025 年 11 月，并于本周正式对外公布。他将 Inferact 的起源与伯克利早期的一些软件项目进行了比较，这些项目后来发展成为规模更大的企业，例如 Apache Spark 和 Ray。

在宣布融资的同时，Lightspeed（光速创投）也发布了对 Simon Mo 的访谈。在其中 Simon Mo 谈到了对于全球 AI 算力紧缺的担忧，「当前用于大模型训练的 AI 集群，将在六个月内完全被用于推理…… 推理会逐渐消耗掉所有算力容量，并耗尽所有新增的容量。」

在公告中，Inferact 表示，其定位于模型和硬件的交汇点：当模型厂商发布新架构时，他们会与 vLLM 合作，确保提供首日支持；当硬件厂商开发新芯片时，他们会与 vLLM 集成；当大模型团队进行大规模部署时，他们会运行 vLLM，从前沿实验室到超大规模数据中心，再到服务数百万用户的初创公司，无一例外。

如今，vLLM 支持了 500 多种模型架构，可在 200 多种加速器上运行，并支持着全球规模的推理。这个由 2000 多位贡献者共同构建的生态系统，是 Inferact 得以成立的基础。

Inferact 表示，其首要任务是继续支持 vLLM 作为独立的开源项目，并将改进成果分享给社区。他们计划进一步提升 vLLM 的性能，深化对新兴模型架构的支持，并扩大对前沿硬件的覆盖范围。Inferact 的第二个目标是开发一款独立的商业产品，帮助企业在不同类型的硬件上更高效地运行 AI 模型。

值得关注的是，vLLM 项目的核心贡献者清华博士游凯超成为了这家公司的联合创始人。