RAG系列：基于 DeepSeek + Chroma + LangChain 开发一个简单 RAG 系统

最新推荐文章于 2026-06-23 13:11:51 发布

原创最新推荐文章于 2026-06-23 13:11:51 发布 · 1.9k 阅读

37 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#langchain #计算机视觉 #算法 #人工智能 #产品经理

AI 时代程序员必备技能

Codex、Claude Code、Cursor、Hermes Agent、OpenClaw等工程化实战专栏，讲透 AI 如何接管脏活累活

一键订阅

今天我们基于这一套全栈 AI 应用开发框架开发一个简单的 RAG 系统。

创建 Next 项目

首先，使用 npx create-next-app@latest 根据提示完成 Next 项目的创建：

# 创建 Next 项目
npx create-next-app@latest

创建好项目之后，在 src/app 目录下新建 rag 目录，本次 demo 的代码都将放在这里。

知识库构建

接下来，我们将构建知识库，主要目标是将准备好的 pdf 通过向量化存到向量数据库中，以便后续的检索。

由于本次 RAG 系统的开发都要依赖 LangChain 框架，所以我们先在项目中安装 LangChain 框架和核心依赖：

# LangChain 框架和核心依赖
npm install langchain @langchain/core

文档加载

LangChain 的 DocumentLoaders[1] 提供了种类丰富的文档加载器，可加载文件系统的文件也可以加载线上文件，包括 csv、docx、pdf、pptx、html、github、youtube等等。

现在我们使用 PDFLoader[2] 来实现 pdf 的数据加载。

先安装所需的依赖包：

# @langchain/community：包含第三方集成，这些集成实现了 LangChain Core 中定义的基本接口，如：文档加载、文档嵌入、向量数据库等等
# pdf-parse：读取 pdf 文本
npm install @langchain/community pdf-parse

然后添加加载 pdf 的代码：

import { PDFLoader } from '@langchain/community/document_loaders/fs/pdf';

const loader = new PDFLoader('public/example.pdf', { splitPages: false });
const docs = await loader.load();

文档分割

加载完成后，由于加载的文档可能过长，不适合模型的上下文窗口，需要将文档分割成合适的大小。

LangChain 提供了 TextSplitter[3] 组件来实现文档分割：

import { RecursiveCharacterTextSplitter } from 'langchain/text_splitter';

// chunkSize：分割文档的长度
// chunkOverlap：分割文档间的重叠长度
const textSplitter = new RecursiveCharacterTextSplitter({
    chunkSize: 1000,
    chunkOverlap: 200,
});
const texts = await textSplitter.splitDocuments(docs);

文档向量嵌入

接下来我们需要对分割后的文本块进行向量嵌入，然后使用 Chroma 向量数据库存储。

向量模型使用 ollama 安装的 nomic-embed-text 模型，可用 ollama run nomic-embed-text进行下载和运行，完整的代码如下：

import {
Chroma,
ChromaLibArgs,
} from'@langchain/community/vectorstores/chroma';
import { ChatOllama, OllamaEmbeddings } from'@langchain/ollama';
import { EmbeddingsInterface } from'@langchain/core/embeddings';

// 初始化 embeddings 函数
exportfunctioninitOllamaEmbeddings(model = 'nomic-embed-text') {
returnnewOllamaEmbeddings({ model });
}

// 初始化向量数据库
exportfunctioninitChroma(
  embeddings: EmbeddingsInterface = initOllamaEmbeddings(),
  args: ChromaLibArgs = {
    collectionName: 'rag_collection',
    url: 'http://localhost:8000',
  }
) {
returnnewChroma(embeddings, args);
}

// 初始化向量数据库
const chromadb = initChroma();
// 保存文本块
const documents = await chromadb.addDocuments(texts);

到此就构建好了一个简单的知识库。

RAG 系统构建

在创建好知识库之后，接下来就可以开始构建一个基础的 RAG 系统。该系统包括检索器与生成器两部分，具体工作流程如下：对于用户输入的问题，检索器先搜索与该问题相关的文档，接着将检索到的文档与初始问题一起传递给生成器，即大语言模型，最后将模型生成的答案返回给用户。

检索器创建

我们先基于 VectorStoreRetriever 创建检索器，利用向量相似度进行检索。

// 初始化向量数据库
  const chromadb = initChroma();
  // 创建检索器
  const retriever = chromadb.asRetriever();

生成器创建

接下来我们创建生成器，这里我们使用 Ollama 安装的 deepseek-r1:14b 大模型作为生成器。

import { ChatOllama } from '@langchain/ollama';

export function initOllamaLLM(model = 'deepseek-r1:14b') {
  return new ChatOllama({ model });
}

// 创建生成器（初始化大模型）
const ollamaLLM = initOllamaLLM()

然后再设置提示模版：

 // 设置提示模版
  const prompt = PromptTemplate.fromTemplate(
    '你是负责回答问题的助手。使用以下检索到的上下文片段来回答问题。如果你不知道答案，就说你不知道。\n\n上下文：{context}\n\n问题：{question}\n\n回答：'
  );

RAG 链生成答案

最后我们通过 RAG 链将检索器和生成器整合在一起，这里可以使用 LangChain 表达式语言（LangChain Execution Language，LCEL）来方便快捷地构建一个链，将检索到的文档、构建的输入 Prompt 以及模型的输出组合起来。

  // 使用 LCEL 构建 RAG 链
const ragChain = RunnableSequence.from([
    {
      context: retriever.pipe((docs) => {
        // 文档列表使用 \n\n 拼接为字符串
        return docs.map((doc) => doc.pageContent).join('\n\n');
      }),
      question: newRunnablePassthrough(),
    },
    prompt,
    ollamaLLM,
    newStringOutputParser(),
  ]);

// 使用 RAG 链生成答案
const answer = await ragChain.invoke(question);项目代码

项目代码

代码：https://github.com/laixiangran/ai-learn

启动项目之后在浏览器输入 http://localhost:3000/rag 即可访问该 RAG 系统，然后在输入框输入问题：互联网的人才缺口有哪些

也可以通过访问 http://localhost:3000/rag/generate?question=互联网的人才缺口有哪些

通过以上步骤，我们就完成了一个基础 RAG 系统的搭建，其中借助于 LangChain 提供了一系列强大的工具和组件，使得构建和整合检索与生成过程变得简单而高效。而借助 Ollama 我们也能够在本地部署大语言模型和向量模型，这让我们可以以较小的资源进行 AI 的开发学习实践。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】