使用NextChat搭建本地ChatGTP应用,调用本地chatGLM2-6B模型

本文记录尝试在本地部署NextChat,调用本地chatGLM2-6B模型进行对话

NextChat的项目网址如下:

ChatGPTNextWeb/ChatGPT-Next-Web: A cross-platform ChatGPT/Gemini UI (Web / PWA / Linux / Win / MacOS). 一键拥有你自己的跨平台 ChatGPT/Gemini 应用。 (github.com)

windows版本的直接点击客户端进行下载:

选择:x64-setup.exe文件进行下载

下载完成:

直接安装双击进行安装:

按照提示安装到你想要的位置即可。

我们在桌面上打开应用:

看到与ChatGPT一样的应用:

这里我们点击左下角的设置:

设置如下:

设置完毕自动保存,返回聊天框,输入“你好”试试:

嗯哼?我们没有启动模型。

去项目中把模型api文件运行起来:

就是openai_api.py这个,右键运行,可以看到成功启动。

我们再去nextchat中去试试:

okok,没有任何问题!本地已经可以采用NextChat进行对话了,这个界面与在线版的ChatGPT没有任何差别。

另外NextChat还有在线部署的方式,需要购买服务器、域名,以及ChatGPT API-Key,至于怎么调用自己服务器上的大模型,后边再进行研究。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值