Gemma 4 越狱版开源大模型,本地部署教程|免费无限制・无需 Token

该文章已生成可运行项目,

开发板推荐:天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

Gemma 4 越狱版开源大模型,本地部署教程|免费无限制・无需 Token

这一期教大家在本地部署 Gemma 4 越狱版 大模型,能力非常强悍、自由度更高,不需要 API、完全免费、离线也能用。搭配 Ollama + Open WebUI,一步一步带你从零跑起来,小白也能轻松搞定。只有你不敢想的,没有它不敢做的。

零、环境准备

Gemma 4 分为不同的参数版本,如果没有显卡环境,推荐使用腾讯免费算力,有多种显卡可以选择,并且首次注册登录就赠送算力。

地址:https://cloudstudio.net/

一、安装 Windows Terminal

Windows 终端程序是一款新式、快速、高效、强大的终端应用程序,适用于命令行工具和命令提示符、PowerShell、WSL 等 Shell 用户。主要功能包括多个选项卡、窗格、Unicode 和 UTF-8 字符支持、GPU 加速文本渲染引擎以及自定义主题、样式和配置。

下载地址:https://apps.microsoft.com/detail/9n0dx20hk701?hl=zh-CN&gl=CN


二、安装 WSL

在 PowerShell(管理员)执行安装 WSL 命令:

wsl --install

安装完成后重启电脑,然后安装 Ubuntu 命令:

wsl --install -d Ubuntu

打开 Windows Terminal,进入 Ubuntu 环境。


三、更新 Ubuntu 系统

更新系统命令:

sudo apt update
sudo apt upgrade -y
sudo apt install pipx -y

一键协议升级(HTTP → HTTPS,解决下载更新慢):

sudo sed -i 's|http://|https://|g' /etc/apt/sources.list.d/ubuntu.sources

四、安装环境依赖

1. 安装 Python

sudo apt install python3-pip python3-venv -y

2. 安装解压缩软件

sudo apt install -y zstd

3. 安装 Node.js

curl -fsSL https://deb.nodesource.com/setup_22.x | sudo -E bash -
sudo apt install -y nodejs

4. 安装 Git

sudo apt update
sudo apt install -y git

检查是否安装成功

node -v
npm -v
git --version

五、安装 Ollama

Ollama 官网:https://ollama.com/

安装命令:

curl -fsSL https://ollama.com/install.sh | sh

六、下载安装 Ollama Gemma 4 越狱版 AI 模型

越狱版模型列表:https://huggingface.co/collections/TrevorJS/gemma-4-uncensored

模型参数规模Q4_K_M 显存Q8_0 显存推荐显卡
E2B(5B)5B6~8GB10~12GB4060 / 笔记本
E4B(8B)8B10~12GB14~16GB4070 / 3080
26B(A4B)26B18~22GB28~32GB3090 / 4090
31B31B22~24GB32~40GB4090 / A100

各版本安装命令

  • E2B(5B)
ollama pull hf.co/TrevorJS/gemma-4-E2B-it-uncensored-GGUF:Q4_K_M
  • E4B(8B)
ollama pull hf.co/TrevorJS/gemma-4-E4B-it-uncensored-GGUF:Q4_K_M
  • 26B(A4B)
ollama pull hf.co/TrevorJS/gemma-4-26B-A4B-it-uncensored-GGUF:Q4_K_M
  • 31B
ollama pull hf.co/TrevorJS/gemma-4-31B-it-uncensored-GGUF:Q4_K_M

七、安装配置 Open WebUI

Open WebUI 官网:https://openwebui.com

安装命令:

pipx install open-webui

修复环境变量:

pipx ensurepath
source ~/.bashrc

启动 Open WebUI(重启电脑后再次启动用同一条命令):

open-webui serve

访问控制面板 URL:

http://localhost:8080

本文章已经生成可运行项目

开发板推荐:天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猫敷雪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值