Windows本地部署大模型

1.Ollama

(1)下载并安装Ollama：Ollama - 下载 - Windows下载 - 安装

安装完毕后会弹出对应的cmd或者powershell输入框

(2)验证是否安装成功：浏览器URL栏输入localhost:11434，弹出Ollama is running则证明安装成功

(3)初步配置Ollama：输入 ollama run llama3.2 ，会一键下载3b规模2.0GB大小的 llama3.2 模型

当命令行显示success后说明安装llama3.2模型成功，此时你可以直接在命令行输入英文，它可以给出相应的回答(也是英文)

2.Docker

(1)下载Docker：Docker: Accelerated Container Application Development - Download Docker Desktop - Download for Windows - AMD64

(2)启用HyperV：设置 - 控制面板 - 启用或关闭Windows功能 - HyperV一栏打勾 - 提示立即重启

(3)安装Docker：安装完后跟随指引重新启动 - 重启后打开Docker- 同意隐私政策 - 使用推荐设置 - 注册账号(可能需要魔法) - 登陆账号 - 设置配置 - 再重启Docker

(4)验证Docker是否配置成功

1
2
# Windows cmd (管理员模式)
docker version

有返回配置信息便证明安装无误

3.Maxkb

1
2
3
# Windows cmd (管理员模式)
# 登录Docker
docker login

在对应Username和Password栏输入刚才注册的账户和密码，显示”Login Succeeded”登录成功

1
2
# 从DockerHub上下载MaxKB的镜像文件
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

由于网络问题安装失败，我直接使用的up主提供的资源 maxkb.tar

下载完后把 maxkb.tar 放在想放的地方，我直接而放在了C:\Users\用户名 下

1
2
3
4
cd
cd C:\Users\用户名
docker load < maxkb.tar
# 不知为何需要再按一下Ctrl+C

执行完毕后如图所示

(3)打开MAXKB：回到DockerDesktop - 登陆一下DockerDesktop - 侧边栏 - Images - 启动maxkb

回到containers / 或者浏览器直接输入localhost:8079

创建新密码 - 系统管理 - 模型设置 - 供应商-Ollama

此时会开始下载模型，下载完毕后 - 应用 - 创建应用 - 简单配置 - 选择AI模型为Llama3:8b

可以开始使用了，只不过 Llama3:8b 只能回复英文（

未完待续