22
33 本文以阿里云新加坡区操作系统为 Ubuntu 22.04 的 ECS 实例为例,演示 Ollama 安装及其与 SQLBot 对接。
44
5- ## 安装Ollama
5+ ## 1 安装 Ollama
66
77!!! Tip ""
8- 执行以下命令安装 Ollama:
9- ``` shell
10- curl -fsSL https://ollama.com/install.sh | sh
11- ```
8+ 执行以下命令安装 Ollama:
9+ ```shell
10+ curl -fsSL https://ollama.com/install.sh | sh
11+ ```
1212
1313 输出如下:
1414 ```shell
@@ -26,13 +26,13 @@ curl -fsSL https://ollama.com/install.sh | sh
2626 >>> NVIDIA GPU installed.
2727 ```
2828
29- ## 修改Ollama配置
29+ ## 2 修改 Ollama配置
3030
3131!!! Tip ""
32- 修改文件ollama .service,让 Ollama 访问可被外部访问
33- ``` shell
34- vim /etc/systemd/system/ollama.service
35- ```
32+ 修改文件 ollama .service,让 Ollama 访问可被外部访问
33+ ```shell
34+ vim /etc/systemd/system/ollama.service
35+ ```
3636
3737 加入以下内容:
3838 ```
@@ -60,23 +60,23 @@ vim /etc/systemd/system/ollama.service
6060 WantedBy=default.target
6161 ```
6262
63- ## 重启Ollama服务
63+ ## 3 重启 Ollama 服务
6464
6565!!! Tip ""
66- 执行命令重启 Ollama:
67- ``` shell
68- systemctl daemon-reload; service ollama restart
69- ```
66+ 执行命令重启 Ollama:
67+ ```shell
68+ systemctl daemon-reload;service ollama restart
69+ ```
7070
71- ## 安装运行大模型
71+ ## 4 安装运行大模型
7272
73- ### 安装Qwen3模型 (兼容 OpenAI)
73+ ### 4.1 安装 Qwen3 模型 (兼容 OpenAI)
7474
7575!!! Tip ""
76- 此处以 qwen3-14b 为例,执行以下命令安装大模型:
77- ``` shell
78- ollama run qwen3:14b
79- ```
76+ 此处以 qwen3-14b 为例,执行以下命令安装大模型:
77+ ```shell
78+ ollama run qwen3:14b
79+ ```
8080
8181 输出如下:
8282 ```shell
@@ -93,12 +93,12 @@ ollama run qwen3:14b
9393 >>> Send a message (/? for help)
9494 ```
9595
96- ### 安装DeepSeek R1 模型(不兼容 OpenAI)
96+ ### 4.2 安装 DeepSeek R1 模型(不兼容 OpenAI)
9797
9898!!! Tip ""
99- ``` shell
100- ollama run deepseek-r1:8b
101- ```
99+ ```shell
100+ ollama run deepseek-r1:8b
101+ ```
102102
103103 输出如下:
104104 ```shell
@@ -114,39 +114,39 @@ ollama run deepseek-r1:8b
114114 success
115115 ```
116116
117- ## 确认Ollama服务状态
117+ ## 5 确认 Ollama 服务状态
118118
119119!!! Tip ""
120- 在 SQLBot 服务器上访问 Ollama 服务,确认网络是通的:
121- ``` shell
122- root@iZt4n4e3wmu6ddsc0hb3wbZ:~ # nc -zv 47.237.135.165 11434
123- Connection to 47.237.135.165 port 11434 [tcp/* ] succeeded!
124- ```
120+ 在 SQLBot 服务器上访问 Ollama 服务,确认网络是通的:
121+ ```shell
122+ root@iZt4n4e3wmu6ddsc0hb3wbZ:~ #nc -zv 47.237.135.165 11434
123+ Connection to 47.237.135.165 port 11434 [ tcp/* ] succeeded!
124+ ```
125125
126- ## 安装 OpenWebUI(可选)
126+ ## 6 安装 OpenWebUI(可选)
127127
128128!!! Abstract ""
129129
130130 OpenWebUI 可在 web 界面上与大模型进行交互,非必需。
131131
132- ### 安装docker
132+ ### 6.1 安装 docker
133133
134134!!! Tip ""
135- 在服务器上安装 Docker,本文使用 DataEase 项目组编写安装脚本进行安装,用户可自行选择如何安装 Docker。
136- ``` shell
137- curl -fsSL https://resource.fit2cloud.com/get-docker-linux.sh | bash
135+ 在服务器上安装 Docker,本文使用 DataEase 项目组编写安装脚本进行安装,用户可自行选择如何安装 Docker。
136+ ```shell
137+ curl -fsSL https://resource.fit2cloud.com/get-docker-linux.sh | bash
138138
139139 # 设置 docker 开机自启,并启动 docker 服务
140140 systemctl enable docker; systemctl daemon-reload; service docker start
141141 ```
142142
143- # ## 安装OpenWebUI
143+ ### 6.2 安装 OpenWebUI
144144
145145!!! Tip ""
146- 按官方示例,以 docker 直接启动 OpenWebUI,它会自动关联本地 Ollama。
147- ` ` ` shell
148- docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
149- ` ` `
146+ 按官方示例,以 docker 直接启动 OpenWebUI,它会自动关联本地 Ollama。
147+ ```shell
148+ docker run -d -p 3000:8080 --add-host=host.docker.internal: host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui: main
149+ ```
150150
151151 OpenWebUI启动需要一些时间,需确认容器运行状态为「healthy」:
152152 ```shell
@@ -158,65 +158,65 @@ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-
158158 启动完成后,可在浏览器上通过 IP:3000来访问,如下图所示:
159159 
160160
161- # # 安装配置 One API
161+ ## 7 安装配置 One API
162162
163163!!! Tip ""
164- 若部署的是 DeepSeek 模型,在对接 SQLBot 时需要 One API 将其转换成兼容 OpenAI 接口,否则在使用时则会出现类似下面的错误:
165- ! [deepseek_error](../img/model_integration/deepseek_error.png)
166-
167- # ## 部署 One API
164+ 若部署的是 DeepSeek 模型,在对接 SQLBot 时需要 One API 将其转换成兼容 OpenAI 接口,否则在使用时则会出现类似下面的错误:
165+ ![ deepseek_error] ( ../img/model_integration/deepseek_error.png )
166+
167+ ### 7.1 部署 One API
168168
169169!!! Tip ""
170- 下面以 docker 来运行 One API,此处运行端口设置成了 3001:
171- ` ` ` shell
172- mkdir -p /oneapi/data
170+ 下面以 docker 来运行 One API,此处运行端口设置成了 3001:
171+ ```shell
172+ mkdir -p /oneapi/data
173173
174174 docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /oneapi/data:/data justsong/one-api
175175 ```
176176
177- # ## 配置 One API
177+ ### 7.2 配置 One API
178178
179- # ### 添加渠道
179+ #### 7.2.1 添加渠道
180180
181181!!! Tip ""
182- 在浏览器输入 IP:3001 访问 One API。
183- 先添加一个 DeepSeek 的渠道,注意「模型」输入 Ollama 中 DeepSeek 的模型名称,代理输入 Ollama 的访问地址。
184- ! [oneapi_channel](../img/model_integration/oneapi_channel.png)
182+ 在浏览器输入 IP:3001 访问 One API。
183+ 先添加一个 DeepSeek 的渠道,注意「模型」输入 Ollama 中 DeepSeek 的模型名称,代理输入 Ollama 的访问地址。
184+ ![ oneapi_channel] ( ../img/model_integration/oneapi_channel.png )
185185
186- # ### 验证渠道
186+ #### 7.2.2 验证渠道
187187
188188!!! Tip ""
189- 添加渠道后,可以点击「测试」验证是否正常工作
190- ! [oneapi_validate](../img/model_integration/oneapi_validate.png)
189+ 添加渠道后,可以点击「测试」验证是否正常工作
190+ ![ oneapi_validate] ( ../img/model_integration/oneapi_validate.png )
191191
192- # ### 创建令牌
192+ #### 7.2.3 创建令牌
193193
194194!!! Tip ""
195- 此处可以根据自己的实际情况进行相关设置。
196- ! [oneapi_create_token](../img/model_integration/oneapi_create_token.png)
195+ 此处可以根据自己的实际情况进行相关设置。
196+ ![ oneapi_create_token] ( ../img/model_integration/oneapi_create_token.png )
197197
198- # ### 复制令牌
198+ #### 7.2.4复制令牌
199199
200200!!! Tip ""
201- ! [oneapi_copy_token](../img/model_integration/oneapi_copy_token.png)
201+ ![ oneapi_copy_token] ( ../img/model_integration/oneapi_copy_token.png )
202202
203- # # 接入SQLBot
203+ ## 8 接入SQLBot
204204
205- # ## 接入 Qwen3 模型(兼容 OpenAI)
205+ ### 8.1 接入 Qwen3 模型(兼容 OpenAI)
206206
207207!!! Tip ""
208- 基础模型此处输入之前安装运行的 qwen3:14b。
209- Ollama 默认运行在 11434 端口上,API 域名输入 http://47.237.135.165:11434/v1,注意47.237.135.165换成自己实际的 IP 地址。
210- API Key 可以随意填写,保存即可。
211- ! [ollama](../img/model_integration/ollama_sqlbot.png)
208+ 基础模型此处输入之前安装运行的 qwen3:14b。
209+ Ollama 默认运行在 11434 端口上,API 域名输入 http://47.237.135.165:11434/v1,注意47.237.135.165换成自己实际的 IP 地址。
210+ API Key 可以随意填写,保存即可。
211+ ![ ollama] ( ../img/model_integration/ollama_sqlbot.png )
212212
213- # ## 接入DeepSeek R1模型 (不兼容 OpenAI)
213+ ### 8.2 接入 DeepSeek R1 模型 (不兼容 OpenAI)
214214
215215!!! Tip ""
216- 基础模型此处输入之前安装运行的 deepseek-r1:8b。
217- 由于通过 One API 进行了转换,在 API 域名输入 One API 的服务地址,如 http://47.236.6.226:3001/v1,注意47.236.6.226:3001 换成自己实际的 IP 地址和运行端口。
218- API Key 填写 One API 的令牌。
219- ! [oneapi](../img/model_integration/oneapi_sqlbot.png)
216+ 基础模型此处输入之前安装运行的 deepseek-r1:8b。
217+ 由于通过 One API 进行了转换,在 API 域名输入 One API 的服务地址,如 http://47.236.6.226:3001/v1,注意47.236.6.226:3001 换成自己实际的 IP 地址和运行端口。
218+ API Key 填写 One API 的令牌。
219+ ![ oneapi] ( ../img/model_integration/oneapi_sqlbot.png )
220220
221221 在 One API 的日志中可以查看大模型的调用情况。
222222 
0 commit comments