LMstudio（本地大模型）
<p>[TOC]</p>
<h1>LMstudio（本地大模型）<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#lmstudio-%E6%9C%AC%E5%9C%B0%E5%A4%A7%E6%A8%A1%E5%9E%8B"></a></h1>
<p>提示</p>
<p>使用Docker部署，支持服务器连接本地主机部署的大语言模型。使用大模型只需要一台主机，不需要其他费用。</p>
<p>注意</p>
<p>本教程如果涉及本地主机部署，需要本地主机可以连接境外站点，请自行解决此问题。</p>
<h2>安装LMstudio<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E5%AE%89%E8%A3%85lmstudio"></a></h2>
<p>打开<a href="https://lmstudio.ai/"><a href="https://lmstudio.ai/">https://lmstudio.ai/</a></a>，找到适合自己系统环境的安装包，下载好后双击安装包进行安装。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/download-lmstudio.png" alt="" /><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/install-lmstudio.png" alt="" /></p>
<h2>下载大语言模型<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E4%B8%8B%E8%BD%BD%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B"></a></h2>
<p>注意</p>
<p>本步骤可能由于网络问题，无法显示大模型列表和下载。</p>
<p>在LMstudio上搜索大语言模型，这里以通义千问为例进行说明。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/search-model.png" alt="" />然后从大模型列表中选择并下载模型。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/download-model.png" alt="" /></p>
<h2>测试大语言模型<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E6%B5%8B%E8%AF%95%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B"></a></h2>
<p>点击【💬图标】，选择加载已经下载好的大语言模型，在聊天框输入信息即可得到大模型语言的回复。<br />
回复速度与主机配置有关，同时也可以查阅关于如何配置LMstudio GPU的相关资料。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/loading-model.png" alt="" /><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/test-model.png" alt="" /></p>
<h2>启动大语言模型接口服务<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E5%90%AF%E5%8A%A8%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%8E%A5%E5%8F%A3%E6%9C%8D%E5%8A%A1"></a></h2>
<p>点击【↔︎图标】->【Start Server】，启动接口服务，默认端口为1234。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/start-api.png" alt="" /></p>
<h2>服务器连接本地主机部署的服务<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%BF%9E%E6%8E%A5%E6%9C%AC%E5%9C%B0%E4%B8%BB%E6%9C%BA%E9%83%A8%E7%BD%B2%E7%9A%84%E6%9C%8D%E5%8A%A1"></a></h2>
<p>提示</p>
<p>全能AI知识库系统3.5以后的版本，支持使用frp连接本地部署的绘画服务器和模型，无需购买GPU服务器，即可使用开源模型。 </p>
<p>注意</p>
<p>如果你在服务器部署大语言模型，直接绕过本步骤。</p>
<h3>服务器上的设置<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8A%E7%9A%84%E8%AE%BE%E7%BD%AE"></a></h3>
<ul>
<li><strong>步骤1</strong>: 打开项目下/docker/config/frps/frps.toml文件，将auth.token字符串的密钥重新定义，可以使用其他任意非中文字符串，然后保存。</li>
</ul>
<p>ini</p>
<pre><code>bindPort = 7314
auth.token = &quot;自己设置的非中文字符串&quot;</code></pre>
<p><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/frps.toml.png" alt="" /></p>
<ul>
<li><strong>步骤2</strong>: 打开项目下/docker/config/supervisor/supervisor.ini文件，在最底部增加frps的守护进程，然后保存。</li>
</ul>
<p>ini</p>
<pre><code>[program:frps]
command=/usr/bin/frps -c /usr/local/etc/frps.toml
directory=/usr/local/etc
autostart=true
autorestart=true
stderr_logfile=/var/log/frps.err.log
stdout_logfile=/var/log/frps.out.log</code></pre>
<p><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/supervisor.ini.png" alt="" /></p>
<ul>
<li>
<p><strong>步骤3</strong>: 点击【Docker】->【容器】，找到项目的PHP容器，点击【重启】。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/php-container-restart.png" alt="" /></p>
</li>
<li><strong>步骤4</strong>: 点击在宝塔面板【安全】->【添加端口规则】，将7314端口放行。 然后在服务器服务商的（阿里云、腾讯云等）控制台的安全组开放7314端口，保障端口是连通的。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/port.png" alt="" /></li>
</ul>
<p>提示</p>
<p>如何测试端口是否放行，可以打开<a href="https://tool.chinaz.com/port"><a href="https://tool.chinaz.com/port">https://tool.chinaz.com/port</a></a>,输入服务器IP地址和端口，点击【开启扫描】，状态为开启，即端口是连通的。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/test-port.png" alt="" /></p>
<p>⚠️ 警告</p>
<p>如果已经使用3.5以下老版本，步骤所有不同，步骤1的文件可能不存在，可以从新下载的源码复制进去，放在相同的位置，按步骤1的操作。步骤2照样操作。<br />
然后打开项目下docker-compose.yml文件，找到PHP容器配置，将除了"user:xxxx"选项以外替换为新版本的内容，注意保持缩进（就是前面有多少空格不要更改）。<br />
<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/docker-compose-php.png" alt="" />返回【Docker】->【容器】，然后删除属于本项目下的所有容器，一般情况下，删除容器不会数据，如果不放心可先备份。接着返回【容器编排】，删除之前添加的容器编排，重新添加即可。</p>
<h3>本地主机上的设置<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E6%9C%AC%E5%9C%B0%E4%B8%BB%E6%9C%BA%E4%B8%8A%E7%9A%84%E8%AE%BE%E7%BD%AE"></a></h3>
<p>提示</p>
<p>frp是一款非常优秀的内网穿透软件。</p>
<ul>
<li><strong>步骤1</strong>: 在部署SD服务的主机上，打开<a href="https://github.com/fatedier/frp/releases"><a href="https://github.com/fatedier/frp/releases">https://github.com/fatedier/frp/releases</a></a>，下载自己系统相对应的frp0.58.1软件版本，“解压下载的压缩包。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/download-frp.png" alt="" /></li>
<li><strong>步骤2</strong>: 右键点击【frpc.toml】文件，点击【在记事本中编辑】，打开文件，然后设置frpc信息，其中serverAddr为服务器ip地址，auth.token为服务器上frps.toml的auth.token的值一致，localPort和remotePort为SD服务器的端口，然后保存文件。</li>
</ul>
<p>ini</p>
<pre><code>serverAddr = &quot;你的ip地址&quot;
serverPort = 7314
auth.token = &quot;你服务上设置的任意非中文字符串&quot;
[[proxies]]
name = &quot;sd&quot;
type = &quot;tcp&quot;
localIP = &quot;127.0.0.1&quot;
localPort = 1234
remotePort = 1234</code></pre>
<p><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/frpc.toml.png" alt="" /></p>
<p>提示</p>
<p>frpc启动失败，可能是以下原因。<br />
1.服务器公网IP地址、端口、auth.token设置不正确。<br />
2.服务器端口没有对外开放，无法连通。<br />
3.服务器上容器的frps没有正确运行。</p>
<ul>
<li><strong>步骤3</strong>: 在frp目录空白处右键【在终端中打开】，在终端运行以下命令，运行frpc，启动成功好，可以看到以下界面。</li>
</ul>
<p>shell</p>
<pre><code>.\frpc.exe -c frpc.toml</code></pre>
<p><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/start-frpc.png" alt="" /></p>
<h2>管理后台配置<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E7%AE%A1%E7%90%86%E5%90%8E%E5%8F%B0%E9%85%8D%E7%BD%AE"></a></h2>
<p>登录管理后台，打开【AI应用】->【SD绘图】->【应用配置】，【AI域名】如果了使用【## 服务器连接本地主机部署的服务 】，设置为<code>http://127.0.0.1:1234</code>，如果不使用，直接配置服务器的公网IP地址和端口。配置完成以后，可以在前台选择LMstudio测试。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/admin-settings-model-1.png" alt="" /><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/admin-settings-model-2.png" alt="" /></p>