ChatAIGC文档

ChatAIGC全能AI知识库系统PHP版部署文档


LMstudio(本地大模型)

<p>[TOC]</p> <h1>LMstudio(本地大模型)<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#lmstudio-%E6%9C%AC%E5%9C%B0%E5%A4%A7%E6%A8%A1%E5%9E%8B">​</a></h1> <p>提示</p> <p>使用Docker部署,支持服务器连接本地主机部署的大语言模型。使用大模型只需要一台主机,不需要其他费用。</p> <p>注意</p> <p>本教程如果涉及本地主机部署,需要本地主机可以连接境外站点,请自行解决此问题。</p> <h2>安装LMstudio<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E5%AE%89%E8%A3%85lmstudio">​</a></h2> <p>打开<a href="https://lmstudio.ai/"><a href="https://lmstudio.ai/">https://lmstudio.ai/</a></a>,找到适合自己系统环境的安装包,下载好后双击安装包进行安装。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/download-lmstudio.png" alt="" /><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/install-lmstudio.png" alt="" /></p> <h2>下载大语言模型<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E4%B8%8B%E8%BD%BD%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B">​</a></h2> <p>注意</p> <p>本步骤可能由于网络问题,无法显示大模型列表和下载。</p> <p>在LMstudio上搜索大语言模型,这里以通义千问为例进行说明。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/search-model.png" alt="" />然后从大模型列表中选择并下载模型。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/download-model.png" alt="" /></p> <h2>测试大语言模型<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E6%B5%8B%E8%AF%95%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B">​</a></h2> <p>点击【💬图标】,选择加载已经下载好的大语言模型,在聊天框输入信息即可得到大模型语言的回复。<br /> 回复速度与主机配置有关,同时也可以查阅关于如何配置LMstudio GPU的相关资料。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/loading-model.png" alt="" /><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/test-model.png" alt="" /></p> <h2>启动大语言模型接口服务<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E5%90%AF%E5%8A%A8%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%8E%A5%E5%8F%A3%E6%9C%8D%E5%8A%A1">​</a></h2> <p>点击【↔︎图标】-&gt;【Start Server】,启动接口服务,默认端口为1234。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/start-api.png" alt="" /></p> <h2>服务器连接本地主机部署的服务<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%BF%9E%E6%8E%A5%E6%9C%AC%E5%9C%B0%E4%B8%BB%E6%9C%BA%E9%83%A8%E7%BD%B2%E7%9A%84%E6%9C%8D%E5%8A%A1">​</a></h2> <p>提示</p> <p>全能AI知识库系统3.5以后的版本,支持使用frp连接本地部署的绘画服务器和模型,无需购买GPU服务器,即可使用开源模型。 </p> <p>注意</p> <p>如果你在服务器部署大语言模型,直接绕过本步骤。</p> <h3>服务器上的设置<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8A%E7%9A%84%E8%AE%BE%E7%BD%AE">​</a></h3> <ul> <li><strong>步骤1</strong>: 打开项目下/docker/config/frps/frps.toml文件,将auth.token字符串的密钥重新定义,可以使用其他任意非中文字符串,然后保存。</li> </ul> <p>ini</p> <pre><code>bindPort = 7314 auth.token = &amp;quot;自己设置的非中文字符串&amp;quot;</code></pre> <p><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/frps.toml.png" alt="" /></p> <ul> <li><strong>步骤2</strong>: 打开项目下/docker/config/supervisor/supervisor.ini文件,在最底部增加frps的守护进程,然后保存。</li> </ul> <p>ini</p> <pre><code>[program:frps] command=/usr/bin/frps -c /usr/local/etc/frps.toml directory=/usr/local/etc autostart=true autorestart=true stderr_logfile=/var/log/frps.err.log stdout_logfile=/var/log/frps.out.log</code></pre> <p><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/supervisor.ini.png" alt="" /></p> <ul> <li> <p><strong>步骤3</strong>: 点击【Docker】-&gt;【容器】,找到项目的PHP容器,点击【重启】。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/php-container-restart.png" alt="" /></p> </li> <li><strong>步骤4</strong>: 点击在宝塔面板【安全】-&gt;【添加端口规则】,将7314端口放行。 然后在服务器服务商的(阿里云、腾讯云等)控制台的安全组开放7314端口,保障端口是连通的。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/port.png" alt="" /></li> </ul> <p>提示</p> <p>如何测试端口是否放行,可以打开<a href="https://tool.chinaz.com/port"><a href="https://tool.chinaz.com/port">https://tool.chinaz.com/port</a></a>,输入服务器IP地址和端口,点击【开启扫描】,状态为开启,即端口是连通的。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/test-port.png" alt="" /></p> <p>⚠️ 警告</p> <p>如果已经使用3.5以下老版本,步骤所有不同,步骤1的文件可能不存在,可以从新下载的源码复制进去,放在相同的位置,按步骤1的操作。步骤2照样操作。<br /> 然后打开项目下docker-compose.yml文件,找到PHP容器配置,将除了&quot;user:xxxx&quot;选项以外替换为新版本的内容,注意保持缩进(就是前面有多少空格不要更改)。<br /> <img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/docker-compose-php.png" alt="" />返回【Docker】-&gt;【容器】,然后删除属于本项目下的所有容器,一般情况下,删除容器不会数据,如果不放心可先备份。接着返回【容器编排】,删除之前添加的容器编排,重新添加即可。</p> <h3>本地主机上的设置<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E6%9C%AC%E5%9C%B0%E4%B8%BB%E6%9C%BA%E4%B8%8A%E7%9A%84%E8%AE%BE%E7%BD%AE">​</a></h3> <p>提示</p> <p>frp是一款非常优秀的内网穿透软件。</p> <ul> <li><strong>步骤1</strong>: 在部署SD服务的主机上,打开<a href="https://github.com/fatedier/frp/releases"><a href="https://github.com/fatedier/frp/releases">https://github.com/fatedier/frp/releases</a></a>,下载自己系统相对应的frp0.58.1软件版本,“解压下载的压缩包。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/download-frp.png" alt="" /></li> <li><strong>步骤2</strong>: 右键点击【frpc.toml】文件,点击【在记事本中编辑】,打开文件,然后设置frpc信息,其中serverAddr为服务器ip地址,auth.token为服务器上frps.toml的auth.token的值一致,localPort和remotePort为SD服务器的端口,然后保存文件。</li> </ul> <p>ini</p> <pre><code>serverAddr = &amp;quot;你的ip地址&amp;quot; serverPort = 7314 auth.token = &amp;quot;你服务上设置的任意非中文字符串&amp;quot; [[proxies]] name = &amp;quot;sd&amp;quot; type = &amp;quot;tcp&amp;quot; localIP = &amp;quot;127.0.0.1&amp;quot; localPort = 1234 remotePort = 1234</code></pre> <p><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/frpc.toml.png" alt="" /></p> <p>提示</p> <p>frpc启动失败,可能是以下原因。<br /> 1.服务器公网IP地址、端口、auth.token设置不正确。<br /> 2.服务器端口没有对外开放,无法连通。<br /> 3.服务器上容器的frps没有正确运行。</p> <ul> <li><strong>步骤3</strong>: 在frp目录空白处右键【在终端中打开】,在终端运行以下命令,运行frpc,启动成功好,可以看到以下界面。</li> </ul> <p>shell</p> <pre><code>.\frpc.exe -c frpc.toml</code></pre> <p><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/frp/start-frpc.png" alt="" /></p> <h2>管理后台配置<a href="https://doc.chatmoney.cn/pro/third-deployment/lmstudio.html#%E7%AE%A1%E7%90%86%E5%90%8E%E5%8F%B0%E9%85%8D%E7%BD%AE">​</a></h2> <p>登录管理后台,打开【AI应用】-&gt;【SD绘图】-&gt;【应用配置】,【AI域名】如果了使用【## 服务器连接本地主机部署的服务 】,设置为<code>http://127.0.0.1:1234</code>,如果不使用,直接配置服务器的公网IP地址和端口。配置完成以后,可以在前台选择LMstudio测试。<img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/admin-settings-model-1.png" alt="" /><img src="https://doc.chatmoney.cn/docs/images/general/third-deployment/lmstudio/admin-settings-model-2.png" alt="" /></p>

页面列表

ITEM_HTML