最近这段是时间ChatGPT是大家的关注焦点,不过ChatGPT虽然强大、好用,但存在不少限制,比如:访问麻烦、不支持私有化部署……这些问题也间接带动了大量的类ChatGPT服务,以及各种开源方案,基于PrivateGPT衍生的localGPT就是其中之一。
localGPT支持和本地文档内容进行交互,可实现对本地的文档进行检索问答。根据官方主页的介绍,localGPT主要使用Vicuna-7B模型替换了GPT4ALL模型,并使用InstructorEmbeddings代替原始privateGPT中使用的LlamaEmbeddings。而且,Embeddings和LLM都可在GPU上运行,支持CPU。
不过,由于localGPT采用的是私有化部署方式,在没有固定公网IP、不方便设置路由、网关的环境下,如何才能快速解决远程访问需求呢?
答案之一就是使用贝锐花生壳这样的内网穿透工具,实现localGPT这类私有化部署服务的远程访问,无需公网IP、无需搭建专线,甚至不需要设置路由、网关就能一键穿透。值得一提的是。另外,贝锐花生壳还提供了企业级的服务方案,除了测试用途,它还能满足实际多用户访问的使用场景。
以远程访问自带WebUI的localGPT服务(github项目:PromtEngineer/localGPT)为例:
1-1.安装Python 3.10以上环境后,将localGPT项目拉取到本地,运行pip install -r requirements.txt即可自动安装,如果遇到错误可参考项目主页下方的System Requirements部分进行解决。
1-2.随后,将需要使用的文档放置在SOURCE_DOCUMENTS目录,执行python ingest.py命令提取数据,完成后即可运行python run_localGPT_API.py,并进入/LOCALGPT/localGPTUI,使用python localGPTUI.py命令启动WebUI。
此时,localGPT只能通过本地局域网IP地址+端口号的形式访问,比如:127.0.0.1:5111,实现远程访问还需搭配贝锐花生壳内网穿透。
2-1.在贝锐官网下载对应系统的客户端,然后注册、登录。
2-2.在贝锐花生壳主界面根据引导新增映射,填入localGPT WebUI的局域网IP和端口等信息即可。
添加完映射后,贝锐花生壳会自动生成可以远程访问的域名地址,通过这一地址,远程手机、电脑就能直接访问在内网环境部署的localGPT WebUI。
总体来说,利用贝锐花生壳来实现localGPT Web UI的远程访问,是一种非常快速且高效的部署方案,在满足服务私有化部署的同时,可以不用任何复杂设置、在没有公网IP的情况下低成本实现远程访问,如果正好有类似需求不妨可以参考了。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )