手把手教你部署清华大模型ChatGLM2

ChatGLM是由清华大学唐杰团队开发的是一个开源的、支持中英双语的类ChatGPT大语言模型,自今年4月份推出后,迅速受到了很多人的欢迎。最近它还更新了2代,随我一起去看看吧~

图片[1]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

ChatGLM2-6B简介

ChatGLM是清华大学开发的,经过约1T标识符的中英双语训练,拥有62 亿参数的开源AI大语言模型,它能生成相当符合人类偏好的回答。而且还可以在消费级显卡上部署,使大家都能拥有自己的AI大模型。

图片[2]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

而最近ChatGLM更新了第二代,拥有更强大的能力:模型升级,性能加强,支持更长上下文,推理能力大幅提升,允许免费商用。

项目地址:

https://github.com/THUDM/ChatGLM2-6B

本地部署

通过我之前分享的文章:一键本地部署类GPT大模型,免费!即可快速在本地部署并体验ChatGLM2。

进入以下目录中oobabooga_windows\text-generation-webui,在上方地址中输入“cmd”。

图片[3]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

在打开的命令指示窗口,输入以下代码,以下载ChatGLM2模型文件:

python download-model.py THUDM/chatglm2-6b
图片[4]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

等待下载完成后,再回到项目目录,点击“start-windows”,即可启动。然后将下方弹窗中的地址,输入到浏览器。

图片[5]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

之后需要在“model”选显卡里,选择ChatGLM2以加载模型。

图片[6]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

注意,需要勾选“trust-remote-code”选项(否则会报错):

图片[7]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

等待模型加载完成,预计需要16G以上的内存:

图片[8]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

模型加载完成后,就可以回到主界面,跟ChatGLM2聊天了。我问了一个问题:猪可以飞吗?然后ChatGLM2给的回答还是比较靠谱的。恭喜你,拥有了这个聪明的国产AI大模型了。

图片[9]-手把手教你部署清华大模型ChatGLM2-阿宁学习笔记

感兴趣的朋友,快去试试吧~

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享