本地部署chatAI【chatglm】

硬件需求

下载地址

B站 大江户战士 UP主基于WEBUI开发的CHATUI界面，感兴趣可以关注下 chatglm_webui

安装方法

可能会遇到问题

• Q：python版本太低
  A: 官网下载安装python3.6或以上的版本，然后修改系统环境变量 PATH

• Q：C++依赖安装失败
  A：下载C++的编译工具依赖：microsoft visual c++ build tools

• Q：依赖安装失败
  A：尝试用管理员权限启动CMD的命令提示符然后安装

• Q：AssertionError: Torch not compiled with CUDA enabled
  A：安装的python Torch是不包含显卡的版本，

• Q：ERROR: No matching distribution found for torch==1.13.1+cu117
  A：python -m pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117 --no-cache-dir

• Q：python sentencepiece failed 或者 src/sentencepiece/sentencepiece_wrap.cxx(2822): fatal error C1083: A：尝试升级python3.6或以上的版本并安装microsoft visual c++ build tools

• Q：Pip install sentencepiece failure
  A: 尝试直接下载sentencepiece文件然后放到python的site-packages目录里，不行就升级pip或者更换python版本。

运行方法

• --path：指定模型所在文件夹，根目录不需要加
• --low_vram：4-bit 量化，6GB 显存可用
• --med_vram：8-bit 量化，10GB 显存可用
• --cpu：CPU运行，32G 内存可用
• --low_ram：CPU运行，16G 内存可用

UI界面

总结