Langchain-Chatchat虚拟机部署

wzq

1、申请资源

平台申请一个带GPU的虚拟机，如Ubuntu_GPU虚拟机 20.04，见下图

2、启动环境，并添加8501服务

点击实例名称，选择“服务”，点击“添加自定义服务”，名称任意命名，端口号：8501

3、安装GPU驱动

在NVIDIA官网找到对应GPU的型号的Linux版本驱动，下载.run驱动包

apt update && apt install gcc make -y

chmod +x NVIDIA-Linux-x86_64-*.run

./ NVIDIA-Linux-x86_64-*.run

4.安装docker和nvidia-docker2

4.1 设置包存储库和 GPG 密钥

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
      && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
      && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
            sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
            sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

4.2 更新并下载安装 nvidia-docker2

sudo apt-get update && apt-get install -y nvidia-docker2 docker.io

4.3 配置docker

sudo nvidia-ctk runtime configure --runtime=docker

sudo systemctl restart docker

5.运行Langchain-Chatchat命令（会下载完整的环境和模型，时间比较久）

docker run -d --gpus all -p 8501:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7

6.查看容器运行状态

docker ps -a

7.通过web访问

打开服务中“8501”端口对应生产的服务外部地址和端口,通过浏览器直接打开。