基于ChatGLM-6B的大语言模型在中文问诊中的应用（人工智能）

简介：
本研究探讨了基于ChatGLM-6B的大规模预训练语言模型在处理中文医疗咨询场景的应用潜力，旨在提升在线问诊服务的质量和效率。 对于Lora模型的使用要求显存大于等于13G（未量化版本）。安装所需库命令如下： ``` pip install deep_training cpm_kernels icetk transformers>=4.26.1 torch >= 1.12.0 (icetk依赖cpu版torch, 建议先安装icetk后安装gpu版torch) ``` Lora的finetune代码可以从相关项目中获取。对于fp16模型，可以直接使用Doctor_GLMchat_lora.ipynb文件，由于官方更新了ChatGLM的权重，老版权重被放置在old_pretrain_model目录下供下载和解压。 针对量化的模型我们已经打包好以方便使用，但目前效果不尽如人意：INT4需要大约6G显存，INT8则需大约8G显存，在Doctor_GLMchat_lora_quant.ipynb文件中可以找到相关操作。