
ChatGLM和ChatGLM6B的多用户访问接口
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
本文介绍了ChatGLM及ChatGLM-6B模型的多用户访问接口实现方法,旨在方便多个用户同时在线使用大模型进行对话。
ChatGLM 和 ChatGLM6B 支持多用户通过 HTTP、WebSocket 和前端页面同时访问。默认情况下,ChatGLM6B 的部署程序仅支持单用户访问,多用户需要排队等候。经过测试发现一些 GitHub 上的多用户工程仍不满足需求。本程序实现了允许多用户同时访问 Chat GLM 部署接口的功能,包括 HTTP、WebSocket(流式输出)和 Web 页面等多种方式。
全部评论 (0)
还没有任何评论哟~


