TeleChat星辰语义大模型详尽部署指南手册

简介：
《TeleChat星辰语义大模型详尽部署指南手册》为用户提供了全面、详细的指导，帮助其掌握从基础环境搭建到复杂场景应用的各项技能，旨在让使用者轻松驾驭先进的语义理解技术。 ### 星辰语义大模型概述 1. **星辰语义大模型TeleChat**是由中电信人工智能科技有限公司研发训练的大语言模型，采用包含1.5万亿 Tokens的高质量中英文语料进行训练。 2. 该团队开源了对话模型 TeleChat-7B-bot及其Hugging Face格式的权重文件。此外，还提供了7B模型的int8和int4量化版本以优化性能。 3. **TeleChat 模型的优点**： - 支持deepspeed微调。 - 开源基于deepspeed的训练代码，支持Zero并行显存优化，并集成了FlashAttention2技术。 - 多轮对话能力：该模型能够处理多轮对话场景，提供更流畅和自然的人机交互体验。 - 提供了用于构建多轮数据的方法及针对多轮答案进行mask loss的训练方式，以提高问答效果并聚焦于高质量的回答生成上。 - 开源8K版本模型，采用NTK-aware外推与attention scaling技术，能够支持更高的上下文长度需求（如96K）。 - 拥有较强的长文本生成能力，在撰写工作总结、工作计划、PPT大纲、申论文章、招标书等场景下表现出色。