
ELECTRA:中文预训练模型
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
Electra是谷歌推出的一种创新的文本生成与识别框架,专门用于中文等语言的预训练模型,极大提升了自然语言处理任务中的效果和效率。
ELECTRA中文预训练模型 ELECTREA:基于对抗学习的中文tiny模型
使用官方代码的具体步骤如下:
1. 修改 `configure_pretraining.py` 文件中的数据路径、TPU 和 GPU 配置。
2. 定义模型大小,在 `code/util/training_utils.py` 中自行设置。
**ELECTRA Chinese tiny 模型**
- **generator**: 为 discriminator 的 1/4
- **配置说明**: 同tinyBERT
数据输入格式:原始的
全部评论 (0)
还没有任何评论哟~


