自然语言处理：利用Paddle对人民日报语料进行分词、停用词过滤及数据清洗与熵值计算
5星
- 浏览量: 0
- 大小:None
- 文件类型：None
简介：
本项目采用Paddle框架，针对人民日报语料库实施了高效精准的分词处理，并完成了停用词过滤和数据清洗工作。此外，还进行了熵值计算以分析文本信息量，为自然语言处理任务提供了高质量的数据支持。
自然语言处理：使用Paddle对人民日报语料进行分词、停用词过滤及数据清洗，并计算熵值以提取数据集。
安装本地飞桨（本人使用的是Win10系统，Python版本为3.7）：
CPU安装方式：
```
pip install paddlepaddle -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install --upgrade paddlepaddle -i https://pypi.tuna.tsinghua.edu.cn/simple
```
成功后可以通过以下代码验证是否安装正确：
```python
import paddle.fluid as fluid
fluid.init()
```
以上是使用Paddle进行自然语言处理的简要步骤和飞桨环境搭建说明。
全部评论 (0)
还没有任何评论哟~
