大数据简历，包含数据项目相关的简历信息。

简介：
大数据项目详细简历：离线项目：负责构建一个智能气象服务系统，该系统基于用户行为标签。具体职责包括：首先，利用Flume采集原始数据，并将其存储到Kafka消息队列中；其次，采用KStream框架对数据进行初步的清洗和转换处理，并借助Java API将数据导入HBase数据库；之后，通过集成Hive与HBase，进行进一步的数据清洗和处理工作；此外，协助进行特征值提取，并运用Spark ML库构建预测模型；同时参与模型验证过程以及随机森林算法的优化调参工作；最后，负责编写脚本文件，将处理后的数据导出至MySQL数据库，并利用Tableau工具进行可视化分析呈现。此外还参与编写部分Oozie任务调度脚本，以实现工作流的自动化控制。 实时项目：负责搭建实时气象数据展示大屏。个人职责如下：首先与客户密切沟通，明确大屏上需要呈现的关键指标、指标计算逻辑以及对应的原始数据源情况和数据更新频率要求等；其次，根据客户的具体需求，运用Flume实时采集日志信息并将其存储到Kafka消息队列中；然后使用Spark Streaming对采集到的数据进行清洗、加工和处理操作，最终生成用于展示的指标数据并存入MySQL数据库供前端开发人员使用；此外还需深入研究数据分析结果，剖析有效信息趋势，并提出具有指导性的书面和口头结论；同时协助安装小型气象站以及自动化监测系统，并在现场进行传感器和其他设备的布点布置。