Advertisement

Flink教程之大数据处理：TableAPI与SQL.pdf

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：None

简介：
本PDF教程深入介绍Apache Flink的大数据处理技术，重点讲解Table API和SQL在流处理和批处理中的应用。 ### 第一章 整体介绍 #### 21.1 Table API 和 Flink SQL 的定义 #### 21.2 需要引入的依赖项 #### 21.3 两种 planner（old & blink）的区别概述 ### 第二章 API 调用 #### 基本程序结构 - 创建表环境 - 在 Catalog 中注册表 - 表（Table）的概念介绍 - 连接到文件系统 (Csv 格式) - 连接到 Kafka - 表的查询 - Table API 的调用方法 - SQL 查询执行 #### 数据流转换成表 - 代码表达方式展示 - 数据类型与 Table schema 对应关系说明 #### 创建临时视图（Temporary View） - 输出表操作 - 输出到文件 - 更新模式 (Update Mode) 设置 - 向 Kafka 发送数据 - 存储至 ElasticSearch - 写入 MySQL #### 表转换成 DataStream - 查询的解释和执行过程介绍 ### 第三章 流处理中的特殊概念 #### 流处理与关系代数（表，及 SQL）的区别探讨 - 动态表 (Dynamic Tables) 概念解析 - 流式持续查询的过程分析 - 将流转换成表 (Table) - 持续查询 (Continuous Query) 机制介绍 - 动态表转换成流的操作 #### 时间特性概述 - 处理时间（Processing Time）定义与应用案例 - 事件时间（Event Time）概念及其使用场景 ### 第四章 窗口(Window) #### 分组窗口 (Group Windows) 类型介绍 - 滚动窗口特点讲解 - 滑动窗口特性说明 - 会话窗口定义及应用案例 #### Over Window 的类型 - 无界的 over window - 有界的 over window #### SQL 中的窗口定义方法 - Group Windows 定义 - Over Windows 定义 ### 第五章 函数 (Functions) #### 系统内置函数介绍 ##### 用户自定义函数（UDF）讲解 - 注册用户自定义函数 UDF - 标量函数 (Scalar Functions) 示例 - 表函数(Table Functions) 说明 - 聚合函数(Aggregate Functions) 应用案例 - 表聚合函数(Table Aggregate Functions) 解释

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • Flink教程之大数据处理：TableAPI与SQL.pdf
    优质
    本PDF教程深入介绍Apache Flink的大数据处理技术，重点讲解Table API和SQL在流处理和批处理中的应用。 ### 第一章 整体介绍 #### 21.1 Table API 和 Flink SQL 的定义 #### 21.2 需要引入的依赖项 #### 21.3 两种 planner（old & blink）的区别概述 ### 第二章 API 调用 #### 基本程序结构 - 创建表环境 - 在 Catalog 中注册表 - 表（Table）的概念介绍 - 连接到文件系统 (Csv 格式) - 连接到 Kafka - 表的查询 - Table API 的调用方法 - SQL 查询执行 #### 数据流转换成表 - 代码表达方式展示 - 数据类型与 Table schema 对应关系说明 #### 创建临时视图（Temporary View） - 输出表操作 - 输出到文件 - 更新模式 (Update Mode) 设置 - 向 Kafka 发送数据 - 存储至 ElasticSearch - 写入 MySQL #### 表转换成 DataStream - 查询的解释和执行过程介绍 ### 第三章 流处理中的特殊概念 #### 流处理与关系代数（表，及 SQL）的区别探讨 - 动态表 (Dynamic Tables) 概念解析 - 流式持续查询的过程分析 - 将流转换成表 (Table) - 持续查询 (Continuous Query) 机制介绍 - 动态表转换成流的操作 #### 时间特性概述 - 处理时间（Processing Time）定义与应用案例 - 事件时间（Event Time）概念及其使用场景 ### 第四章 窗口(Window) #### 分组窗口 (Group Windows) 类型介绍 - 滚动窗口特点讲解 - 滑动窗口特性说明 - 会话窗口定义及应用案例 #### Over Window 的类型 - 无界的 over window - 有界的 over window #### SQL 中的窗口定义方法 - Group Windows 定义 - Over Windows 定义 ### 第五章 函数 (Functions) #### 系统内置函数介绍 ##### 用户自定义函数（UDF）讲解 - 注册用户自定义函数 UDF - 标量函数 (Scalar Functions) 示例 - 表函数(Table Functions) 说明 - 聚合函数(Aggregate Functions) 应用案例 - 表聚合函数(Table Aggregate Functions) 解释
     
  • Flink大数据技术教程
    优质
    《Flink大数据技术教程》是一本全面介绍Apache Flink流处理和批处理框架的技术书籍，适合数据工程师和技术爱好者阅读学习。 第一章 Flink简介 第二章 快速上手 第三章 Flink部署 第四章 Flink运行架构 第五章 Flink流处理API 第六章 Flink中的Window 第七章 时间语义与Watermark 第八章 ProcessFunction API（底层API） 第九章 状态编程与容错机制 第十章 Table API 与 SQL
     
  • 【尚硅谷】Flink大数据教程.docx
    优质
    简介：本教程由尚硅谷提供，专注于讲解Apache Flink在大数据处理领域的应用。涵盖实时流处理、批处理等核心知识点，适合初学者及进阶学习者使用。 尚硅谷视频教程配套文档。
     
  • 尚硅谷大数据FLINK教程一
    优质
    本课程为尚硅谷出品的大数据处理工具Flink入门教程第一部分，旨在帮助初学者掌握Flink的基本概念与编程技巧。 Flink 起源于 Stratosphere 项目。Stratosphere 是一个研究项目，专注于开发新一代的大数据处理框架。Flink 在此基础上发展起来，成为了一个高效且强大的实时流处理和批处理系统。
     
  • 数据下载与处理之风云数据
    优质
    数据下载与处理之风云数据专注于气象卫星风云系列的数据获取、预处理及应用分析，旨在为科研人员和爱好者提供操作指南和技术支持。 本段落详细介绍了风云数据的下载与处理过程，并且每一步都讲解得非常清楚，还附有详细的操作截图，非常适合初学者参考学习。
     
  • Postgres-CDC-Flink：利用Debezium和Flink处理PostgreSQL的CDC数据流...
    优质
    本文介绍了使用Debezium和Apache Flink来捕捉并实时处理来自PostgreSQL数据库变更的数据（CDC）的技术方案，适用于需要高效数据同步与集成的应用场景。 使用Flink来丰富Kafka流，并在另一个环境中安装PostgreSQL 11+。配置PostgreSQL以允许通过pgoutput将Debezium转换为CDC（变更数据捕获）。参考文档，设置Apache Kafka（使用Kafka Connect）并在您的机器或集群上运行它。 接下来，在PostgreSQL中创建两个表：transactions和customers。最后，向Kafka Connect的REST接口发送POST请求来启动Debezium PostgreSQL连接器。例如： { name: postgres_cdc, config: { connector.class: io.debezium.connector.postgresql.PostgresConnector }
     
  • C++课程设计之大整数处理
    优质
    本课程设计专注于C++编程中的大整数处理技术，涵盖高效数据结构与算法实现，旨在解决大数据量下的算术运算问题。 C++实现的大整数源代码及技术文档可供课程设计实验参考。
     
  • ArcSWAT数据处理系列之DEM数据处理（一）
    优质
    本教程为ArcSWAT数据处理系列之一，专注于讲解如何利用GIS软件进行数字高程模型(DEM)的数据预处理，以满足SWAT水文模型的要求。 视频内容涵盖了SWAT所需的DEM数据处理方法，包括掩膜提取、DEM裁剪及投影等内容，适合初学者学习使用。希望可以帮助大家快速掌握建模技巧。
     
  • Pandas数据处理之二
    优质
    本篇文章是《Pandas数据处理》系列教程的第二部分，深入讲解了如何使用Python的Pandas库进行高效的数据清洗、转换和分析。适合初学者及进阶用户阅读学习。 续上一篇内容，喜欢Python的朋友请持续关注，共同成长。 # 切片处理 # pandas取行或者列的注意事项 当使用方括号来选取数据时： - 如果方括号内的值是字符串，则表示选取相应的列。 ```python print(df[name]) ``` 输出结果为： ``` 0 小猫 1 小狗 2 小狼 ``` - 如果方括号内的值是数字，则表示选取指定的行。 ```python print(df[:2]) ``` 输出结果为： ``` Id name sex 0 001 小猫 女 1 002 小狗 男 ``` - 当同时使用数字和字符串时，表示选取指定行范围内的特定列。 ```python print(df[:2][name]) ``` 输出结果为： ``` 0 小猫 1 小狗 ```
     
  • C++ | 串口与数据处理完整教程
    优质
    本教程全面讲解使用C++进行串口通信及数据处理的方法和技术，适合初学者快速掌握相关知识和实践技巧。 我整理了一份关于串口通信及数据处理的资料，并添加了详细的注释以便日后查阅。这份文档也上传供大家参考。