Advertisement

flume-ftp-source-master.jar

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型：None

简介：
flume-ftp-source-master.jar是一款专为Apache Flume设计的FTP源代码插件，用于实现从FTP服务器高效地采集日志数据到大数据平台。 Flume支持FTP工具的jar文件。

全部评论 (0)

还没有任何评论哟~
客服
客服
客服关闭
  • flume-ftp-source-master.jar
    优质
    flume-ftp-source-master.jar是一款专为Apache Flume设计的FTP源代码插件，用于实现从FTP服务器高效地采集日志数据到大数据平台。 Flume支持FTP工具的jar文件。
     
  • Flume NG SQL Source
    优质
    Flume NG SQL Source是一款用于数据收集和处理的Apache Flume组件插件，允许用户通过SQL语句实时采集数据库变动信息，增强了事件驱动的数据集成能力。 Flume-ng可以从数据库抽取数据到Kafka，并支持按照数据库中的时间字段进行准实时的数据抽取。该功能已经在Oracle-Kafka环境中进行了长期测试并证明可用。
     
  • flume-ng-sql-source-1.5.3.jar
    优质
    flume-ng-sql-source-1.5.3.jar是Apache Flume的一个组件包，用于从数据库中通过SQL查询采集数据，并支持将这些数据传输到Hadoop生态系统中的其他系统或存储。 为了使用Flume采集MySQL数据，请将flume-ng-sql-source-1.5.3.jar文件放置到FLUME_HOME/lib目录下。如果是在Cloudera Manager管理的CDH版本的Flume中，则需要将其放在/opt/cloudera/parcels/CDH-xxxx/lib/flume-ng/lib目录下。此外，还需要将mysql-connector-java-5.1.XX-bin.jar一同放入相应目录中。
     
  • flume-ng-sql-source-1.5.3.jar
    优质
    flume-ng-sql-source-1.5.3.jar是一款专为Apache Flume设计的SQL源插件jar包，允许Flume直接从数据库中采集数据，适用于大数据实时传输场景。 CDH版本：CDH6.2.0；flume-ng-core版本：1.9.0-CDH-6.2.0。这个jar包是从Git上下载源码并修改Pom.xml文件之后，重新编译过的。之所以进行重编译是因为直接从源码编译出来的jar包中存在一个方法返回值不兼容的问题。有关此问题的详细信息可以参考相关文章中的描述。
     
  • flume-ng-sql-source-1.5.2.jar
    优质
    flume-ng-sql-source-1.5.2.jar 是一个用于Apache Flume的数据采集组件的Jar包，版本为1.5.2。它支持通过SQL源获取数据并将其传输到Hadoop生态系统中的其他存储系统中。 flume-ng-sql-source-1.5.2.jar是一个用于从数据库中增量读取数据并将其传输到HDFS中的Java库文件。
     
  • Flume-NG-1.6.0-CDH.zip
    优质
    这是一个Apache Flume版本为1.6.0（针对Cloudera发行版优化）的压缩包，用于高效收集、聚合和移动大量日志数据。 Flume-ng-1.6.0-cdh.zip 内包含三个项目文件：flume-ng-1.6.0-cdh5.5.0.tar.gz、flume-ng-1.6.0-cdh5.7.0.tar.gz 和 flume-ng-1.6.0-cdh5.10.1.tar.gz，请选择你需要的版本。
     
  • Flume+Kafka+Spark Streaming
    优质
    本项目利用Apache Flume和Kafka收集并传输数据至Spark Streaming进行实时处理与分析，实现高效的数据流管理及应用。 使用Flume监控文件，并通过Kafka消费由Flume采集的数据；然后利用Spark Streaming连接到Kafka作为消费者来处理数据。请整理文档以实现上述功能。
     
  • Flume 1.9, Win10, Code.zip
    优质
    本项目使用Apache Flume 1.9版本在Windows 10系统上进行数据采集与传输。包含的Code.zip文件内含相关配置及源代码，便于快速部署和开发。 Flume 是 Apache 开源项目的一款数据采集工具，主要用于收集、聚合和移动大量日志数据以进行实时数据分析。在 Flume 1.9 版本之前，它主要为 Linux 平台设计，在 Windows 系统上的支持有限，尤其是 `exec` 和 `taildir` 源组件无法正常工作。 标题中提到的 flume1.9、win10 和 code.zip 文件指的是针对 Flume 1.9 在 Windows 10 上运行的修改版源代码。压缩包内的 `code` 文件夹包含了已修改过的 Java 源代码，这些更改使得 `exec` 和 `taildir` 源可以在 Windows 10 系统上正常工作。 为了使用这个修改后的版本，你需要将解压后得到的 `.jar` 文件放置到 Flume 安装目录下的 `lib` 目录中。然后按照常规方式启动 Flume，此时它会加载该修改过的 `.jar` 文件，并支持 Windows 10 上运行 `exec` 和 `taildir` 源。 实际操作步骤如下： 1. 下载并解压 `code.zip` 获取修改后的 `.jar` 文件。 2. 找到你的 Flume 安装目录，例如 `C:\flume\flume-1.9.0\lib` 3. 将 `.jar` 文件复制至 `lib` 目录下。 4. 修改或创建配置文件（如 `flume.conf`），根据需要设置 `exec` 或 `taildir` 源的参数。 5. 启动 Flume 服务，执行类似命令：`flume-ng agent -c conf -f flume.conf -n myAgent` 对于 `exec` 源配置： ```properties source1.type = exec source1.command = your_command.exe ``` 对于 `taildir` 源的配置： ```properties source2.type = taildir source2.file.path = C:\pathtoyourdirectory source2.file.pollInterval = 5000 source2.file.startOffset = beginning ``` 注意，由于 Windows 和 Linux 文件路径的不同处理方式，在使用 `taildir` 源时可能需要特别关注文件系统的事件，并且在配置中正确地指定路径格式。 这个修改版的 Flume 1.9 版本为 Windows 10 用户提供了重要的功能扩展，使他们能够在本地环境中更有效地利用 Flume 进行日志收集和分析。使用过程中，请确保遵循正确的配置步骤并留意可能遇到的兼容性问题或异常行为。
     
  • Flume-NG-1.6.0-CDH5.14.2.tar.gz
    优质
    这是一个Apache Flume版本为1.6.0（针对Cloudera发行版Hadoop CDH 5.14.2优化）的数据收集和传输工具的源代码压缩包，适用于大规模日志数据聚合。 Flume是Cloudera提供的一款高可用、高可靠且分布式的系统，用于大规模日志数据的采集、聚合与传输。它支持在日志系统中定制各种类型的数据收集器以实现数据搜集，并具备对所收集到的数据进行初步处理的能力，能够将这些数据写入用户自定义的各种接收端。
     
  • flume-mysql.zip 数据包
    优质
    该数据包包含用于从MySQL数据库收集、处理和传输日志或数据至Hadoop等大数据系统的Apache Flume配置与脚本文件。 该内容包含三个部分：1. 用于将Flume连接到MySQL的jar文件，并可同步数据至Kafka，数据格式为JSON。2. MySQL所需的jar文件供Flume使用。3. Flume 1.9版本的tar包。