Flume的组成

news/2024/6/19 5:44:49 标签: flume, kafka

组成

  • Agent:是一个JVM进程(可通过top -p < pid > -H查看),分为Source、Channel、Sink。
  • Source:负责接收发送到Flume的数据,将数据以消息的形式通过事务提交到Channel。重要的Source有:TailDir、exec、netcat。
  • Channel:位于Source和Sink之间的缓冲区。重要的Channel有:File、Memory、Kafka。
  • Sink:轮询Channel中的消息,通过事务从Channel拉取数据,然后输出到指定位置。重要的有HDFS。
  • Event:Flume中的消息,分为Header和Body。

http://www.niftyadmin.cn/n/860443.html

相关文章

算法与数据结构之递归

要点 搞清楚递归函数的作用处理当前状态和下一递归状态的关系处理好递归的出口 举例 反转链表 当前递归函数的作用&#xff1a;反转链表&#xff0c;并返回新的头结点。当前状态和下一递归状态的关系&#xff1a;递归调用ReverseList(head.next)&#xff0c;函数会返回新的头…

算法与数据结构之二分查找

要点 找出判断的条件何时退出循环 举例 无重复数字的普通二分查找 找出判断的条件&#xff1a;用arr[mid]和target去比较。如果arr[mid] target时&#xff0c;返回mid&#xff1b;如果arr[mid] > target时&#xff0c;说明要找的值在左边&#xff0c;right mid - 1&…

Hive与数据仓库

Hive Hive主要实现了两个功能&#xff1a; 提供了一个存储和管理元数据的HiveMetastore&#xff0c;以库和表的形式管理HDFS中的元数据。实现了一套将SQL转换为MapReduce程序的执行引擎。 Hive执行原理 所有的命令和查询都会进入Driver&#xff08;驱动模块&#xff09;&#…

基于MapReduce的WordCount

MapReduce是一种编程模型&#xff0c;将任务分为两个阶段&#xff1a;Map和Reduce&#xff0c;用户只需编写map()和reduce()两个函数就可以完成简单的分布式程序的设计。 MapReduce能够解决的问题有一个共同特点&#xff1a;任务可以被分解成多个子问题&#xff0c;且这些子问题…

MySQL给表添加create_time和update_time字段并且设置触发器

如何实现 SQL ALTER TABLE <表名> ADD COLUMN create_time datetime NOT NULL DEFAULT CURRENT_TIMESTAMP AFTER <create_time前一个字段>, ADD COLUMN update_time timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP AFTER create_time;S…

算法与数据结构笔记

文章目录算法动态规划算法递归算法回溯算法搜索算法分治算法与树有关位运算二分查找单调栈单调队列滑动窗口并查集随机化算法双指针排序算法模拟数学数据结构位图二叉树链表图论正则匹配表达式求值模板算法 动态规划算法 关键点 &#xff08;求最值&#xff0c;有重叠子问题…

数据仓库系列文章整理

声明&#xff1a;此系列文章来自http://webdataanalysis.net/category/web-data-warehouse/ 数据仓库的价值 相信大家都了解数据仓库的4个基本特征&#xff1a;面向主题的、集成的、相对稳定的、记录历史的&#xff0c;而数据仓库的价值正是基于这4个特征体现的&#xff1a; 1…

Canal笔记

进入mysql&#xff0c;输入show variables like bin_log查看是否开启binlog如果没有&#xff0c;则在/etc/my.cnf文件中添加如下内容 [mysqld]server-id 1log-bin mysql-binbinlog_format row3.重启mysql&#xff0c;sudo service mysql restart 4.输入show variables like bin…