Flink的面试问题

news/2025/2/22 5:36:59

flink消费Kafka的数据,怎么保证数据不丢失

上游可以调整偏移量, 下游事务写和幂等写, 中间靠checkpoint

Savepoint和Checkpoint分别是什么?

       Savepoint 是用来为整个流处理应用在某个“时间点”(point-in-time)进行快照生成的功能。该快照包含了数据源读取到的偏移量(offset),输入源的位置信息以及整个应用的状态。借助 分布式快照算法(Chandy-Lamport )的变体,我们可以在应用程序运行中得到某个“时间点”一致的快照。

       Savepoint由一个目录以及一个元数据文件构成。其中目录中通常为一个很大的二进制文件,文件中包含了整个流应用在Savepoint或Checkpoint的状态。另外元数据文件通常相对较小,其中包含了指向Savepoint目录中各个文件的指针。

上面关于Savepoint的介绍与Checkpoint很类似,但是二者还是有一些不同点的。

        首先Checkpoint 是 Flink 用来从故障中恢复的机制,它快照下了整个应用程序的状态,当然也包括输入源读取到的位点。当应用发生故障时,Flink 将通过从 Checkpoint 加载应用程序状态并从恢复出的历史读取位点继续应用的处理,就像什么事情都没发生一样。

SavePoint和Checkpoint的3个不同点


http://www.niftyadmin.cn/n/1673570.html

相关文章

打假过后,信息安全的问题该怎么解决?

315晚会”完了,但是黑色产业对用户的恶意攻击还没有结束。 每年央视的“315晚会”都会曝光很多不法企业和商家,最初以食品、日用品、服装等为主要曝光对象也随着时代的发展变得越来越多样化,今年晚会开场不到半个小时,央视点炮某百…

ODS层设计规范

ODS层设计规范 更新时间:2021-06-08 14:37 我的收藏 本页目录 数据同步及处理规范命名规范数据存储及生命周期管理规范数据质量规范 本文为您介绍ODS层设计规范。 数据同步及处理规范 数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成&…

1.5.14、面向对象下__异常处理,异常分类,解决方法,自定义异常,final,finally,finalize区别

Java系列文章目录 作者:Dcc_BigData 文章目录Java系列文章目录前言1、异常 快捷键生成-----ctrlaltt2、异常处理3、Java中异常分类Throwable:错误4、 解决方法(两种)5、异常处理6、自定义异常7、final、finally、finalize的区别总结前言 本文…

html左右飘窗高度不一致,飘窗离地面多高合适 40厘米高度飘窗效果

飘窗作为一种向外延伸的扩展性窗户,时尚、美观,已经受到很多家庭的欢迎,而且飘窗距离地面的高度不同,展示出来的效果也不同。很多人家装的时候想要设计飘窗,都不知道该设计多高,接下来我们就来说一下飘窗离…

关注网络隐私 但九成网民不知如何捍卫自己的隐私

伴随着棱镜监控丑闻的曝光以及日益猖獗的数据窃取事件,消费者对于隐私和安全的关注度不断提高,然而根据Mozilla的最新调查结果显示,大部分用户并不知道如何去捍卫自己的隐私。在对3万网民的调查中,发现超过三分之一的用户并没有掌…

Hadoop的log4j审计日志文件

自定义修改hadoop/conf/log4j.properties hdfs审计日志(Auditlog)记录了用户针对hdfs的所有操作,详细信息包括操作成功与否、用户名称、客户机地址、操作命令、操作的目录等。对于用户的每一个操作,namenode都会将这些信息以key-value对的形式组织成固定…

非全日制计算机专业值得读吗,全日制、非全日制哪个更好?19计算机考研扫盲贴!...

2019计算机考研人,你是选全日制还是非全日制?要先搞明白两者的区别联系,做好区分再定目标。► 全日制:逆袭985研究生的绝好机会► 非全日制:拿文凭与工作经验两不耽误► 全日制与非全日制的区别1. 报考条件全日制&…

nginx 图片上传413 Request Entity Too Large

网站发布图片的时候发生413 Request Entity Too Large 背后nginx服务器 点击发布后,页面卡住了,过了一会返回浏览器显示“413 Request Entity Too Large”。 第一感觉就是文章内容太多,超过了nginx配置的限制, 看了一下nginx.conf…