博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
054 kafka内部机制
阅读量:6173 次
发布时间:2019-06-21

本文共 616 字,大约阅读时间需要 2 分钟。

一:数据格式与数据存储

1.总结

  存储在磁盘文件中(index+log)

  顺序读写的

  基于offset偏移量来管理数据的(主要是读操作)

  由分区器根据key值决定数据分布到哪个分区,默认使用hash

 

2.发送的消息格式

  

 

3.log消息格式

  

  

 

 

4.存储机制

  

 

二:分布式机制

1.总结

  一个分区可以存在多个备份分区

  只有一个分区是leader,leader分区提供数据的读写

  一个broker上可能存在多个leader

  

 

2.机制

  

 

3.副本的复制

  

 

4.leader选举

  

  -----------------------------------------------------------------------------------------------------------------------------------------

  

  Leader:这个意思是leader在broker的Id为2上。

 

三:kafka消息产生机制,消费机制

1.产生机制

  

 

2.消费机制

  

  ----------------------------------------------------------------------------------------------------------------------------

  

 

转载地址:http://qytba.baihongyu.com/

你可能感兴趣的文章
web 性能优化指南阅读笔记
查看>>
课堂练习——找1
查看>>
php curl函数以及可设置的参数
查看>>
(1/24) 认识webpack
查看>>
控制多线程高并发访问数据共享
查看>>
Linux SSH 远程登录错误解决办法 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
查看>>
canvas交互之addHitRegion()接口的使用
查看>>
Deprecated: Assigning the return value of new by reference is deprecated in……【解决方法】
查看>>
Deprecated: Function eregi() is deprecated in ……【解决方法】
查看>>
JS实现动画方向切换效果(包括:撞墙反弹,暂停继续左右运动等)
查看>>
定时任务发展史(二)
查看>>
hdu 5172 GTY's gay friends 线段树
查看>>
C二维数组练习
查看>>
实验十——一维数组的定义及引用
查看>>
【转载】Spring3 MVC的DEMO
查看>>
jquery取对象数组元素的错误方式
查看>>
秒杀的活动设计方案
查看>>
【python3的进阶之路二】因特网客户端编程
查看>>
Python Day43
查看>>
PHP 构造函数
查看>>