Kafka_基本结构和原理
创始人
2025-05-28 06:57:34
0次
一、概念理解
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
（1）产生背景
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：
1.如何收集这些巨大的信息
2.如何分析它
3.如何及时做到如上两点
以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。从一个微观层面来说，这种需求也可理解为不同的系统之间如何传递消息。
Kafka诞生
Kafka由 linked-in 开源
kafka-即是解决上述这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。
kafka-高产出的分布式消息系统(A high-throughput distributed messaging system)
（2&#x
上一篇：【JVM】搞清类加载机制
下一篇： 《故乡草》阅读答案
相关内容
热门资讯
学校语文教研活动主持词
学校语文教研活动主持词 借鉴诗词和散文诗是主持词的一种写作手法。在一步步向前发展的社会中，很多晚会...
六一庆祝大会主持词
六一庆祝大会主持词 六一就是我们的节日，六一就是一个欢乐的日子，下面小编整理的六一庆祝大会主持词，...
婚礼感谢词
婚礼感谢词(15篇)婚礼感谢词1各位来宾，各位亲友: 大家晚上好！ 今日是我女儿XXX和女婿XX...
文艺汇演主持词开场白
文艺汇演主持词开场白9篇 根据活动对象的不同，需要设置不同的主持词。我们眼下的社会，活动集会越来越...
总结大会主持词
导语：春去秋回又一栽，似水流年旺年来。 2017年公司年会主持词 一.主持人开场白 男：一...
农村结婚典礼主持词
农村结婚典礼主持词 一对新人立堂前，两心相印似蜜甜，三生有幸结良缘，下面是小编分享的 农村结婚典礼...
春节联欢晚会主持词开场白
翻开精美的日历，我细数着春节将要来临。那是我们中华民族的传统节日，更是我期盼的佳节，因为只有这几...
真爱至上中英文经典台词
真爱至上中英文经典台词 1、All I want for Christmas is you. 今...
欢聚一堂舞蹈主持词
欢聚一堂舞蹈主持词 串词是在晚会、联欢会等大型联欢活动中，主持人把前后节目，把整台节目恰到好处的联...
主持词结束语
主持词结束语（通用12篇） 利用在中国拥有几千年文化的诗词能够有效提高主持词的感染力。在人们越来越...
秋季小学开学典礼校长的致辞
秋季小学开学典礼校长的致辞（通用13篇） 在学习、工作、生活中，许多人都有过写致辞的经历，对致辞都...
五月的主持词开场白
五月的主持词开场白 主持人在台上表演的灵魂就表现在主持词中。在当下这个社会中，各种场合中活跃现场气...
重阳节优秀致辞
重阳节优秀致辞范文 无论是身处学校还是步入社会，大家都用到过致辞吧，在各种重大的庆典、外交、纪念活...
QQ群晚会开幕词
QQ群晚会开幕词 QQ群晚会开幕词 尊贵的各位嘉宾，群主，各位管理，群友们大家晚上好： ...
主持谢幕词
主持谢幕词范本 篇一：主持谢幕词 愿一切荣耀、尊贵、颂赞都归给至高上帝！ 都说“台上一分钟，台...
圣诞节联欢晚会主持词
圣诞节联欢晚会主持词 主持词的写作需要将主题贯穿于所有节目之中。在一步步向前发展的社会中，主持词与...
元宵节的主持词
元宵节的主持词 一般在节日的时候，都是会举行一些活动的，尤其是在元宵节这个大型的节日。下面是小编为...
初中生晨会主持词
初中生晨会主持词（通用5篇） 主持词要尽量增加文化内涵、寓教于乐，不断提高观众的文化知识和素养。现...
晨会主持词开场白
开晨会是公司职场管理的规章制度，那么公司晨会主持如何开场白好呢？以下是小编为大家搜集整理提供到的...
企业年会主持词
企业年会主持词 主持词是主持人在台上表演的灵魂之所在。在人们越来越多的参与各种活动的今天，主持词是...