Kafka_基本结构和原理
创始人
2025-05-28 06:57:34
0次

一、概念理解

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

（1）产生背景

当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：

  1.如何收集这些巨大的信息

  2.如何分析它

  3.如何及时做到如上两点

以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。从一个微观层面来说，这种需求也可理解为不同的系统之间如何传递消息。

Kafka诞生

Kafka由 linked-in 开源

kafka-即是解决上述这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。

kafka-高产出的分布式消息系统(A high-throughput distributed messaging system)

（2&#x

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：【JVM】搞清类加载机制

下一篇： 《故乡草》阅读答案

相关内容

热门资讯

Qt学习_11_构建内嵌子界面... 0 前言 对于较大的Qt项目而言，弹出的独立子界面 与 根据菜单在主窗口内切换的内嵌子...
“设心积虑”的意思 “设心积虑”的意思 成语拼音： [shè xīn jī lǜ] ...
“东张西张”的意思 “东张西张”的意思 成语拼音： [dōng zhāng xī zhāng] ...
表示abb式词语500个 表示abb式词语500个　　ABB词语是指第二、三字一样的词语。以下是小编收集的词语相关内容，欢迎查...
“一部二十四史无从说起”的意... “一部二十四史无从说起”的意思 成语拼音： [yī bù èr shí sì shǐ w...
云原生之部署Docker可视化... 云原生之部署Docker可视化管理工具docker.ui一、docker.ui介绍1.docker....
睿智的目标检测65——Pyto... 睿智的目标检测65——Pytorch搭建DETR目标检测平台学习前言源码下载DETR实现思路一、整体...
Ribbon负载均衡的原理（源... SpringCloud底层其实是利用了一个名为Ribbon的组件，来实现负载均衡功能的...
雪花轻轻的飘落下来改成比喻句 雪花轻轻的飘落下来改成比喻句　　比喻句，是一种常用修辞手法，意思是打比方，用浅显、具体、生动的事物来...
“彩笔生花”的意思 “彩笔生花”的意思 成语拼音： [cǎi bǐ shēng huā] ...
Java Eclipse如何调... 下面通过一个简单的例子来了解一下 Eclipse 调试程序的方法。publicclass Test1...
“江山之恨”的意思 “江山之恨”的意思 成语拼音： [jiāng shān zhī hèn] ...
“无人之地”的意思 “无人之地”的意思 成语拼音： [wú rén zhī dì] ...
大城市的IT岗位，饱和了么？ 学IT专业的同学，经常会考虑这样一个问题：现在的计算机专业到处都有&#x...
ESP32设备驱动-ULN20... ULN2003步进电机驱动 文章目录 ULN2003步进电机驱动1、ULN2003介绍2、硬件准...
“道远知骥”的意思 “道远知骥”的意思 成语拼音： [dào yuǎn zhī jì] ...
优化外贸网站，SEO提升，轻松... 优化外贸网站，SEO提升，是外贸从业者们需要关注的一个重要话题。 SEO...
“良莠不齐”的意思 “良莠不齐”的意思 成语拼音： [liáng yǒu bù qí] ...
“争长竞短”的意思 “争长竞短”的意思 成语拼音： [zhēng cháng jìng duǎn] ...
“杀一警百”的意思 “杀一警百”的意思 成语拼音： [shā yī jǐng bǎi] ...