hadoop理论基础（一）
创始人
2025-05-28 17:33:01
0次
1.hadoop的组成
2 HDFS概述
HDFS（Hadoop Distributed File System）是一个分布式文件系统
（1）NameNode:存储文件的元数据;如文件名、文件目录结构、文件属性，以及每个文件的块列表和块所在的DataNode等。
(2)DataNode:在本地文件系统存储文件块数据
（3）每隔一段时间对NameNode元数据备份。
3Yarn概述
YARN（Yet Another Resource Negotiater）：另一种资源协调者，是Hadoop的资源管理器。
ResourceManager（RM）：整个集群资源（内存、CPU等）的管理者
NodeManager（NM）：单个节点服务器资源管理者
ApplicationMaster（AM）：单个任务运行的管理者
Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等
4 MapReduce概述
负责海量数据的计算
MapReduce将计算拆成两个阶段：Map和Reduce
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
5 HDFS、YARN、MapReduce三者关系
6 大数据技术的生态体系
上一篇： 幼儿园手工卡纸制作可爱动物心形便签
相关内容
热门资讯
开题报告的文献综述怎么写
文献综述是研究者在其提前阅读过某一主题的文献后，经过理解、整理、融会贯通，综合分析和评价而组成的...
九九重阳节活动简报
九九重阳节活动简报（通用16篇） 在日常学习、工作抑或是生活中，很多地方都会使用到简报，简报不是一...
初中生课外阅读情况调查报告
初中生课外阅读情况调查报告 一、调查目的 在日常语文教学过程中，我们经常可以发现学生们由于积累不...
参观学习报告
参观学习报告 在日常生活和工作中，报告有着举足轻重的地位，其在写作上有一定的技巧。那么，报告到底怎...
综治工作述职报告
综治工作述职报告（精选7篇） 光阴的迅速，一眨眼就过去了，回顾过去的工作，倍感充实，收获良多，将过...
经营分析报告
经营分析报告（精选5篇） 在生活中，报告有着举足轻重的地位，报告具有双向沟通性的特点。其实写报告并...
大学生调查报告
大学生调查报告13篇 随着个人的素质不断提高，我们都不可避免地要接触到报告，我们在写报告的时候要注...
开题报告的内容与撰写要求
开题报告的内容一般包括：题目、立论依据(毕业论文选题的目的与意义、国内外研究现状)、研究方案(研...
寒假实践报告
寒假实践报告范文【5篇】 在我们平凡的日常里，报告有着举足轻重的地位，其在写作上有一定的技巧。一起...
实习报告个人总结
实习报告个人总结 导语：个人总结，就是把一个时间段的个人情况进行一次全面系统的总检查、总评价、总分...
家乡民俗文化调查报告
家乡民俗文化调查报告（精选10篇） 要去了解一件不明白的事情时，我们通常要进行专门的调查研究，并且...
保险公司实习报告
保险公司实习报告 我们眼下的社会，报告的使用频率呈上升趋势，我们在写报告的时候要注意逻辑的合理性。...
英国留学申请时间
有意申请2015秋季英国大学的同学，现在就必须开始提交申请了。基础申请材料包括：成绩单、在读证明...
文明社区自查报告
文明社区自查报告（通用20篇） 随着社会一步步向前发展，越来越多人会去使用报告，写报告的时候要注意...
错别字调查报告
错别字调查报告(汇编15篇) 在经济发展迅速的今天，报告与我们的生活紧密相连，其在写作上具有一定的...
城镇化建设问题调研报告
生态文明建设调研报告推荐度：新农村建设调研报告推荐度：生态文明建设调研报告推荐度：小城镇建设调研报告...
房地产销售述职报告
房地产销售述职报告15篇 我们眼下的社会，报告与我们的生活紧密相连，不同种类的报告具有不同的用途。...
销售经理的述职报告
销售经理的述职报告范文 在当下这个社会中，报告有着举足轻重的地位，我们在写报告的时候要避免篇幅过长...
初三学期学生自我陈述报告
初三学期学生自我陈述报告500字（通用6篇） 随着个人的文明素养不断提升，报告的用途越来越大，报告...