【Spark编程基础】
创始人
2024-05-29 19:34:59
0次
文章目录
- 第2章 Spark设计与运行原理
- 2.1 Spark概述
- 2.1.1 Spark简介
- 2.1.2 Spark与Hadoop对比
- 2.2 Spark生态系统
- 2.3 Spark运行架构
- 2.3.1 基本概念
- 2.3.2 架构设计
- 2.3.3 Spark运行基本流程
- 2.3.4 RDD设计与运行原理
- 2.4 Spark的部署方式
第2章 Spark设计与运行原理
2.1 Spark概述
2.1.1 Spark简介
- Spark特点：运行速度快、容易使用、通用性、运行模式多样
2.1.2 Spark与Hadoop对比
- Hadoop存在的缺点：
- 表达能力有限
- 磁盘IO开销大
- 延迟高
- Spark优点：
- 编程模型更灵活
- 迭代运算效率更高
- 任务调度机制更优
2.2 Spark生态系统
- 大数据处理包括三个类型：
- 复杂的批量数据处理
- 基于历史数据的交互式查询
- 基于实时数据流的数据处理
- 带来的问题：
- 数据转换
- 成本
- 资源调配
- Spark生态系统
- Spark设计遵循理念：一个软件栈满足不同应用场景
- 提供内存计算框架，支持：SQL即席查询、实时流式计算、机器学习、图计算
- Spark可部署在资源管理器YARN之上，提供一站式大数据解决方案
- Spark生态系统支持 批处理、交互式查询、流数据处理
2.3 Spark运行架构
2.3.1 基本概念
2.3.2 架构设计
2.3.3 Spark运行基本流程
2.3.4 RDD设计与运行原理
2.4 Spark的部署方式
相关内容
热门资讯
运动会致辞
运动会致辞（精选5篇） 无论在学习、工作或是生活中，大家或多或少都用到过致辞吧，致辞要求风格的雅、...
六一儿童节的主持稿
六一儿童节的主持稿（精选8篇） 随着社会一步步向前发展，我们都不可避免地要接触到主持稿，主持稿是主...
元旦文艺汇演主持稿
元旦文艺汇演主持稿范文（通用5篇） 在当下社会，很多情况下我们需要用到主持稿，主持稿起到承上启下的...
颁奖主持词
颁奖主持词三篇 主持人在一场活动中是十分重要的，一个好的主持人是一直带动着活动过程中的气氛，让大家...
婚宴答谢宴简短主持词
婚宴答谢宴简短主持词 主持词要根据活动对象的不同去设置不同的主持词。在人们积极参与各种活动的今天，...
汽车公司庆典主持词
汽车公司庆典主持词 利用在中国拥有几千年文化的诗词能够有效提高主持词的感染力。现今社会在不断向前发...
古筝音乐会主持词
古筝音乐会主持词6篇 主持词要把握好吸引观众、导入主题、创设情境等环节以吸引观众。在一步步向前发展...
小学元旦联欢会主持词开场白和...
小学元旦联欢会主持词开场白和结束词 根据活动对象的不同，需要设置不同的主持词。随着社会一步步向前发...
知识竞赛主持词
知识竞赛主持词（精选6篇） 主持词的写作需要将主题贯穿于所有节目之中。在人们越来越多的参与各种活动...
小学家长会学生欢迎词
小学家长会学生欢迎词小学家长会学生欢迎词文章标题：小学家长会学生欢迎词家长会欢迎辞亲爱的叔叔阿姨,爷...
消夏晚会主持词
2017消夏晚会主持词 漫漫暑假，天气越来越燥热，不妨在炎热的午后，参加一场纳凉晚会，欣赏社区带来...
周立波脱口秀台词
周立波脱口秀台词集锦四十岁之前喝酒是为了别人的一句～～厉害!醉了!!四十岁以后喝酒是为了自己的一句～...
圣诞节活动主持词节目串词
圣诞节活动主持词节目串词3篇 根据活动对象的不同，需要设置不同的主持词。在人们积极参与各种活动的今...
生日华诞主持词
生日华诞主持词范文各位领导，各位朋友，各位来宾，女士们，先生们： 中午好。 今天是个喜庆的日子，...
学术会议主持词
学术会议主持词 什么是主持词 由主持人于节目进行过程中串联节目的串联词。如今的各种演出活动和集会...
订婚仪式及主持词
订婚仪式及主持词范文（通用3篇） 活动对象的不同，主持词的写作风格也会大不一样。在现在的社会生活中...
古剑奇谭欧阳少恭经典台词参考
古剑奇谭欧阳少恭经典台词参考 大型古装玄幻剧《古剑奇谭》正在湖南卫视热播，剧中，乔振宇饰演温文尔雅...
幼儿园晨会主持词
幼儿园晨会主持词 美好的一天从早上开始，从晨会开始，从大家的好的状态开始，从最好的开始。以下是小编...
诗文诵读展示主持词
诗文诵读展示主持词 主持词没有固定的格式，他的最大特点就是富有个性。在当今不断发展的世界，很多晚会...