【Spark编程基础】
创始人
2024-05-29 19:34:59
0次

文章目录

  • 第2章 Spark设计与运行原理
    • 2.1 Spark概述
      • 2.1.1 Spark简介
      • 2.1.2 Spark与Hadoop对比
    • 2.2 Spark生态系统
    • 2.3 Spark运行架构
      • 2.3.1 基本概念
      • 2.3.2 架构设计
      • 2.3.3 Spark运行基本流程
      • 2.3.4 RDD设计与运行原理
    • 2.4 Spark的部署方式

第2章 Spark设计与运行原理

2.1 Spark概述

2.1.1 Spark简介

  • Spark特点：运行速度快、容易使用、通用性、运行模式多样

2.1.2 Spark与Hadoop对比

  • Hadoop存在的缺点：
    • 表达能力有限
    • 磁盘IO开销大
    • 延迟高
  • Spark优点：
    • 编程模型更灵活
    • 迭代运算效率更高
    • 任务调度机制更优

2.2 Spark生态系统

  • 大数据处理包括三个类型：
    • 复杂的批量数据处理
    • 基于历史数据的交互式查询
    • 基于实时数据流的数据处理
  • 带来的问题：
    • 数据转换
    • 成本
    • 资源调配
  • Spark生态系统
    • Spark设计遵循理念：一个软件栈满足不同应用场景
    • 提供内存计算框架，支持：SQL即席查询、实时流式计算、机器学习、图计算
    • Spark可部署在资源管理器YARN之上，提供一站式大数据解决方案
    • Spark生态系统支持 批处理、交互式查询、流数据处理

2.3 Spark运行架构

2.3.1 基本概念

2.3.2 架构设计

2.3.3 Spark运行基本流程

2.3.4 RDD设计与运行原理

2.4 Spark的部署方式

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：[资源整理]几个经典的用于不平衡回归Imbalanced regression的采样方法以及代码资源

下一篇：动态内存基础（三）

相关内容

热门资讯

思考的乐趣初中作文（优选5篇... 思考的乐趣初中作文 篇一思考是一种极为有趣的活动。它能够让我们更深入地了解问题的本质，培养我们的逻辑...
冲动是魔鬼初中作文600字（... 冲动是魔鬼初中作文600字 篇一冲动是魔鬼冲动是一种无法控制的情绪和冲动行为，常常会给我们带来不良后...
山洞探险的初一作文500字【... 山洞探险的初一作文500字 篇一 山洞探险的初一作文500字 篇二山洞探险的初一作文500字 篇三　...
初一作文未来【精彩6篇】 初一作文未来 篇一：未来的太空探索未来，随着科技的不断进步，人类对太空的探索将会取得巨大的突破。我们...
初中毕业的作文600字【优质... 初中毕业的作文600字 篇一初中毕业的感悟初中三年的时光转瞬即逝，仿佛昨天还是一个胆小怯懦的小学生，...
初中话题作文：战争与和平40... 初中话题作文：战争与和平400字 篇一战争与和平战争是人类社会发展中最为残酷的一种方式，它带来的破坏...
我的似水年华初中作文800字... 我的似水年华初中作文800字 篇一初中时光如流水般匆匆而过，留下了我许多美好的回忆。回想起这段时光，...
师生情初一作文800字（通用... 师生情初一作文800字 篇一初中生活中，师生情是一种特殊而珍贵的情感。在我初一的这一年里，我深深地感...
初中成长作文【精选6篇】 初中成长作文 篇一: 从失败中成长初中生活对于我来说是一个充满挑战和机遇的阶段。在这个阶段，我经历了...
春节拜年的作文400字（精彩... 春节拜年的作文400字 篇一春节拜年，是中国传统文化中一项重要的习俗。每年农历正月初一，人们会亲朋好...
我的母亲（精彩4篇） 我的母亲 篇一我的母亲，是我生命中最重要的人。她是一位勤劳、善良而又坚强的女性。在我成长的过程中，她...
初中想象作文：外面的世界真精... 初中想象作文：外面的世界真精彩 篇一我站在窗前，看着外面的世界，不禁感叹：外面的世界真精彩！我想象着...
春天初一作文【经典6篇】 春天初一作文 篇一春天初一作文 春天初一作文 篇二春天的美丽景色春天初一作文 篇一春天初一作文春天终...
真情无价初中优秀作文（推荐3... 真情无价初中优秀作文 篇一真情无价真情无价，是人类最美好的情感之一。它是一种无私奉献、无条件付出的真...
我最敬佩的人——环卫工人（精... 我最敬佩的人——环卫工人 篇一环卫工人是我最敬佩的人，他们默默无闻地工作，为城市的清洁和卫生付出了巨...
这不是爱情是感恩初中作文（最... 这不是爱情是感恩初中作文 篇一我们常常在电影、小说中看到爱情的美好，而对于初中生来说，爱情似乎是离我...
我是超级木头人初中作文（精选... 我是超级木头人初中作文 篇一我是超级木头人我是一名超级木头人，这个称号是我最近才得到的。你可能会好奇...
初一我的新朋友作文600字【... 篇一：初一我的新朋友初一开学的第一天，我来到了新学校，满怀期待地等待着新的朋友。在新班级里，我遇到了...
情怀作文800字（通用6篇） 情怀作文800字 篇一怀念那段青葱岁月青春，是一种记忆，也是一种情怀。它仿佛是一朵鲜花，在岁月的长河...
风筝与风作文（优秀5篇） 风筝与风作文 篇一风筝是一种古老而美丽的飞行器，在人们的童年中扮演着重要的角色。与风紧密相连的风筝，...