7. Spark SQL

1. 请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

1.1 出现原因

　　SparkSQL的出现源于shark存在线程安全问题和维护语法补丁问题，所以将SparkSQL拿出独立发展。SparkSQL代码由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便

1.2 起源与发展

　　Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。

　　SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，Shark应运而生，但又因为Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等)，2014年spark团队停止对Shark的开发，发展出了两个分支：SparkSQL 和 Hive on Spark，将所有资源放SparkSQL项目上。

　　SparkSQL抛弃原有 Shark 的代码，汲取了 Shark 的一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等，重新开发了SparkSQL代码；由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

　　其中 SparkSQL 作为 Spark 生态的一员继续发展，而不再受限于 Hive，只是兼容 Hive；而Hive on Spark 是一个 Hive 的发展计划，该计划将 Spark 作为 Hive 的底层引擎之一，也就是说，Hive 将不再受限于一个引擎，可以采用 Map-Reduce、Tez、Spark 等引擎。

 

2. 简述RDD 和DataFrame的联系与区别？

2.1 联系

  1. 都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利
  2. 都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，才会开始遍历运算
  3. 都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出
  4. 都有partition的概念
  5. 有许多共同的函数，如filter，排序等

2.2 区别

  1. RDD不支持SQL
  2. DF每一行都是Row类型，不能直接访问字段，必须解析才行
  3. DS每一行是什么类型是不一定的，在自定义了case class之后可以很自由的获 得每一行的信息
  4. DataFrame与Dataset均支持spark sql的操作，比如select，group by之类，还 能注册临时表/视窗，进行sql语句操作
  5. 可以看出，Dataset在需要访问列中的某个字段时是非常方便的，然而，如果要 写一些适配性很强的函数时，如果使用Dataset，行的类型又不确定，可能是 各种case class，无法实现适配，这时候用DataFrame即Dataset[Row]就能比较 好的解决问题。

 

3

3.1 PySpark-DataFrame创建：

spark.read.text(url)

 

spark.read.json(url)

 

spark.read.format(text).load(people.txt)

 

spark.read.format(json).load(people.json)

 

描述从不同文件类型生成DataFrame的区别。

text文件生成的DataFrame只有value属性；json文件生成的DataFrame会识别到文件中的键值。

用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。

 

 

3.2 DataFrame的保存

df.write.text(dir)

 

df.write.json(dri)

 

df.write.format(text).save(dir)

 

df.write.format(json).save(dir)

 


4. 选择题

4.1 单选(2分)‍关于Shark，下面描述正确的是：C

  A. Shark提供了类似Pig的功能

  B. Shark把SQL语句转换成MapReduce作业

  C. Shark重用了Hive中的HiveQL解析、逻辑执行计划翻译、执行计划优化等逻辑

  D. Shark的性能比Hive差很多

4.2 单选(2分)‏下面关于Spark SQL架构的描述错误的是：B

  A. 在Shark原有的架构上重写了逻辑执行计划的优化部分，解决了Shark存在的问题

  B. Spark SQL在Hive兼容层面仅依赖HiveQL解析和Hive元数据

  C. Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责

  D. Spark SQL执行计划生成和优化需要依赖Hive来完成

4.3 单选(2分)‌要把一个DataFrame保存到people.json文件中，下面语句哪个是正确的：A

  A. df.write.json(people.json)

  B. df.json(people.json)

  C. df.write.format(csv).save(people.json)

  D. df.write.csv(people.json)

4.4 多选(3分)‎Shark的设计导致了两个问题：AC

  A. 执行计划优化完全依赖于Hive，不方便添加新的优化策略

  B. 执行计划优化不依赖于Hive，方便添加新的优化策略

  C. Spark是线程级并行，而MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

  D. Spark是进程级并行，而MapReduce是线程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

4.5 多选(3分)‌下面关于为什么推出Spark SQL的原因的描述正确的是：AB

  A. Spark SQL可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作

  B. 可以支持大量的数据源和数据分析算法，组合使用Spark SQL和Spark MLlib，可以融合传统关系数据库的结构化数据管理能力和机器学习算法的数据处理能力

  C. Spark SQL无法对各种不同的数据源进行整合

  D. Spark SQL无法融合结构化数据管理能力和机器学习算法的数据处理能力

4.6 多选(3分)‌下面关于DataFrame的描述正确的是：ABCD

  A. DataFrame的推出，让Spark具备了处理大规模结构化数据的能力

  B. DataFrame比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能

  C. Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询

  D. DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息

4.7 多选(3分)‏要读取people.json文件生成DataFrame，可以使用下面哪些命令：AC

  A. spark.read.json(people.json)

  B. spark.read.parquet(people.json)

  C. spark.read.format(json).load(people.json)

  D. spark.read.format(csv).load(people.json)

 

5. PySpark-DataFrame各种常用操作

基于df的操作：

打印数据 df.show()默认打印前20条数据

打印概要 df.printSchema()

查询总行数 df.count()

df.head(3) #list类型，list中每个元素是Row类

输出全部行 df.collect() #list类型，list中每个元素是Row类

查询概况 df.describe().show()

取列 df[‘name’], df.name, df[1]

选择 df.select() 每个人的年龄+1

筛选 df.filter() 20岁以上的人员信息

筛选年龄为空的人员信息

分组df.groupBy() 统计每个年龄的人数

排序df.sortBy() 按年龄进行排序

 

基于spark.sql的操作

创建临时表 df.registerTempTable('people')

spark.sql执行SQL语句 spark.sql('select name from people').show()

 

pyspark中DataFrame与pandas中DataFrame

 

分别从文件创建两种DataFrame

查看两种df的区别

pandas中DataFrame转换为Pyspark中DataFrame

Pyspark中DataFrame转换为pandas中DataFrame

 

 

6.从RDD转换得到DataFrame

6.1 利用反射机制推断RDD模式

创建RDD sc.textFile(url).map()，读文件，分割数据项

每个RDD元素转换成 Row

由Row-RDD转换到DataFrame

 

6.2 使用编程方式定义RDD模式

#下面生成“表头” 

#下面生成“表中的记录” 

#下面把“表头”和“表中的记录”拼装在一起

 

 

6.选择题 

6.1单选(2分)以下操作中，哪个不是DataFrame的常用操作：D

A.printSchema()

B.select()

C.filter()

D.sendto()

 

6.2多选(3分)‏从RDD转换得到DataFrame包含两种典型方法，分别是：AB

A.利用反射机制推断RDD模式

B.使用编程方式定义RDD模式

C.利用投影机制推断RDD模式

D.利用互联机制推断RDD模式

 

6.3多选(3分)‍使用编程方式定义RDD模式时，主要包括哪三个步骤：ABC

A.制作“表头”

B.制作“表中的记录”

C.制作映射表

D.把“表头”和“表中的记录”拼装在一起