1.2.3 Spark SQL的使用场景

Spark SQL适用于以下场景。

(1)需要处理结构化数据的场景。

(2)需要查询各种数据源的场景,如Parquet、JSON、关系数据库、文本文件、RDD、Hive等数据源。

(3)需要兼容SQL99、HiveQL的场景。

(4)对数据处理的实时性要求不高的场景,如对原始数据进行分析整理、建立主题库等。

(5)处理PB级的大容量数据的场景。

Spark SQL不适用于实时、交互式数据查询的场景。