Parquet介绍及简单使用
==> 什么是parquet
成都创新互联公司是少有的成都网站建设、做网站、营销型企业网站、小程序开发、手机APP,开发、制作、设计、卖链接、推广优化一站式服务网络公司,从2013年成立,坚持透明化,价格低,无套路经营理念。让网页惊喜每一位访客多年来深受用户好评
Parquet 是列式存储的一种文件类型
==> 官网描述:
Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, data model or programming language
无论数据处理框架,数据模型或编程语言的选择如何,Apache Parquet都是Hadoop生态系统中任何项目可用的列式存储格式
==> 由来
Parquet的灵感来自于2010年Google发表的Dremel论文,文中介绍了一种支持嵌套结构的存储格式,并且使用了列式存储的方式提升查询性能,在Dremel论文中还介绍了Google如何使用这种存储格式实现并行查询的,如果对此感兴趣可以参考论文和开源实现Apache Drill。
==> 特点:
---> 可以跳过不符合条件的数据,只读取需要的数据,降低 IO 数据量
---> 压缩编码可以降低磁盘存储空间(由于同一列的数据类型是一样的,可以使用更高效的压缩编码(如 Run Length Encoding t Delta Encoding)进一步节约存储空间)
---> 只读取需要的列,支持向量运算,能够获取更好的扫描性能
---> Parquet 格式是 Spark SQL 的默认数据源,可通过 spark.sql.sources.default 配置
==> parquet 常用操作
---> load 和 save 函数
// 读取 Parquet 文件 val usersDF = spark.read.load("/test/users.parquet") // 查询 Schema 和数据 usersDF.printSchema usersDF.show // 查询用户的 name 和喜爱颜色并保存 usersDF.select($"name", $"favorite_color").write.save("/test/result/parquet") // 验证结果 可通过 printSchema 查询数据结构,使用 show 查看数据 // 显式指定文件格式: 加载 json 格式 val usersDF = spark.read.format("json").load("/test/people.json") // 存储模式(Save Modes) // 可以采用 SaveMode 执行存储操作, SaveMode 定义 了对数据的处理模式,需要注意的是,这些保存模式不使用任何锁定,不是原子操作 // 当使用 Overwrite 方式执行时,在输出新数据之前,原数据就已经被删除 usersDF.select($"name").write.save("/test/parquet1") // 若 /test/parquet1 存在会报错 usersDF.select($"name").wirte.mode("overwrite").save("/test/parquet1") // 使用 overwrite 即可 // 将结果保存为表, 也可以进行分区, 分桶等操作: partitionBy bucketBy usersDF.select($"name").write.saveAsTable("table1")
---> Parquet文件
Parquet 是一个列格式而且用于多个数据处理系统中
Spark SQL 提供支持对于 Parquet 文件的读写,也就是自动保存原始 数据的 Schema, 当写 Parquet 文件时,所有的列被自动转化为 nullable,因为兼容性的缘故
---- 读取 Json 格式的数据,将其转换成 parquet 格式,创建相应的表,使用 SQL 语句查询
// 从 json 文件中读入数据 val empJson = spark.read.json("/test/emp.json") // 将数据保存为 parquet empJson.write.mode("overwrite").parquet("/test/parquet") // 读取 parquet val empParquet = spark.read.parquet("/test/parquet") // 创建临时表 emptable empParquet.createOrReplaceTempView("emptalbe") // 使用 SQL 语句执行查询 spark.sql("select * from emptable where deptno=10 and sal>1500").show
---- Schematic 的合并: 先定义一个简单的 Schema,然后逐渐增加列描述,用户可以获取多个有多个不同 Schema 但相互兼容的 Parquet 文件
// 创建第一个文件 val df1 = sc.makeRDD(1 to 5).map(x=> (x, x*2)).toDF("single", "double") scala> df1.printSchema root |-- single: integer (nullable = false) |-- double: integer (nullable = false) // 创建第二个文件 scala> val df2 = sc.makeRDD(6 to 10).map(x=> (x, x*2)).toDF("single", "triple") df2: org.apache.spark.sql.DataFrame = [single: int, triple: int] scala> df2.printSchema root |-- single: integer (nullable = false) |-- triple: integer (nullable = false) scala> df2.write.parquet("/data/testtable/key=2") // 合并上面的两个文件 scala> val df3 = spark.read.option("mergeSchema", "true").parquet("/data/testtable") df3: org.apache.spark.sql.DataFrame = [single: int, double: int ... 2 more fields] scala> df3.printSchema root |-- single: integer (nullable = true) |-- double: integer (nullable = true) |-- triple: integer (nullable = true) |-- key: integer (nullable = true) scala> df3.show +------+------+------+---+ |single|double|triple|key| +------+------+------+---+ | 8| null| 16| 2| | 9| null| 18| 2| | 10| null| 20| 2| | 3| 6| null| 1| | 4| 8| null| 1| | 5| 10| null| 1| | 6| null| 12| 2| | 7| null| 14| 2| | 1| 2| null| 1| | 2| 4| null| 1| +------+------+------+---+
---> Json Datasets(两种写法)
// 第一种 scala> val df4 = spark.read.json("/app/spark-2.2.1-bin-hadoop2.7/examples/src/main/resources/people.json") df4: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala> df4.show +----+-------+ | age| name| +----+-------+ |null|Michael| | 30| Andy| | 19| Justin| +----+-------+ // 第二种 scala> val df5 = spark.read.format("json").load("/app/spark-2.2.1-bin-hadoop2.7/examples/src/main/resources/people.json") df5: org.apache.spark.sql.DataFrame = [age: bigint, name: string] scala> df5.show +----+-------+ | age| name| +----+-------+ |null|Michael| | 30| Andy| | 19| Justin| +----+-------+
---> JDBC 方式读取关系型数据库中的数据(需要将 JDBC 的驱动加入)
// 将 JDBC 的驱动加入 bin/spark-shell --master spark://bigdata11:7077 --jars /root/temp/ojdbc6.jar --driver-class-path /root/temp/ojdbc6.jar // 读取 Oracle val oracleEmp = spark.read.format("jdbc") .option("url","jdbc:oracle:thin:@192.168.10.100:1521/orcl.example.com") .option("dbtable","scott.emp") .option("user","scott") .option("password","tiger").load
---> 操作 Hive 的表
---- 把 hive 和 hadoop 的配置文件拷贝到sprke 的 conf 目录下: hive-sit.xml, core-sit.xml, hdfs-sit.xml
---- 启动 Spark-shell 时 指定MySQL 数据库的驱动程序
./bin/spark-shell --master spark://bigdata0:7077 --jars /data/tools/mysql-connector-java-5.1.43-bin.jar --driver-class-path /data/tools/mysql-connector-java-5.1.43-bin.jar
---- 使用 Spark Shell 操作 Hive
// 创建表 spark.sql("create table ccc(key INT, value STRING) row format delimited fields terminated by ','") // 导入数据 spark.sql("load data local path '/test/data.txt' into table ccc") // 查询数据 spark.sql("select * from ccc").show
---- 使用 Spark SQL 操作 Hive
show tables; select * from ccc;
当前题目:Parquet介绍及简单使用
文章路径:http://scyanting.com/article/pejdcg.html