sparkonhive如何配置

小编给大家分享一下spark on hive如何配置,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

为涉县等地区用户提供了全套网页设计制作服务,及涉县网站建设行业解决方案。主营业务为成都网站设计、做网站、涉县网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

1. 添加依赖

    
        2.4.0
        2.11
    

    
        
        
            org.apache.spark
            spark-core_${scala.version}
            ${spark.version}
        

        
            org.apache.spark
            spark-sql_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-hive_${scala.version}
            ${spark.version}
        

        
            net.jpountz.lz4
            lz4
            1.3.0
        

    

    
        
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.2.0
                
                    
                        
                        
                            compile
                        
                    
                
            
            
                org.apache.maven.plugins
                maven-assembly-plugin
                3.0.0
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            single
                        
                    
                
            
        
    

2. 将hive-site.xml拷贝到项目资源路径下

3. 创建SparkSession对象,直接读取hive表中的数据

    val session: SparkSession = SparkSession.builder.appName("etl")
         .master("local[*]")
         .enableHiveSupport.getOrCreate

    val frame: DataFrame = session.sql("select * from warningplatform.ini_current_frequency")
    frame.show()

以上是“spark on hive如何配置”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


文章题目:sparkonhive如何配置
URL标题:http://scyanting.com/article/iighcc.html