用python写spark的方法是什么

用python写spark的方法是什么?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!

创新互联建站是专业的奇台网站建设公司,奇台接单;提供成都网站设计、网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行奇台网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

为什么要使用Python来写Spark

Python写spark我认为唯一的理由就是:你要做数据挖掘,AI相关的工作。因为很多做数挖的他们的基础语言都是python,他们如果重新学scala比较耗时,而且,python他的强大类库是他的优势,很多算法库只有python有。

Win本地编写代码调试

编辑器:PyCharm

Spark:1.6

Python:2.7

Win环境准备

Python的安装

解压python包,在环境变量里面配上bin的路径

Spark的安装

下载spark的bin文件,解压即可,在环境变量配置SPARK_HOME

要可以通过编辑器来安装,如pycharm,查找pyspark库安装即可

Hadoop安装

安装hadoop环境 。在win下面需要winutils.exe;在环境里面配置HADOOP_HOME 即可。

代码示例

# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark import *
import os
print(os.environ['SPARK_HOME'])
print(os.environ['HADOOP_HOME'])
if __name__ == '__main__':
    sc = SparkContext("local[8]")
    rdd = sc.parallelize("hello Pyspark world".split(" "))
    counts = rdd \
        .flatMap(lambda line: line) \
        .map(lambda word: (word, 1)) \
        .reduceByKey(lambda a, b: a + b) \
        .foreach(print)
    sc.stop

问题:

from pyspark import *

找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到(可能需要解压py4j)

%PYTHON%\Lib\site-packages下面去。这样,你的编辑器才能找到。

或者:

配置你的编辑器的环境变量:

PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages

使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py。

感谢各位的阅读!看完上述内容,你们对用python写spark的方法是什么大概了解了吗?希望文章内容对大家有所帮助。如果想了解更多相关文章内容,欢迎关注创新互联行业资讯频道。


网站栏目:用python写spark的方法是什么
文章源于:http://scyanting.com/article/jodshi.html