利用Python进行数据分析(12)-高阶应用transform

本文中详解介绍了 pandas 中 transform() 方法的使用

崇信网站建设公司创新互联公司,崇信网站设计制作，有大型网站制作公司丰富经验。已为崇信上1000+提供企业网站建设服务。企业网站搭建\成都外贸网站建设公司要多少钱，请找那个售后服务好的崇信做网站的公司定做！

Accepted combinations are:

{0 or ‘index’, 1 or ‘columns’}, default 0 If 0 or ‘index’: apply function to each column. If 1 or ‘columns’: apply function to each row.

Positional arguments to pass to func.

Keyword arguments to pass to func.

A DataFrame that must have the same length as self.

If the returned DataFrame has a different length than self.

transform方法通常是和groupby方法一起连用的

每个位置被均值取代

内建的聚合函数直接传递别名，max\min\sum\mean

向tranform中直接传递函数

在这个网站上有一个完整的实例，解释了transform方法的使用

You can see in the data that the file contains 3 different orders (10001, 10005 and 10006) and that each order consists has multiple products (aka skus).

The question we would like to answer is: “What percentage of the order total does each sku represent?”

For example, if we look at order 10001 with a total of $576.12, the break down would be:

求出不同商品在所在订单的价钱占比

先求出一列占比的值，再和原始数据进行合并merge

Transform + groupby连用：先分组再求和

如何用Python写spark

1.RDD是PariRDD类型

def add1(line):

return line[0] + line[1]

def add2(x1,x2):

return x1 + x2

sc = SparkContext(appName="gridAnalyse")

rdd = sc.parallelize([1,2,3])

list1 = rdd.map(lambda line: (line,1)).map(lambda (x1,x2) : x1 + x2).collect() #只有一个参数，通过匹配来直接获取（赋值给里面对应位置的变量）

list1 = rdd.map(lambda line: (line,1)).map(lambda x1,x2 : x1 + x2).collect() #错误，相当于函数有两个参数

list2 = rdd.map(lambda line: (line,1)).map(lambda line : line[0] + line[1]).collect() #只有一个参数，参数是Tuple或List数据类型，再从集合的对应位置取出数据

list3 = rdd.map(lambda line: (line,1)).map(add1).collect() #传递函数，将Tuple或List类型数据传给形参

list4 = rdd.map(lambda line: (line,1)).map(add2).collect() #错误，因为输入只有一个，却有两个形参

当RDD是PairRDD时，map中可以写lambda表达式和传入一个函数。

a、写lambda表达式：

可以通过(x1,x2,x3)来匹配获取值；或者使用line获取集合，然后从集合中获取。

b、传入函数

根据spark具体的transaction OR action 操作来确定自定义函数参数的个数，此例子中只有一个参数，从形参（集合类型）中获取相应位置的数据。

java调python

很多朋友都想知道java怎么调python？下面就一起来了解一下吧~

java调python主要有两种方法：1.使用Runtime.getRuntime()执行脚本文件；2. 将python脚本写成进程为java提供服务，下面是具体的方法介绍：

第一种：使用Runtime.getRuntime()执行脚本文件

先建立python脚本文件 demo.py

import numpy as np a = np.arange(12).reshape(3,4)print(a)

java调用python程序并输出该结果

import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;public class Demo {     public static void main(String[] args) {         // TODO Auto-generated method stub         Process proc;         try {             proc = Runtime.getRuntime().exec("python D:\\demo.py");// 执行py文件             //用输入输出流来截取结果             BufferedReader in = new BufferedReader(new InputStreamReader(proc.getInputStream()));             String line = null;             while ((line = in.readLine()) != null) {                 System.out.println(line);             }             in.close();             proc.waitFor();         } catch (IOException e) {             e.printStackTrace();         } catch (InterruptedException e) {             e.printStackTrace();         }      }}

如若向python程序中函数传递参数并执行出结果，下面就举一例来说明一下。

同样建立python脚本文件demo2.py

import sys def func(a,b):     return (a+b)if __name__ == '__main__':     a = []     for i in range(1, len(sys.argv)):         a.append((int(sys.argv[i])))     print(func(a[0],a[1]))

其中sys.argv用于获取参数url1，url2等。而sys.argv[0]代表python程序名，所以列表从1开始读取参数。

以上代码实现一个两个数做加法的程序，下面看看在java中怎么传递函数参数，代码如下：

int a = 18;int b = 23;try {     String[] args = new String[] { "python", "D:\\demo2.py", String.valueOf(a), String.valueOf(b) };     Process proc = Runtime.getRuntime().exec(args);// 执行py文件     BufferedReader in = new BufferedReader(new InputStreamReader(proc.getInputStream()));     String line = null;     while ((line = in.readLine()) != null) {         System.out.println(line);     }     in.close();     proc.waitFor();} catch (IOException e) {     e.printStackTrace();} catch (InterruptedException e) {     e.printStackTrace();}

其中args是String[] { “python”,path,url1,url2 }; ，path是python程序所在的路径，url1是参数1，url2是参数2，以此类推。

2. 将python脚本写成进程为java提供服务

python脚本文件如下：

import socketimport sysimport threadingimport numpy as npfrom PIL import Imagedef main():     # 创建服务器套接字     serversocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)     # 获取本地主机名称     host = socket.gethostname()     # 设置一个端口     port = 12345     # 将套接字与本地主机和端口绑定     serversocket.bind((host,port))     # 设置监听最大连接数     serversocket.listen(5)     # 获取本地服务器的连接信息     myaddr = serversocket.getsockname()     print("服务器地址:%s"%str(myaddr))     # 循环等待接受客户端信息     while True:         # 获取一个客户端连接         clientsocket,addr = serversocket.accept()         print("连接地址:%s" % str(addr))         try:             t = ServerThreading(clientsocket)#为每一个请求开启一个处理线程             t.start()             pass         except Exception as identifier:             print(identifier)             pass         pass     serversocket.close()     passclass ServerThreading(threading.Thread):     # words = text2vec.load_lexicon()     def __init__(self,clientsocket,recvsize=1024*1024,encoding="utf-8"):         threading.Thread.__init__(self)         self._socket = clientsocket         self._recvsize = recvsize         self._encoding = encoding        pass     def run(self):         print("开启线程.....")         try:             #接受数据             msg = ''             while True:                 # 读取recvsize个字节                 rec = self._socket.recv(self._recvsize)                 # 解码                 msg += rec.decode(self._encoding)                 # 文本接受是否完毕，因为python socket不能自己判断接收数据是否完毕，                 # 所以需要自定义协议标志数据接受完毕                 if msg.strip().endswith('over'):                     msg=msg[:-4]                     break                         sendmsg = Image.open(msg)             # 发送数据             self._socket.send(("%s"%sendmsg).encode(self._encoding))             pass         except Exception as identifier:             self._socket.send("500".encode(self._encoding))             print(identifier)             pass         finally:             self._socket.close()          print("任务结束.....")                  pass     def __del__(self):         passif __name__ == "__main__":     main()

在java代码中访问python进程的代码： package hello;import java.lang.System;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.InetAddress;import java.net.Socket;import java.io.OutputStream;import java.io.PrintStream;import java.io.InputStream;public class hello {     public static void main(String[] args){         //System.out.println("Hello World!");         // TODO Auto-generated method stub         try {             InetAddress addr = InetAddress.getLocalHost();             String host=addr.getHostName();             //String ip=addr.getHostAddress().toString(); //获取本机ip             //log.info("调用远程接口:host="+ip+",port="+12345);             // 初始化套接字，设置访问服务的主机和进程端口号，HOST是访问python进程的主机名称，可以是IP地址或者域名，PORT是python进程绑定的端口号             Socket socket = new Socket(host,12345);             // 获取输出流对象             OutputStream os = socket.getOutputStream();             PrintStream out = new PrintStream(os);             // 发送内容             out.print( "F:\\xxx\\0000.jpg");             // 告诉服务进程，内容发送完毕，可以开始处理             out.print("over");             // 获取服务进程的输入流             InputStream is = socket.getInputStream();             BufferedReader br = new BufferedReader(new InputStreamReader(is,"utf-8"));             String tmp = null;             StringBuilder sb = new StringBuilder();             // 读取内容             while((tmp=br.readLine())!=null)                 sb.append(tmp).append('\n');             System.out.print(sb);             // 解析结果             //JSONArray res = JSON.parseArray(sb.toString());         } catch (IOException e) {             e.printStackTrace();         }finally {             try {if(socket!=null) socket.close();} catch (IOException e) {}             System.out.print("远程接口调用结束.");         }       }}

分享名称：传递函数python 传递函数的三种形式
当前URL：http://scyanting.com/article/hjhjpj.html