spark python3_Python+spark配置:多版本Python兼容问题

1、安装spark

此处安装spark2.3.0版本

2、安装Python

根据已经安装的spark版本选择需要的Python版本，比如我的电脑安装的是spark2.3.0，选择的对应的Python版本就不能超过3.5，我个人喜欢安装anaconda集成的Python，对应的anaconda版本为3.4.2

1）bash bash Anaconda3-4.2.0-Linux-x86_64.sh

2）修改环境变量

打开文件：vi /etc/profile

添加一行：export PATH=$PATH:/root/anaconda3/bin

退出文件后更新：source /etc/profile

3、更新sklearn(个人机器学习时需要用到的包)，不能超过0.21版

pip install -Uscikit_learn

4、服务器上因为安装了GP数据库，自带了Python2.7版本，为了不影响GP的使用，此版本Python并没有卸载，我们又安装了Python3.5版本，会出现冲突，Python3直接打不开，需要进行操作：

打开文件：vi /etc/profile

添加2行：unset PYTHONHOME

unset PYTHONPATH

退出文件后更新：source /etc/profile

5、进入Python环境后发现不能import pyspark，报错：no module named pyspark . 这是因为Python并没有把pyspark加入搜索目录，需要进行操作：

打开文件：vi /etc/profile

添加一行：PYTHONPATH=/home/spark-2.3.0-bin-hadoop2.6/python #（此处的目录是spark的安装目录的下一层）

退出文件后更新：source /etc/profile

6、直接运行pyspark后，注意看调用的Python版本，有时候会出现进入pyspark后，import pandas报错，这是因为调用的版本问题，需要修改调用的Python版本

打开文件：vi /etc/profile

添加一行：PYSPARK_PYTHON=PYTHON3 #(此处Python3是我们安装的Python3.5版本)

退出文件后更新：source /etc/profile

查看当前默认的Python版本

Python

进入”/usr/bin”目录下，输入”ls -l | grep python”显示所有名字中包含python的文件

只要把python的指向改为python3即可，Python3指向的是Python3.5

$ sudo rm -rf python

$ sudo ln -s /usr/bin/python3/usr/bin/python

再执行Python命令，可以看到

默认版本已经改成Python3.5.2了