最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
CDH修改PySpark默认Python版本
时间:2026-06-18 08:46:48 编辑:袖梨 来源:一聚教程网
前言
PySpark一直使用的是Linux默认的Python2.7.5版本,感觉超级不爽,于是想升个级,可怎么升啊?于是又开始了万年的Google
操作步骤
安装Python3.X参考配置全局变量sudo vim /etc/profileexport PATH=/usr/bin/python3:$PATHsource /etc/profile 打开CDH Web配置spark-env.sh文件如下:

即添加:
export PYSPARK_PYTHON=/usr/bin/python3export PYSPARK_DRIVER_PYTHON=/usr/bin/python3 重启CDH过时服务
然后就就可以开心的玩耍咯

参考