spark集群更换python安装环境
短信预约 -IT技能 免费直播动态提醒
由于需要用到很多第三方的包，比如numpy，pandas等，而生产环境又无法上网单个包安装太麻烦，因此考虑把之前安装的python的独立环境换成Anaconda的集成开发环境。以下是具体步骤：
1安装Anaconda3-5.0.1-Linux-x86_64.sh脚本
2给/opt/modules/anaconda3/bin/python3.6建立软链接ln -s /opt/modules/anaconda3/bin/python /usr/bin/python3
3修改root环境变量
/root/.bashrc
/root/.bash_profile
修改hdfs用户环境变量，因为集群操作大多有hdfs用户完成。
su - hdfs
~/.bashrc
export PATH="/usr/bin:$PATH"
4修改pyspark2命令
vi /usr/bin/pyspark2
修改spark2-submit命令
vi /usr/bin/spark2-submit
修改PYSPARK_PYTHON这个变量
几个节点都要修改，之后spark更换到新的python，常用的包都有了。
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
