常用命令
版本 |
命令 |
说明 |
spark1 |
spark-shell |
scala 命令行 |
|
pyspark |
python 命令行 |
|
spark-submit 123.py |
提交运行 spark 任务 |
spark2 |
spark2-shell |
scala 命令行 |
|
pyspark2 |
python 命令行 |
|
spark2-submit 123.py |
提交运行 spark 任务 |
# pyspark, spark-submit 使用 python3
export PYSPARK_PYTHON=/usr/bin/python3