spark使用总结

Spark集群地址
http://192.168.12.21:8080/

Spark常见编程问题解决办法及优化 (ie分层抽样，分块计算)
https://www.cnblogs.com/code2one/p/10100163.html

Master:
spark://192.168.12.21:7077

【转】Spark性能优化指南——基础篇 (推荐)
https://www.cnblogs.com/hark0623/p/5533803.html

spark submit参数调优
https://blog.csdn.net/chenjieit619/article/details/53421080

Spark性能优化
https://www.iteblog.com/archives/1672.html

spark使用总结
https://blog.csdn.net/pzw_0612/article/details/52826761


spark on yarn (Job history)的配置，主要是yarn处跳转到历史聚合页面
https://www.cnblogs.com/juncaoit/p/6393998.html


spark2.10安装部署（集成hadoop2.7+）
https://www.cnblogs.com/sorco/p/7070461.html


Spark on yarn启动日志服务
1. MR的job History服务启动(不需要启动)
　　　　mr-jobhistory-daemon.sh start historyserver
　　　　http://hadoop-senior01:19888/jobhistory
　　2. Spark的Job History服务启动
　　　　sbin/start-history-server.sh

访问地址：
http://192.168.12.21:18080