第一讲_spark简介

Ø spark介绍

Ø Spark与hadoop的比较

Ø Spark的使用场景介绍

Ø spark软件栈

Ø 动手搭建一个最简单的spark集群

Ø 运行例子程序SparkPi

实战:单节点的spark部署和运行SparkPi

第二讲_spark部署模式介绍

Ø Spark部署模式OverView

Ø Spark启动过程详解

Ø Spark集群部署之Standalone

Ø Spark集群部署之Spark on Yarn

Ø Spark集群部署之Spark on Mesos

实战:完全分布式的spark

standalone和spark on yarn模式的动手实战

第三讲_spark集群硬件，开发语言和java版本的选择

Ø spark集群硬件配置

Ø spark开发的语言选择

Ø Java版本的选择

第四讲_spark的rdd及其操作介绍

Ø RDD介绍及创建

Ø RDD的操作

Ø RDD函数传递

Ø 闭包

Ø shuffle介绍

Ø RDD的持久化

Ø 共享变量

Ø 常用transformation和action的API介绍

Ø 在spark-shell里动手实战wordcount及常用API

Ø Scala介绍

实战:动手在Sparkshell中编写wordcount和linecount,以及动手实验常用的RDD操作。

第五讲_SparkSQL及DataFrame讲解

Ø SparkSQL简介

Ø SparkSQL之DataframeSave&Load

Ø SparkSQL之Dataframe介绍及创建

Ø SparkSQL之DataframeParquet

Ø SparkSQL之DataframeJson&HiveTables

Ø SparkSQL之DataframeJDBC&PerformanceTuning&Cli&ThriftServer

实战：Sparksql的Dataframe创建，配置，SparkSQL连接hive，及ThriftServer.

第六讲_SparkStreaming和DStream介绍

Ø SparkStreaming的demo和介绍

Ø DStream和DataSource

Ø DStream的Transformation和output

Ø DStream持久化，checkpoint，以及和DataFrame的交互

Ø SparkStreaming应用的部署和监控

1） Spark Streaming应用的监控与分析

第七讲_SparkStreaming性能调优，容错和Kafka集成

Ø SparkStreaming的性能调优

Ø SparkStreaming的容错

Ø SparkStreaming与Kafka的集成

第八讲__SparkSQL项目实战之文本比对

Ø 开发SparkSQL应用的雏形和定义dataframe

Ø 数据清洗

Ø 业务逻辑的实现和保存数据处理结果

Ø 开发SparkSQL应用调度程序，实现多文本并行

Ø SparkSQL应用的参数化，提高可配置性

Ø SparkSQL应用部署到集群中，调试

Ø 编写简单的shell脚本，调试及查阅JIRA

Ø 集群和SparkSQL应用参数的调整

Ø SparkSQL应用schedular模式介绍和性能调优

实战：在spark上开发一个文本比对的SparkSQL的应用

第九讲_SparkStreaming+

SparkSQL+Kafka

项目实战开发

Ø kafka简介，安装和集群搭建

Ø kafka实战

Ø 多组件部署模式的设计与思考

Ø SparkStreaming+kafka应用运行日志的分析

Ø 开发基于direct模式的SparkStreaming应用

Ø SparkStreaming应用的参数设置

Ø SparkStreaming应用部署调试

Ø SparkStreaming与SparkSQL结合

Ø Kafka集群升级与connect的探索

Ø 开发自定义的Kafka producer,完成整个应用