卡弗卡课堂

课时列表

第 1 章 : 课程简介
课程简介 (11:52)
第 2 章 : Spark环境准备
Hadoop2.7集群安装部署 (11:52)
Spark2.4安装部署 (11:52)
IDEA本地开发环境配置 (11:52)
第 3 章 : Spark入门与实战
Spark前世今生 (11:52)
Spark基本工作原理 (11:52)
Java开发WordCount程序 (11:52)
Scala开发WordCount程序 (11:52)
spark-shell开发WordCount程序 (11:52)
程序打包提交Spark集群及测试 (11:52)
Spark UI讲解 (11:52)
第 4 章 : Spark核心编程
Spark架构原理 (11:52)
Wordcount程序原理深度解析 (11:52)
基于几种方式创建RDD (11:52)
Transformation和Action原理讲解 (11:52)
Transformation和Action的几种操作 (11:52)
Map案例实战 (11:52)
Filter案例实战 (11:52)
FlatMap案例实战 (11:52)
GroupByKey案例实战 (11:52)
ReduceByKey案例实战 (11:52)
SortByKey案例实战 (11:52)
Join与cogroup案例实战(一) (11:52)
Join与cogroup案例实战(二) (11:52)
Action操作详解(一) (11:52)
Action操作详解(二) (11:52)
RDD持久化详解 (11:52)
共享变量(Broadcast & ccumulator)讲解 (11:52)
高级编程之基于排序机制的wordcount程序 (11:52)
二次排序详解与实战(一) (11:52)
二次排序详解与实战(二) (11:52)
TopN详解与案例实战 (11:52)
GroupTopN详解与案例实战(一) (11:52)
GroupTopN详解与案例实战(二) (11:52)
MapPartitons详解与案例实战 (11:52)
MapPartitonsWithIndex详解与案例实战 (11:52)
Cartesian案例实战 (11:52)
Coalesce案例实战 (11:52)
Repartition和TakeSample案例实战 (11:52)
Sample详解与实战 (11:52)
Union详解与实战 (11:52)
Intersection详解与实战 (11:52)
Distinct详解与实战 (11:52)
AggregateByKey详解与实战 (11:52)
第 5 章 : Spark综合案例实战
移动端app访问流量日志分析 (11:52)
日志文件格式分析 (11:52)
读取日志文件并创建RDD (11:52)
创建自定义可序列化类 (11:52)
将RDD映射为key-value格式 (11:52)
数据聚合操作 (11:52)
自定义二次排序类开发 (11:52)
将二次排序key映射为RDD的key (11:52)
执行二次排序及获取TopN数据 (11:52)
第 6 章 : Spark SQL详解与实战
Spark SQL前言 (11:52)
Spark SQL前世今生 (11:52)
Spark SQL概述 (11:52)
SparkSession开发入门 (11:52)
Spark DataFrame开发入门 (11:52)
DataSet开发入门 (11:52)
RDD转换DataFrame之Reflection方式(一) (11:52)
RDD转换DataFrame之Reflection方式(二) (11:52)
RDD转换DataFrame之Programm方式(一) (11:52)
RDD转换DataFrame之Programm方式(二) (11:52)
数据加载load和save详解与实战 (11:52)
DataSet开发之Action详解 (11:52)
DataSet操作之BasicOption详解与实战 (11:52)
DataSet中数据重分区函数集详解与实战 (11:52)
DataSet中数据去重函数集详解与实战 (11:52)
DataSet中数据过滤函数集详解与实战 (11:52)
DataSet中Map函数集详解与实战 (11:52)
DataSet中Join函数集详解与实战 (11:52)
DataSet中Sort排序函数详解与实战 (11:52)
DataSet中数据随机切分详解与实战 (11:52)
DataSet中untype详解及案例实战 (11:52)
DataSet中聚合函数详解与实战 (11:52)
DataSet中其他函数详解 (11:52)
基于parguet数据的数据加载方式 (11:52)
基于parquet数据源的自动分区推断 (11:52)
基于parquet数据源的元数据合并 (11:52)
Spark SQL开窗函数详解与实战 (11:52)
自定义函数UDF详解与实战 (11:52)
自定义聚合函数UDAF详解与案例实战 (11:52)
第 7 章 : Spark SQL集成与性能优化
Hive2.3环境配置 (11:52)
Spark SQL与Hive集成一 (11:52)
Spark SQL与Hive集成二 (11:52)
HBase1.3环境配置 (11:52)
Spark SQL与HBase集成一 (11:52)
Spark SQL与HBase集成二 (11:52)
Spark SQL与HBase集成三 (11:52)
Spark SQL与JDBC集成一 (11:52)
Spark SQL与JDBC集成二 (11:52)
Spark SQL性能优化 (11:52)
第 8 章 : Spark SQL综合案例实战
需求分析与设计（一） (11:52)
需求分析与设计（二） (11:52)
网页PV统计及排序 (11:52)
网页UV统计及排序 (11:52)
新用户注册比例统计 (11:52)
网站版块热度排行榜统计 (11:52)
运行测试及总结 (11:52)
第 9 章 : Spark Streaming全面解析与实战
Spark Streaming实时计算介绍 (11:52)
Spark Streaming基本工作原理 (11:52)
Spark与Storm的对比分析 (11:52)
Socket服务NetCat安装 (11:52)
基于Socket服务运行Spark streaming程序 (11:52)
初始实时计算WordCount程序开发一 (11:52)
初始实时计算WordCount程序开发二 (11:52)
初始实时计算WordCount程序开发三 (11:52)
StreamingContext和Receivert原理详解 (11:52)
基于HDFS实时计算程序开发一 (11:52)
基于HDFS实时计算程序开发二 (11:52)
基于HDFS实时计算程序开发三 (11:52)
Kafka2.1服务安装部署 (11:52)
基于Direct方式与Kafka集成案例实战一 (11:52)
基于Direct方式与Kafka集成案例实战二 (11:52)
基于Direct方式与Kafka集成案例实战三 (11:52)
Spark Streaming中的transformation操作概览 (11:52)
UpdateStateByKey讲解及案例实战一 (11:52)
UpdateStateByKey讲解及案例实战二 (11:52)
Transform讲解及广告计费案例实战一 (11:52)
Transform讲解及广告计费案例实战二 (11:52)
Transform讲解及广告计费案例实战三 (11:52)
Transform讲解及广告计费案例实战四 (11:52)
Window窗口热点搜词统计案例实战一 (11:52)
Window窗口热点搜词统计案例实战二 (11:52)
Window窗口热点搜词统计案例实战三 (11:52)
Output操作讲解 (11:52)
ForeachRDD与外部服务集成案例一 (11:52)
ForeachRDD与外部服务集成案例二 (11:52)
ForeachRDD与外部服务集成案例三 (11:52)
结合Spark SQL TopN实时统计案例实战一 (11:52)
结合Spark SQL TopN实时统计案例实战二 (11:52)
结合Spark SQL TopN实时统计案例实战三 (11:52)
结合Spark SQL TopN实时统计案例实战四 (11:52)
缓存与持久化机制详解 (11:52)
Checkpoint机制详解 (11:52)
容错机制及事务语义详解 (11:52)
第 10 章 : Spark Streaming综合案例实战
新闻网关键指标实时数据统计 (11:52)
网页PV量实时统计 (11:52)
网页UV量实时统计 (11:52)
新用户注册数实时统计 (11:52)
网站用户跳出率实时统计 (11:52)
网站版块热度排行榜实时统计 (11:52)
第 11 章 : Structured Streaming详解与实战
Structured Streaming概述及应用场景一 (11:52)
Structured Streaming概述及应用场景二 (11:52)
Structured Streaming入门实战 (11:52)
Structured Streaming编程模型讲解 (11:52)
Structured Streaming中DS和DF的操作实战一 (11:52)
Structured Streaming中DS和DF的操作实战二 (11:52)
Structured Streaming中DS和DF的操作实战三 (11:52)
Structured Streaming中DS和DF的操作实战四 (11:52)
Structured Streaming中DS和DF的操作实战五 (11:52)
Structured Streaming中DS和DF的操作实战六 (11:52)
基于Event-Time的Window操作详解与实战一 (11:52)
基于Event-Time的Window操作详解与实战二 (11:52)
基于Event-Time的Window操作详解与实战三 (11:52)
基于Event-Time的Window操作详解与实战四 (11:52)
Window Watermarking 原理解析(一) (11:52)
Window Watermarking 原理解析(二) (11:52)
Window Watermarking 实战(一) (11:52)
Window Watermarking 实战(二) (11:52)