本课程的主要目的是让学生了解什么是大数据,大数据的特点,大数据思维,大数据的核心技术,大数据应用,大数据带来的变革,以及大数据面临的挑战,从而使学生对大数据技术和应用有一个初步的了解。本课程重视演示和实战,以便使学生通过亲身体验来理解和掌握大数据的核心概念。
周次 | 计划 学时 | 主要教学内容 | 授课学时 | 备 注 | ||||||||||
讲授 | 实训/实习 | 其他 | ||||||||||||
2 | 4 | 1、大数据思维 2、linux操作系统复习 | 2 | 2 | ||||||||||
3 | 4 | 1、大数据技术概述 2、大数据应用 2、java基础复习 | 2 | 2 | ||||||||||
4 | 4 | 1、大数据采集概述 2、大数据预处理 | 2 | 2 | ||||||||||
5 | 4 | 1、大数据处理系统hadoop 2、搭建hadoop开发环境 | 2 | 2 | ||||||||||
6 | 4 | 1、分布式文件系统hdfs 2、hdfs的java api编程 | 2 | 2 | ||||||||||
7 | 4 | 1、分布式离线计算框架mapreduce(一) | 2 | 2 | ||||||||||
8 | 4 | 1、分布式离线计算框架mapreduce(二) 2、数据挖掘函数库mahout的安装 3、数据挖掘函数库mahout的使用 | 2 | 2 | ||||||||||
9 | 4 | 1、分布式资源调度框架yarn的基本原理 2、分布式资源调度框架yarn的基本命令 | 2 | 2 | ||||||||||
10 | 4 | 1、hadoop伪分布式集群的安装与搭建 2、hadoop完全分布式集群的安装与搭建 | 2 | 2 | ||||||||||
11 | 4 | 1、分布式协同调度服务zookeeper的基本原理 2、分布式协同调度服务zookeeper的搭建 | 2 | 2 | ||||||||||
12 | 4 | 1、分布式协同调度服务zookeeper的基本命令 2、分布式协同调度服务zookeeper的java api编程 | 2 | 2 | ||||||||||
13 | 4 | 1、分布式数据仓库hive的基本原理 2、分布式数据仓库hive的搭建 | 2 | 2 | ||||||||||
14 | 4 | 1、分布式数据仓库hive的基本命令 2、分布式数据仓库的java api编程 | 2 | 2 | ||||||||||
15 | 4 | 1、分布式日志处理框架flume的基本原理 2、分布式日志处理框架flume的搭建 3、分布式日志处理框架flume的基本使用 | 2 | 2 | ||||||||||
16 | 4 | 1、关系型数据库导入导出工具sqoop的基本原理 2、关系型数据库导入导出工具sqoop的搭建 3、关系型数据库导入导出工具sqoop的基本使用 | 2 | 2 | ||||||||||
17 | 4 | 1、分布式消息订阅服务kafka的基本原理 2、分布式消息订阅服务kafka的搭建 3、分布式消息订阅服务kafka的基本使用 | 2 | 2 | ||||||||||
18 | 4 | 期末复习 | 4 | 0 | ||||||||||
合计 | 36 | 32 |