大数据平台系统架构概述-k8凯发旗舰

课程简介 course introduction

本课程的主要目的是让学生了解什么是大数据,大数据的特点,大数据思维,大数据的核心技术,大数据应用,大数据带来的变革,以及大数据面临的挑战,从而使学生对大数据技术和应用有一个初步的了解。本课程重视演示和实战,以便使学生通过亲身体验来理解和掌握大数据的核心概念。

教学大纲 teaching syllabus

周次

计划

学时

讲授

实训/实习

其他

2

4

1、大数据思维

2linux操作系统复习

2

2



3

4

1、大数据技术概述

2、大数据应用

2java基础复习

2

2



4

4

1、大数据采集概述

2、大数据预处理

2

2



5

4

1、大数据处理系统hadoop

2、搭建hadoop开发环境

2

2



6

4

1、分布式文件系统hdfs

2hdfsjava api编程

2

2



7

4

1、分布式离线计算框架mapreduce(一)

2

2



8

4

1、分布式离线计算框架mapreduce(二)

2、数据挖掘函数库mahout的安装

3、数据挖掘函数库mahout的使用

2

2



9

4

1、分布式资源调度框架yarn的基本原理

2分布式资源调度框架yarn的基本命令

2

2



10

4

1hadoop伪分布式集群的安装与搭建

2hadoop完全分布式集群的安装与搭建

2

2



11

4

1、分布式协同调度服务zookeeper的基本原理

2、分布式协同调度服务zookeeper的搭建

2

2



12

4

1、分布式协同调度服务zookeeper的基本命令

2、分布式协同调度服务zookeeperjava api编程

2

2



13

4

1、分布式数据仓库hive的基本原理

2分布式数据仓库hive的搭建

2

2



14

4

1、分布式数据仓库hive的基本命令

2、分布式数据仓库的java api编程

2

2



15

4

1、分布式日志处理框架flume的基本原理

2、分布式日志处理框架flume的搭建

3、分布式日志处理框架flume的基本使用

2

2



16

4

1、关系型数据库导入导出工具sqoop的基本原理

2、关系型数据库导入导出工具sqoop的搭建

3、关系型数据库导入导出工具sqoop的基本使用

2

2



17

4

1、分布式消息订阅服务kafka的基本原理

2、分布式消息订阅服务kafka的搭建

3、分布式消息订阅服务kafka的基本使用

2

2



18

4

期末复习

4

0



36

32




留言板 message board
共条留言  共 页

  • 参与互动
    interaction

  • 扫码加入课程
    scan qr code
教学队伍teaching members
需要验证您的身份,请输入请求信息:
  • 学号号:
  • 班级选择:
  • 附注信息:

扫一扫二维码,快速加入本课程!

查看使用方法
课程
引导
网站地图