大數(shù)據(jù)Hadoop課程

    培訓(xùn)對(duì)象
    軟件工程師；數(shù)據(jù)庫開發(fā)人員；網(wǎng)絡(luò)后臺(tái)開發(fā)人員；運(yùn)維人員；

    課程簡(jiǎn)介
    hadoop天生是解決大數(shù)據(jù)高并發(fā)問題的， 是一個(gè)能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分布式處理的軟件框架?；ヂ?lián)網(wǎng)企業(yè)、金融機(jī)構(gòu)、政府組織和云計(jì)算服務(wù)企業(yè)每天都會(huì)產(chǎn)生大量的數(shù)據(jù)并面臨高并發(fā)的嚴(yán)峻考驗(yàn)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已經(jīng)無法滿足大數(shù)據(jù)量高并發(fā)的要求，作為云計(jì)算實(shí)現(xiàn)規(guī)范和實(shí)施標(biāo)準(zhǔn)的hadoop應(yīng)運(yùn)而生。
    使用hadoop，用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)出分布式程序，從而可以使用眾多廉價(jià)的計(jì)算設(shè)備的集群的威力來高速的運(yùn)算和存儲(chǔ)，而且hadoop的運(yùn)算和存儲(chǔ)是可靠的、高效的、可伸縮的，能夠使用普通的社區(qū)服務(wù)器出來PB級(jí)別的數(shù)據(jù)，是分布式大數(shù)據(jù)處理的存儲(chǔ)的理想選擇。
    “云計(jì)算分布式大數(shù)據(jù)hadoop深入淺出案例驅(qū)動(dòng)實(shí)戰(zhàn)”基于實(shí)務(wù)經(jīng)驗(yàn)萃取而成，從hadoop開發(fā)環(huán)境的搭建到到圖片服務(wù)器、WordCount實(shí)現(xiàn)、Hbase微博系統(tǒng)、話單查詢與統(tǒng)計(jì)、Hive數(shù)據(jù)統(tǒng)計(jì)案例，理論結(jié)合實(shí)際案例，祝你輕松駕馭hadoop以滿足大數(shù)據(jù)的分布式處理與存儲(chǔ)。
    課程以MapReduce、Hbase、Hive為主軸，想理解和使用hadoop，就必須掌握這三大核心。

    課程特色
    案例驅(qū)動(dòng)教學(xué)，全程項(xiàng)目實(shí)戰(zhàn)訓(xùn)練；
    掌握Hadoop三大核心：MapReduce、Hbase、Hive
    萃取出實(shí)際開發(fā)中最常用、最實(shí)用的內(nèi)容并以深入淺出的方式把難點(diǎn)化于無形之中
    基礎(chǔ)要求
    了解Linux系統(tǒng)；
    了解網(wǎng)絡(luò)；
    了解Java；

    課程大綱
    第一天
    第1個(gè)主題：Hadoop思考
    1.Hadoop的設(shè)計(jì)目標(biāo)和適用場(chǎng)景
    2.Hadoop架構(gòu)解析
    3.MapReduce工作原理和案例說明
    第2個(gè)主題： Hadoop安裝和配置實(shí)戰(zhàn)
    1. 安裝和配置單機(jī)版Hadoop實(shí)戰(zhàn)
    2. 安裝和配置偽分布式Hadoop實(shí)戰(zhàn)
    3．安裝和配置分布式Hadoop集群實(shí)戰(zhàn)
    第3個(gè)主題：HDFS
    1. HDFS命令行操作實(shí)戰(zhàn)
    2. HDFS的配置管理
    3. NameNode的工作機(jī)制
    第4個(gè)主題：HDFS案例實(shí)戰(zhàn)
    1. HDFS案例的分析和設(shè)計(jì)
    2. 環(huán)境搭建
    3.使用Hadoop Java API實(shí)現(xiàn)對(duì)HDFS寫入、讀取、刪除文件等操作
    第5個(gè)主題：MapReduce剖析
    1. MapReduce的原理和運(yùn)行過程
    2. 構(gòu)建MapReduce的開發(fā)環(huán)境
    第6個(gè)主題：MapReduce案例實(shí)戰(zhàn)
    1. 使用MapReduce的Java接口實(shí)現(xiàn)經(jīng)典的WordCount
    2. wordcount運(yùn)行過程解析
    3. MapReduce實(shí)現(xiàn)數(shù)據(jù)去重操作
    4. MapReduce實(shí)現(xiàn)數(shù)據(jù)排序
    5. MapReduce實(shí)現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計(jì)算

    第二天
    第1個(gè)主題：Hbase架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)剖析
    1. Hbase架構(gòu)設(shè)計(jì)
    2. Hbase中的表結(jié)構(gòu)等
    3. Hbase：Master、Region、Region Server
    第2個(gè)主題：Hbase案例實(shí)戰(zhàn)1---使用Hbase實(shí)現(xiàn)微博系統(tǒng)
    1. 項(xiàng)目架構(gòu)和設(shè)計(jì)
    2. 開發(fā)環(huán)境搭建
    3. 實(shí)現(xiàn)用戶登錄和注銷
    4.“關(guān)注”功能的設(shè)計(jì)和實(shí)現(xiàn)
    5.“發(fā)微博”功能的設(shè)計(jì)和實(shí)現(xiàn)
    6.發(fā)布和運(yùn)行整個(gè)基于Hbase的微博系統(tǒng)
    第3個(gè)主題：Hbase與MapReduce
    1. Hbase與MapReduce的關(guān)系
    2. Hbase如何使用MapReduce
    第4個(gè)主題：Hbase案例實(shí)戰(zhàn)2---話單查詢與統(tǒng)計(jì)
    1. 項(xiàng)目架構(gòu)設(shè)計(jì)
    2. 開發(fā)環(huán)境搭建
    3. 話單入庫和查詢的設(shè)計(jì)與實(shí)現(xiàn)
    4.統(tǒng)計(jì)功能的設(shè)計(jì)與實(shí)現(xiàn)

    第三天
    第1個(gè)主題：MapReduce高級(jí)實(shí)戰(zhàn)
    1. Split實(shí)現(xiàn)剖析
    2. 自定義輸入的實(shí)現(xiàn)
    3. Reduce的partition
    4. 案例實(shí)戰(zhàn)
    第2個(gè)主題：安裝和使用Hive
    1. Hive剖析
    2. 安裝Hive
    3.Hive的基本使用
    第3個(gè)主題：Hive與HDFS、MapReduce
    1. Hive向HDFS存入結(jié)構(gòu)化數(shù)據(jù)
    2. 使用MySQL作為Hive的元數(shù)據(jù)庫
    3.Hive與MapReduce
    第4個(gè)主題：Hive案例實(shí)戰(zhàn)---數(shù)據(jù)統(tǒng)計(jì)
    1. 項(xiàng)目架構(gòu)設(shè)計(jì)
    2. 表結(jié)構(gòu)設(shè)計(jì)
    3.數(shù)據(jù)的插入與統(tǒng)計(jì)實(shí)現(xiàn)
    第5個(gè)主題：Hadoop開發(fā)者之路
    1. Hadoop技能模型
    2. Hadoop開發(fā)者*學(xué)習(xí)路線和方式
    3.Hadoop開發(fā)者*成長(zhǎng)路線

大數(shù)據(jù)Hadoop課程