本書通過原理加案例的方式系統(tǒng)講解Hadoop 大數(shù)據(jù)開發(fā)，精心安排了原理分析、環(huán)境搭建、案例開發(fā)等環(huán)節(jié)，道理簡單明了、思路清晰透徹、案例新穎實(shí)用。

前 言

這是一個(gè)大數(shù)據(jù)爆發(fā)的時(shí)代，面對(duì)信息的激流、多元化數(shù)據(jù)的涌現(xiàn)，大數(shù)據(jù)已經(jīng)為個(gè)人生活、企業(yè)經(jīng)營，甚至國家與社會(huì)的發(fā)展帶來了機(jī)遇和挑戰(zhàn)，成為信息產(chǎn)業(yè)中極具潛力的增長點(diǎn)。大數(shù)據(jù)時(shí)代在眾多領(lǐng)域掀起變革的巨浪，但我們要冷靜地看到，大數(shù)據(jù)的核心在于為客戶挖掘數(shù)據(jù)中蘊(yùn)藏的價(jià)值，而不是軟硬件簡單地堆砌。因此，針對(duì)不同領(lǐng)域的大數(shù)據(jù)應(yīng)用模式、商業(yè)模式研究將是大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展的關(guān)鍵。

Hadoop技術(shù)能夠成功的最根本原因在于它是把傳統(tǒng)的集中式運(yùn)算轉(zhuǎn)化成分布式計(jì)算的一種有效手段。Hadoop的分布式文件系統(tǒng)能夠以可靠快捷的方式將數(shù)據(jù)分布存儲(chǔ)到不同計(jì)算節(jié)點(diǎn)中，Hadoop MapReduce編程又能夠以簡單的方法為人們提供分布式編程接口，從而降低了分布式開發(fā)門檻。

本書共7章，不僅有詳細(xì)的理論講解，還有大量的實(shí)戰(zhàn)操作，具體內(nèi)容如下：

第1章深入探究大數(shù)據(jù)的概念、產(chǎn)生的背景和發(fā)展現(xiàn)狀，應(yīng)用案例指出了大數(shù)據(jù)面臨的機(jī)遇與挑戰(zhàn)，介紹大數(shù)據(jù)處理技術(shù)和計(jì)算模式，最后闡述大數(shù)據(jù)與云計(jì)算之間的區(qū)別和聯(lián)系。

第2章詳細(xì)介紹大數(shù)據(jù)處理平臺(tái)Hadoop的生態(tài)系統(tǒng)和架構(gòu)。

第3章講解Hadoop分布式平臺(tái)的搭建和驗(yàn)證。

第4章描述HDFS的架構(gòu)、工作機(jī)制、文件讀寫流程和Shell命令。

第5章講解HDFS Windows遠(yuǎn)程開發(fā)、HDFS Java API接口和編程實(shí)戰(zhàn)。

第6章講解MapReduce編程模型、工作原理和Yarn資源管理。

第7章講解常用的MapReduce Java API接口、應(yīng)用實(shí)例和高級(jí)編程。

本書的編寫得到北京百知教育科技有限公司的大力支持，在此表示感謝。

由于時(shí)間倉促及編者水平有限，本書難免存在不足之處，懇請(qǐng)讀者批評(píng)指正。

編 者

2018年7月

前言

第1章 大數(shù)據(jù)概論 1
1.1 大數(shù)據(jù)概述 1
1.1.1 大數(shù)據(jù)產(chǎn)生的時(shí)代背景 1
1.1.2 大數(shù)據(jù)的特征 2
1.1.3 大數(shù)據(jù)應(yīng)用案例 2
1.1.4 大數(shù)據(jù)的機(jī)遇與挑戰(zhàn) 5
1.2 大數(shù)據(jù)處理技術(shù) 5
1.3 大數(shù)據(jù)與云計(jì)算 6
1.4 本章小結(jié) 7
第2章 大數(shù)據(jù)處理平臺(tái)Hadoop 8
2.1 Hadoop生態(tài)系統(tǒng) 8
2.2 Hadoop架構(gòu) 11
2.2.1 HDFS 12
2.2.2 MapReduce 12
2.2.3 Yarn 13
2.3 Hadoop版本變遷 13
2.3.1 Hadoop發(fā)展史 13
2.3.2 如何選擇Hadoop開發(fā)版本 14
2.4 本章小結(jié) 14
第3章 Hadoop平臺(tái)搭建 15
3.1 基礎(chǔ)環(huán)境配置 15
3.2 Hadoop配置文件修改 15
3.3 Hadoop平臺(tái)運(yùn)行及驗(yàn)證 22
3.4 本章小結(jié) 23
第4章 分布式文件系統(tǒng)HDFS 24
4.1 HDFS架構(gòu) 24
4.1.1 HDFS的基本框架 24
4.1.2 HDFS的特點(diǎn) 26
4.2 HDFS的工作機(jī)制 27
4.2.1 HDFS讀寫過程分析 27
4.2.2 NameNode的工作機(jī)制 29
4.2.3 元數(shù)據(jù)的CheckPoint 32
4.2.4 DataNode的工作機(jī)制 33
4.3 HDFS shell命令 34
4.3.1 幫助相關(guān)命令 35
4.3.2 查看相關(guān)命令 36
4.3.3 文件及目錄相關(guān)命令 37
4.3.4 統(tǒng)計(jì)相關(guān)命令 46
4.3.5 快照命令 47
4.4 本章小結(jié) 48
第5章 HDFS Java API編程 49
5.1 遠(yuǎn)程開發(fā)環(huán)境搭建 49
5.2 HDFS Java API接口 53
5.3 HDFS Java API編程 53
5.3.1 獲取文件系統(tǒng) 55
5.3.2 列出所有DataNode的名字信息 56
5.3.3 創(chuàng)建文件目錄 57
5.3.4 刪除文件或文件目錄 58
5.3.5 查看文件是否存在 59
5.3.6 文件上傳至HDFS 59
5.3.7 從HDFS下載文件 60
5.3.8 文件重命名 61
5.3.9 遍歷目錄和文件 62
5.3.10 根據(jù)filter獲取目錄下的文件 63
5.3.11 取得數(shù)據(jù)塊所在的位置 65
5.4 程序打包 66
5.5 本章小結(jié) 68
第6章 并行計(jì)算MapReduce 69
6.1 MapReduce編程模型 69
6.1.1 并行編程模型概述 69
6.1.2 并行計(jì)算編程模型 70
6.1.3 MapReduce編程模型 72
6.2 MapReduce工作原理 73
6.3 Yarn 75
6.3.1 Yarn基本框架與組件 75
6.3.2 Yarn工作流程 76
6.3.3 新舊Hadoop MapReduce框架對(duì)比 77
6.4 MapReduce Shuffle性能調(diào)優(yōu) 79
6.5 本章小結(jié) 80
第7章 MapReduce Java API編程 81
7.1 MapReduce Java API接口講解 81
7.1.1 InputFormat接口 82
7.1.2 Mapper類 85
7.1.3 Partitioner類 87
7.1.4 Combiner類 88
7.1.5 Reducer類 89
7.1.6 OutputFormat接口 90
7.1.7 GenericOptionsParser類 91
7.1.8 DistributedCache類 91
7.2 MapReduce Java API應(yīng)用實(shí)例 92
7.2.1 統(tǒng)計(jì)單詞出現(xiàn)頻率 92
7.2.2 統(tǒng)計(jì)出現(xiàn)的單詞 96
7.2.3 統(tǒng)計(jì)平均成績 99
7.2.4 排序 101
7.2.5 求年最高溫度 103
7.2.6 關(guān)系運(yùn)算—投影運(yùn)算 106
7.2.7 關(guān)系運(yùn)算—并運(yùn)算 108
7.2.8 關(guān)系運(yùn)算—交運(yùn)算 110
7.2.9 關(guān)系運(yùn)算—差運(yùn)算 111
7.2.10 關(guān)系運(yùn)算—連接運(yùn)算 114
7.3 MapReduce Java API高級(jí)編程 116
7.3.1 多輸入路徑方式 116
7.3.2 使用Partitioner實(shí)現(xiàn)輸出到多個(gè)
文件 119
7.3.3 自定義OutputFormat文件輸出 122
7.3.4 文本文件轉(zhuǎn)化成XML文件 127
7.3.5 通過MultipleOutputs完成多文件
輸出 130
7.3.6 將MapReduce產(chǎn)生的結(jié)果集導(dǎo)入
到MySQL中 135
7.3.7 自定義比較器 140
7.3.8 MapReduce分析明星微博數(shù)據(jù) 145
7.3.9 MapReduce最佳成績統(tǒng)計(jì) 152
7.3.10 MapReduce鏈接作業(yè) 158
7.3.11 利用Job嵌套求解二度人脈 162
7.4 本章小結(jié) 168
附錄 CentOS7安裝 169

1. 大學(xué)生創(chuàng)新創(chuàng)業(yè)基礎(chǔ) [主編 姜國權(quán) 姜福佳]
2. 信息技術(shù)（微課版） [王云　徐江鴻　李清霞　羅學(xué)鋒　]
3. 管理基礎(chǔ)與實(shí)務(wù) [主編 王鳳基 顏漢軍]
4. 高等數(shù)學(xué)導(dǎo)學(xué)篇（下冊(cè)） [主編 李文婧 胡雷 尹金生]
5. 高等數(shù)學(xué)導(dǎo)學(xué)篇（上冊(cè)） [主編 李文婧 胡雷 尹金生]
6. 高等數(shù)學(xué)（下冊(cè)） [主編 李愛芹 胡雷 尹金生]
7. 高等數(shù)學(xué)（上冊(cè)） [主編 李愛芹 胡雷 尹金生]
8. 人工智能應(yīng)用基礎(chǔ) [主編 楊纓 李佳]
9. 中華水文化（慕課版）（第二版） [畢雪燕 楊華軻 羅玲誼 等編著]
10. 電路與電子技術(shù)Ⅱ——電路分析基礎(chǔ) [主編 陳曉 金哲]
11. 人工智能概論（第二版） [主編　任云暉　丁紅　徐迎春 ]
12. 信息時(shí)代美育之道 [主編　劉宏宇　黎婭]
13. 數(shù)字媒體交互設(shè)計(jì)項(xiàng)目式教程（微課版） [主編　蘇陸]
14. Amazing！兒童英語自然拼讀分級(jí)教材（全8冊(cè)） [王玲　編著]
15. Spark大數(shù)據(jù)處理技術(shù) [主編　劉仁山　周洪翠　莊新妍]
16. 人工智能算法與實(shí)踐 [主編　梁琨　張翼英]
17. 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)項(xiàng)目化教程（微課版） [主編 王艷萍 安華萍]
18. 數(shù)據(jù)清洗 [黃源　劉智楊　孫大松]
19. 電路設(shè)計(jì)與PCB制作實(shí)操教程 [主編 周永宏]
20. 電路與電子技術(shù)Ⅰ—數(shù)字電子技術(shù) [主編 鄭玉珍 王淑琴]
21. Java編程基礎(chǔ)案例式教程 [主編 陳艷華 唐春蘭]
22. Python語言同步案例習(xí)題精解 [主編 肖朝暉]
23. Excel在會(huì)計(jì)工作中的應(yīng)用（第三版） [主 編 趙艷莉 耿聰慧]
24. 應(yīng)用數(shù)學(xué) [主編 劉東海 劉麗瑤]
25. Web用戶界面設(shè)計(jì)與制作 [主編 趙娟]
26. 計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ)創(chuàng)新教程（模塊化+課程思政版） [主編 唐繼勇 李旭]
27. 計(jì)算機(jī)應(yīng)用技術(shù)基礎(chǔ)案例教程 [主編 周麗娟 王璐]
28. Unity應(yīng)用開發(fā)與實(shí)戰(zhàn)（微課版） [主 編 程永恒]
29. PHP程序設(shè)計(jì)項(xiàng)目化教程 [主 編 杜海穎]
30. 文學(xué)基礎(chǔ)與影視欣賞 [楊華軻 朱偉利 畢雪燕 羅玲誼]