Hadoop两大核心:HDFS和MapReduce

Hadoop的特性:

1.高可靠性:多台机器构成集群,部分机器故障,剩余机器可以继续对外提供服务

2.高效率:成百上千台机器一起计算

3.高扩展性:可以不断地向集群中加入机器

4.低成本:可以常用普通PC机来构成一个集群


Hadoop应用现状:


Hadoop项目结构:

Tez:运行在YARN之上的下一代Hadoop查询处理框架,将很多MapReduce文件分析优化后构成有向无环图

Spark:基于存储处理的类似于Hadoop,MaprReduce的通用并行框架

Hive:Hadoop上的数据仓库,把SQL语句转换成MapReduce作业

Pig:数据流处理,一个基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言Pig Latin

Oozie:Hadoop上的工作流管理系统

Zookeeper:提供分布式协调一致性服务

HBase:Hadoop上的非关系类型的分布式数据库

Flume:一个高可用,高可靠的分布式的海量日志采集,聚合和传输的系统

Sqoop:数据导入导出,用于Hadoop与传统数据库之间进行数据传递

Ambari:Hadoop快速部署工具,支持Apache Hadoop集群的供应,管理和监控


Hadoop集群的部署和使用:

Hadoop的两大核心是HDFS和MapReduce,所以对Hadoop进行配置的时候无非就是照顾到这两方面的性能。


一.主要的集群硬件配置:

1.NameNode:名称节点(HFDS),用来存储数据的存储地址

2.DataNode:数据节点(HFDS),用来存储数据


二.MapReduce核心:

JobTracker:对整个用户的作业进行管理,把一个大的作业发放到不同的集群上进行

TaskTracy:负责跟踪和分配各自的作业


三.冷备份SecondayNameNode: