大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构

  • 时间:
  • 浏览:0

sbin/hadoop-daemon.sh start namenode(6)第3个namenode机器同步元数据信息



出現 HA也不,(3)和(4)交给了或多或少或多或少叫做JournalNode的东东。JournalNode在HA故障转移中起到了重要的作用!

首先一张图来了解下哪些地方地方组件的架构:

hdfs namenode -format(5)启动nn1

原理与HDFS的非常类事于,也是通过Zookeeper心跳检测,自动切换,非常简单,或多或少或多或少配置一下配置文件。

【本文转载自:www.bigdata-star.com】

本文整合梳理了主流大数据生态圈中的组件:Hdfs+Yarn+HBase+Spark+Storm的单点故障难题的处理方案:构建HA(High Available)高可用架构。阅读本文也不,最好时要了解清楚各组件的架构原理。

(1)启动zookeeper集群(分别在slave1、slave2和slave3上执行)

zkServer.sh start(2)格式化ZKFC(在master1上执行)

bin/hdfs namenode -bootstrapStandby(7)启动nn2

Hbase人太好是无单点故障的,不必手动启动多个HMaster,比如在master机器上启动hbase(bin/start-hbase.sh)也不,时要到slave1机器上也启动master(bin/hbase-daemon.sh start master),不必任何配置。也不手工启动或多或少或多或少有点麻烦,时要通过配置文件,使得每次启动hbase也不自动的帮你启动一一一兩个多多HMaster。

touch backup-masters在此文件上输入我想作为备份HMaster的机器主机名。

scp conf/spark-env.sh slave1:/usr/local/spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1/conf/

既然这麼一一一兩个多多主节点就会指在单点故障,这麼大伙儿儿很容易时要想到,我来一一一兩个多多不就行了!对的,HA的思想或多或少或多或少多弄多少主节点,一一一兩个多多死了或多或少或多或少上。但或多或少或多或少或多或少或多或少足啊!时要有个东西也能使得指在故障的也不自动切换啊!这东西或多或少或多或少Zookeeper。或多或少或多或少有了下面这张图:

vim conf/spark-env.sh

sbin/hadoop-daemon.sh start journalnode(4)格式化HDFS(在master1上执行)

(1)启动服务

时要将它收集给时要做备份Master的机器。

大伙儿儿时要发现:它们的一同特点或多或少或多或少都是 主从底部形态。HDFS中的NameNode,Yarn中ResourceManager,Hbase中HMaster,Spark中Master,Storm中Nimbus起着“老大”的角色,这麼“老大”挂了为什在么在办呢?这可就麻烦了,倘若老大挂了,等于整个集群的服务都用不了了,NameNode挂了整个集群的HDFS就用不了了,HBase的HMaster挂了整个集群的Hbase都用不了了,等等。这或多或少或多或少所谓的单点故障难题。单点指这麼一一一兩个多多主节点

(2)kill命令杀死active nn的tcp连接运行运行

namenode职责

(1)负责客户端的请求和响应

(2)负责元数据的管理(查询,修改。。)

(3)维护元信息(fsimage文件),fsimage是磁盘元数据镜像文件,存储元数据信息。

(4)维护操作日志(edits文件),edits是数据操作日志文件,当客户端操作文件的也不,操作记录首先会被记录到edits日志文件中。

大伙儿儿时要在$dfs.namenode.name.dir/current目录下看了如下的文件底部形态

另一台机器上启动第3个Master:sbin/start-master.sh

注释掉或多或少或多或少的SPARK_MASTER_HOST,不可能 它指在,就会默认只以它为Master。

-Dspark.deploy.recoveryMode: 表明整个集群的恢复和维护都是 Zookeeper.

-Dspark.deploy.zookeeper.url: 所有做HA机器,其中端口2181是默认端口。

-Dspark.deploy.zookeeper.dir: 指定Spark在Zookeeper注册的信息

不可能 哪些地方地方组件的HA原理类事于,大伙儿儿只以最难的HDFS的HA高可用架构原理为例讲解。而或多或少组件,不讲解原理,只上配置文件。

在一台机器上:sbin/start-all.sh

Zookeeper是一一一兩个多多开源的分布式协调服务,分布式tcp连接运行运行时要基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。

ZK在Hadoop生态圈中的主要功能有:



(3)在web UI界面上会发现Standby自动变成了Active

sbin/hadoop-daemon.sh start namenode(6)启动所有datanode

Spark同样是用ZooKeeper来实现HA。ZooKeeper提供了一一一兩个多多Leader Election机制,不可能 ZK的深度1一致性,时要保证虽有多个Master也不这麼一一一兩个多多是Active的,当Active的Master出現 故障时,另外的一一一兩个多多Standby Master会被选举出来。

hdfs zkfc -formatZK(3)启动journalnode(分别在slave1、slave2和slave3上执行)