How to gracefully remove/decommission a node from Hadoop

1、如果你的集群中没有excludes这个文件,那么在配置文件hdfs-site.xml中添加如下配置:

<property> 
<name>dfs.hosts.exclude</name> 
<value>/data/soft/hadoop/conf/excludes</value> 
<description>Names a file that contains a list of hosts that are 
not permitted to connect to the namenode. The full pathname of the 
file must be specified. If the value is empty, no hosts are 
excluded.</description> 
</property>

 2、然后在上面配置的目录下添加以下文件:

在/data/soft/hadoop/conf/excludes 文件里列出要删除节点的hostname,一行一个

mapred跟这个操作相同

 

3、通知Hadoop加载新添加的exclude文件

 

通知JobTrackerch重新加载exclude文件:

$hadoop mradmin -refreshNodes

 

通知NameNode重新加载exclude文件:

$hadoop dfsadmin -refreshNodes

 

4、监控删除节点的进程:

 

可以从Web UI中看到该节点删除的状态

 

验证节点是否已经删除,也可以用下面命令

$hadoop dfsadmin -report

 

5、将节点彻底移除

 

如果要删除的节点将永久移除,从集群中移除完成以后在配置文件slaves中将该节点删除,并且删除exclude文件里的配置就可以了。防止因为下次重启或者其他操作,被重新添加回来。


 

(责任编辑:管理员)

分享到:

更多
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
  • 微笑/wx
  • 撇嘴/pz
  • 抓狂/zk
  • 流汗/lh
  • 大兵/db
  • 奋斗/fd
  • 疑问/yw
  • 晕/y
  • 偷笑/wx
  • 可爱/ka
  • 傲慢/am
  • 惊恐/jk
用户名: 验证码:点击我更换图片
资料下载专区
图文资讯

网络安全:互联网安全 如何防范木马及病毒

网络安全:互联网安全 如何防范木马及病毒的攻击

一、计算机中毒有哪些症状? 人生病了,会有各种各样的症状,同样,电脑中毒了也会有...[详细]

加强网站服务器安全维护的技巧

加强网站服务器安全维护的技巧

计算机系统服务器的维护工作十分重要,稍有不慎就会使整个网络陷入瘫痪。目前,网络经...[详细]

电脑离线就安全?这个软件一样能远程窃取数

电脑离线就安全?这个软件一样能远程窃取数据

以色列的一个研究团队已改良了窃取离线电脑数据的方法。人们一直认为这种离线电脑在面...[详细]

如何在Linux上最妥善地管理加密密钥?

如何在Linux上最妥善地管理加密密钥?

存储SSH加密密钥和牢记密码可能是一件让人很头痛的事儿。不过遗憾的是,在如今恶意黑...[详细]

如何在 Linux 上运行命令前临时清空 Bash

如何在 Linux 上运行命令前临时清空 Bash 环境变量

我是个 bash shell 用户。我想临时清空 bash shell 环境变量。但我不想删除或者 unset...[详细]

返回首页 返回顶部