hdfs-site.xml 基本配置参考

  |   0 评论   |   0 浏览

配置参数:
1、dfs.nameservices
说明:为 namenode 集群定义一个 services name
默认值:null
比如设置为:ns1
2、dfs.ha.namenodes.<dfs.nameservices>
说明:nameservice 包含哪些 namenode,为各个 namenode 起名
默认值:null
比如设置为 nn1, nn2
3、dfs.namenode.rpc-address.ns1.nn1
说明:名为 nn1 的 namenode 的 rpc 地址和端口号,rpc 用来和 datanode 通讯
默认值:9000,可以设置为 8020
如何设置:host:port
4、dfs.namenode.http-address.ns1.nn1
说明:名为 nn1 的 namenode 的 http 地址和端口号,Web 客户端
默认值:50070
如何设置:host:port

5、dfs.namenode.shared.edits.dir
说明:namenode 间用于共享编辑日志的 journal 节点列表
示例:qjournal://master:8485;slave1:8485;slave2:8485/ns1

6、dfs.journalnode.edits.dir
说明:journalnode 上用于存放 edits 日志的目录
默认值:/tmp/hadoop/dfs/journalnode/

7、dfs.client.failover.proxy.provider.ns1
说明:客户端连接可用状态的 NameNode 所用的代理类
默认值:org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

8、dfs.ha.fencing.methods
说明:HDFS 的 HA 功能的防脑裂方法。可以是内建的方法(例如 shell 和 sshfence)或者用户定义的方法。
建议使用 sshfence(hadoop:9922),括号内的是用户名和端口,注意,这需要 NN 的 2 台机器之间能够免密码登陆
fences 是防止脑裂的方法,保证 NN 中仅一个是 Active 的,如果 2 者都是 Active 的,新的会把旧的强制 Kill
值:
sshfence
shell(/bin/true)

9、dfs.ha.fencing.ssh.private-key-files
说明:失效转移时使用的秘钥文件。

10、dfs.ha.automatic-failover.enabled
说明:故障转移功能,建议开启
value:true

11、dfs.webhdfs.enabled
说明:是否开启 webhdfs
value:true

12、dfs.journalnode.http-address
说明:JournalNode RPC 服务地址和端口
value:0.0.0.0:8485

13、ha.zookeeper.quorum
说明:zookeeper 队列地址

14、dfs.permissions.enabled
说明:是否开启权限检查,建议开启
value:true

15、dfs.namenode.acls.enabled
说明:是否在 hdfs 开启 acl,默认是为 false,建议开启
value:true


标题:hdfs-site.xml 基本配置参考
作者:gao1feng
地址:http://gao1feng.top/articles/2020/01/08/1578463124443.html