mapreduce遇到的问题怎么解决
这篇文章主要讲解了“map reduce遇到的问题怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“map reduce遇到的问题怎么解决”吧!
永平网站制作公司哪家好,找成都创新互联公司!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设公司等网站项目制作,到程序开发,运营维护。成都创新互联公司于2013年开始到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联公司。
问题:mkdir: Permission denied: user=root, access=WRITE
我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下:
System.setProperty("HADOOP_USER_NAME", "hdfs");
第一步:
解决方法:
到服务器上修改hadoop的配置文件:conf/hdfs-core.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false
注意,实验平台可以这么设置,但是工作中,不能这样,这样不安全。
如果还是不行,就是dfs没有权限
第二步:
产生问题原因:
环境hadoop2,cdh6创建
使用hadoop fs -mkdir /usr/xxx创建文件路径时,出现权限问题
===========================================================
1.hadoop fs -ls /user
检查这个路径下面的用户权限学习
drwxrwxrwt - yarn hadoop 0 2014-09-03 11:58 /user/history
drwxr-xr-x - hdfs hadoop 0 2014-09-03 12:00 /user/spark
其中:yarn--创建人,hadoop ---组,而root用户属于访客类型的
2.使用hdfs这个用户登录
sudo -uhdfs hadoop fs -mkdir /usr/
3.通过hdfs用户更改所在用户的权限
sudo -uhdfs hadoop fs -chown 用户:用户组 /usr
比如过我们是root用户,可以用命令 groups root ,查看root用户的组,得到组也是root现在更改用户的权限
sudo -uhdfs hadoop fs -chown root:root /usr
再用命令 hadoop fs -ls / 可以看到 目录 /usr,用户名是root,用户组是root
就搞定了。
感谢各位的阅读,以上就是“map reduce遇到的问题怎么解决”的内容了,经过本文的学习后,相信大家对map reduce遇到的问题怎么解决这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!
文章名称:mapreduce遇到的问题怎么解决
浏览地址:http://scyanting.com/article/ggjjso.html