企业级大数据平台
部署:分为测试环境、生产环境。
Hadoop发行版本:Apache、CDH(tar包、rpm包、parcel包,必须由cloudera manager进行管理)、HDP
注意:大数据框架内禁用IPV6;同时要修改用户的最大进程数、单个进程打开的最大文件数量;
Hadoop 2 三大组件:1. HDFS 2.MapReduce 3 YARN
HDFS:分布式文件系统,从功能上分为namenode、datanode。其中,namenode用于存放集群元数据,例如文件名称层、文件存放在哪个datanode之上、有没有进行切片等;数据是以block形式存储;namenode中数据存放在内存中、本地磁盘包括镜像文件、编辑日志;以块为单位存储,在V2中默认大小是128MB;datanode与namenode之间会发送心跳(证明存活状态,默认是每隔3秒钟,在心跳返回结果中含有namenode发送给datanode的指令,如复制或删除数据块)、块状态报告(默认是每隔一个小时上报一次)等,是通过底层协议如RPC进行通信;副本默认是3,默认策略是其中两个副本在同一个rack不同节点,第三个副本在不同的rack上;
YARN架构:分为node manager(每一个节点)、resource manager(管理整个集群)
目前成都创新互联已为超过千家的企业提供了网站建设、域名、虚拟主机、网站托管、企业网站设计、盈江网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
网站标题:企业级大数据平台
新闻来源:http://scyanting.com/article/ishseg.html