高可用与存储的结合-创新互联
高可用与存储的结合
创新互联是专业的同仁网站建设公司,同仁接单;提供成都网站设计、做网站,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行同仁网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!之前我们做好了fence,今天将高可用和存储结合起来。
试验主机:172.25.0.2 172.25.0.3 172.25.0.251(做数据输出端)
第一部分:
##在做实验之前,需要将luci打开,并且查看集群状态:
##将集群的apach关闭:
##查看ip发现没有vip:
##检测server2的apache(也就是看他开启再关闭是否正常):
##确定集群的apache是关闭的:
##以上做法也不知道意义何在,且往下看
##增加存储,存贮在哪都可以,这里是将instructor这台主机的/dev/vol0/demo逻辑卷作为存贮空间,因为之前做实验这里边有数据,所以我们将它清空:
##这里是用scsi做为存贮类型用到iscsi协议,所以先查询需要的软件,可以用rpm -qa |grep ##也可以用yum list ##
##在数据输出端(也就是做存储的机子)安装scsi,对应服务为tgtd,在集群节点中安装iscsi协议,服务名称是iscsi:
##编辑配置文件:
##开启服务:
##查看进程,只能有两个tgtd,这是正确的,这就需要每次在编辑配置文件时需要将tgtd关闭,这也是经常出的问题。
##查看配置信息:
##在两个节点上安装iscsi:
##默认iscsi是开机自启的:
##发现目标(target),后面的ip就是做存储的主机ip。
##登入节点:
#这个时候用fdisk -l查看会发现多了一块磁盘:
##从节点上卸载iscsi:
#再用fdisk -l就找不到那块共享的磁盘
#卸载后就可以将这个节点上的缓存删除,否则每次开启iscsi都会自动登陆这个磁盘:
#再次发现和登陆:
#创建分区,类型为8e逻辑卷:
#查询,sda1的类型是8e:
#查看clvmd服务,这是对集群中逻辑卷管理的服务,确定开启:
##在节点2创建逻辑卷,
##会发现现在节点3同步过来了,说明clvmd起作用了,他就是来管理逻辑卷的:
##当然了,节点2也会同步过来的:
##查看怎么创建集群vg:
##将刚刚创建的pv用作集群vg:
##查看我们刚刚创建的vg:
##用clustervg创建lv,名字叫demo:
##当然所做的一切都会在节点3中有相应体现。
##然后就是将集群逻辑卷格式化:
##然后就是在节点3中进行挂载到/mnt,在/mnt中写下首页,内容为www.westos.org。再卸载,当然首页将保存到磁盘中,如果换到http发布目录中将可以通过web访问。
##然后将逻辑卷(存储)添加到资源中:
##有时会因为超时的原因在你保存之后会退出lusi,这时只需要重新登录,再次填写相关内容就好。
##有了资源我们需要将它和http联系起来,这就要在服务选项中的http下面增加资源,选择webdata:
##这时候会多一个文件系统:
##我们这里是将http服务于存储整合,所以需要http服务,如果没有的话,当然需要自己先增加一个资源,然后再添加到papache中。
##查看现在的集群状态,并将集群的apache打开:
##当然也可以在图形中打开:
##现在是apache打开了,Apache下面包括资源vip,存储,http服务,当然这三者的打开顺序也应该是这样,显示vip,然后指存储,最后才是http服务,这也是为啥在我们往Apache中添加资源时先将之前的http服务停掉,在添加完存储之后再将http服务加上:
##查看集群是否管理了资源:
#vip添加上了。
##http也打开了,磁盘也实现了挂载:
##网页也能够访问了:
##现在将Apache手动交给连一个节点,当参数忘了,可以用clusvcadm --help查看相关参数:
##使用-r -m 可以实现节点的转换:
##转换完成后节点二就会将vip添加,实现自动挂载,并且开启http服务,相反的节点3上会将相同的服务关闭,也就是说高可用集群同时只有一个在工作,解决的是单点故障。
第二部分:
##displayvg clustervg:
##给集群逻辑卷扩展分区这里加的511就相当于加入2G这样更精确,现在逻辑卷就会有4G大小:
##扩展完成后,发现挂载的磁盘实际并没有刷新,这就需要刷新一下:
##df 默认显示的是块的大小,df -h显示的是真实大小:
##从集群中删除Apache:
##将节点2逻辑卷挂载在/mnt,并复制passwd目录进去:
##在节点3上挂载,并且追加westos进去,但是,在节点3中只能看到自己的追加,并不能看到之前的文件:
##然后将两边都卸载。再挂载,在节点2中却只能看到在节点3中追加的westos,并不能看到之前的文件:
##这说明集群同一时间只能有一个节点接管存储,这是文件呢系统的原因,所以我们就用到了gfs2文件系统,也叫做可扩展的分布式文件系统(也叫做全局文件系统),可以实现多个节点同时挂载在同一文件系统,保证数据的同步性,说到同步我们需要知道,在RHCS套件中是css在处理文件系统的同步:
##检查逻辑卷的文件系统的正确性。
fsck(file system check)用来检查和维护不一致的文件系统。若系统掉电或磁盘发生问题,可利用fsck命令对文件系统进行检查。
##将逻辑卷缩小,当然也可以不做这一步:
resize2fs命令被用来增大或者收缩未加载的“ext2/ext3”文件系统的大小。如果文件系统是处于mount状态下,那么它只能做到扩容,前提条件是内核支持在线resize。,linux kernel 2.6支持在mount状态下扩容但仅限于ext3文件系统。
##在查看大小,确实缩小了:
##当然这样并没有缩小逻辑卷还是用另一种方法来缩小吧:
##再删除逻辑卷,再创建逻辑卷:
##当然这些都是说明集群中逻辑卷的扩展,缩小,新建,这一步可以不做的。
##现在我们就拥有了一个2G的新的逻辑卷:
##补充一下裸设备与文件系统的区别:
裸设备到文件系统,格式化的才叫文件系统。
自己对裸设备的理解,。没有经过格式化的磁盘分区,操作系统不对其进行管理,而是应用程序直接管理,所以I/O效率更高,正因为这样对于读写频繁的数据库等应用程序可以用裸设备,这样可以极大的提高性能。
文件系统是对一个存储设备上的数据和元数据进行组织的机制。文件系统的工作就是维护文件在磁盘上的存放,记录文件占用了哪几个扇区。另外扇区的使用情况也要记录在磁盘上。文件系统在读写文件时,首先找到文件使用的扇区号,然后从中读出文件内容。如果要写文件,文件系统首先找到可用扇区,进行数据追加。同时更新文件扇区使用信息。在挂载后就可以将挂载点当做一个新的文件系统。
fsck是如何工作的:通常情况下,当 Linux 系统启动时,首先运行fsck,由它扫描/etc/fstab 文件中列出的所有本地文件系统。fsck 的工作就是确保要装载的文件系统的元数据是处于可使用的状态。当系统关闭时,fsck又把所有的缓冲区数据转送到磁盘,并确保文件系统被彻底卸载,以保证系统下次启动时能够正常使用。
##得到最恰当的块大小:
##查看帮助:
##然后就是对逻辑卷的再次格式化:
##然后就是两个节点都挂载:
##然后在节点2的中写一个首页:
##这会同步到节点三中:
##当然在节点3的首页中增加一行,也会在节点2中同步:
##要想实现文件系统的永久挂载,查看UUID,然后将挂载信息添加到/etc/fstable:
##当然在节点3中也要做相同的挂载
##把service group中之前的那个ext3文件系统删除,再在资源中增加一个新的文件系统:
##上面这一步是不是可以改为只是把service group中的文件系统删除,而不增加另一个文件系统,这样在重新开启Apache是否会自动添加???
##查看iscsi状态,是开启的.
##查看系统中的可挂载设备和pv:
##当然,做完,最好能先卸载掉,查看是否 能够自动挂载:
##现在开启Apache:
##就可以访问了:
第三部分 将Apache换成数据库:
##首先将apache删除:
##当然也可以用命令删除,然后安装MySQL:
##进入MySQl目录,将MySQL打开:
##当然节点3上也要安装:
##检查存储,因为我们要将资源交给集群管理,所以我们要将存储资源关闭:
##并且将逻辑卷挂载到MySQL的发布目录中:
##然后将逻辑卷挂载到/mnt上,并且将MySQL发布目录中的所有数据移动到/mnt下,然后从/mnt下面卸载:
##这样MySQL中就没有文件,文件被保存到逻辑卷中,然后再用mount -a,就实现逻辑卷到数据库默认目录的挂载:
##这样数据库的配置文件就有回来了。
##将数据库的apache的首页文件删除,并打开数据库:
##当然最后还是要关闭的将它交给集群,我们在这里的一番折腾只是检测存储与MySQL都没有错误,可以正常使用:
##节点3中也要做相同的工作:
##为数据库增加资源,还是添加一个脚本,这里脚本是只需要输入名字,和启动的路径这样就可以让集群来管理开关了:
##查看集群,发现并没有将数据库加进来:
##这就需要将资源加进服务:
##Run exclusive:意思是这个服务独占集群,当然不能这样了。然后就是将我们的资源vip和数据库加进来:
##在查看集群,发现就将数据库服务加进来了:
##现在就可以登录数据库了:
##将数据库服务转交给节点3:
##现在逻辑卷挂载到了节点3,vip也转移到了节点3:
##在节点三登录数据库:
##删除集群数据库:
##在两个节点中都将存储卸载:
##之前所做没有将存储加进去:
逻辑卷的挂载是我们手动挂载的,现在将gfs资源加进MySQL服务就可以实现自动挂载了:
##然后在DB服务中将之前增加的数据库先删了,再添加存储和数据库,因为集群在启动服务中的资源时,是按照资源的顺序的,而在数据库之前必须要有存储。
##现在DB服务是关闭的,我们将只需将DB服务打开,就可以自动调配其他的资源,包括资源的开启,当一个存储有问题会自动跳到另一台机子上等:
##已经实现了存储的自动挂载:
##将DB服务转交给节点2:
##存储和vip都转移到了节点2:
##至此,我们就完成了数据库的服务的高可用,就解决了数据库的单点故障。
第四部分:图形修改对应进程:
##将DB服务关闭并且删除,将gfs2资源删除:
第五部分:不用图形的高可用集群(不用luci的高可用集群)pacemake。
##在rhcl7之后就没有了luci,就不能借助图形来管理集群了,下面就来介绍费图形界面的高可用集群管理。
##首先将之前在rhcl6中做的都给删除,包括将节点从集群中脱离并删除:
##还有cman,rgmanager
##还有modclusterd
##还有iscsi,关闭,启动项也关闭:
##在安装scsi的机子上,检查iscsi的情况:
##将scsi关闭:
##两个节点安装pacemake:
##若用新的虚拟机,需要安装heartbeat、drbd、mysql-server、httpd
##安装完pacemake后将会有一个控制心跳的配置文件目录:
##编辑配置文件:
#原始的例子内容:
##修改后的配置文件其实就修改了两处,一个是将绑定的网络地址改为集群的网络地址,在最后一行增加服务:
............................................
##上述修改的目的:
#当最后的ver设置为1的时候,插件打不开pacemake的守护进程,这里我们还是设置为0,表示可以打开pacemaker的守护进程,通过组件调动而不是脚本。
Plugin:插件
Daemons:是守护进程的意思,代表在后台运行而没有终端或者运行的shell与其结合的进程。
##可以到官网下载关于pacmake的官方文档:
##将修改后的配置文件复制到节点3.
##开启心跳服务:
##这里的报错是因为stonish的原因,默认stonish是开启的这样verify时会报错,并且也不能commit,所以在配置之前需要将stonish关闭:
##然后需要安装连个包,最好先安装pssh在安装crm,,因为第二个是第一个的依赖性,当然也可以一起安装,但是需要安装两遍:
##然后将两个包拷贝给节点3,安装:
##然后就可以用crm服务了:
因为之前coroysnc的原因这里节点指直接加进去的,如果没有加进去可以用edit加进去,也可以重启coroysnc,这样就加进去了。
##然后切换到资源管理模块:
##将stonish关闭:
##这样检测语法就不会有错了:
##不管在哪边增加策略,两边都会同步的:
##定义资源:
例子:
crm(live)configure# primitive webvip ocf:heartbeat:IPaddr params ip=172.16.12.100 op monitor interval=30s timeout=20s on-fail=restart
//定义一个主资源名称为webvip,资源代理类别为ocf:heartbeat,资源代理为IPaddr。params:指定定义的参数 ,op代表动作,monitor设置一个监控,每30s检测一次,超时时间为20s,一旦故障就重启
#增加一个vip资源:
##也可以用edit编辑配置文件:
##在0.251这台机子上是可以ping通增加的资源的:
##对参数的解释:
crm_verify -LV 检测配置信息
crm_mon 监控主机状态
另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
当前标题:高可用与存储的结合-创新互联
当前链接:http://scyanting.com/article/hpdhg.html