备份文件自动对比、删除脚本

字数 6446阅读 1736评论 0赞 0

前言    最近公司在进行数据备份计划，所以我编写了“scp自动复制脚本”与“rsync+inotify实现服务器之间文件实时同步”的2个备份文档，2个方案都成功的被使用，领导与同事都认为能解决备份问题，接下来在进行备份的时候，也没用发现问题，证明我弄的备份文档还可以，领导还说我弄的不错 。    但在接下来备份的中途，发现服务端（也就是要做备份的服务器）的磁盘空间满了，在这台服务器的一些服务写不了输入到服务器里（这个是通过nagios监控磁盘空间得到的报警邮件，但我明明设置为磁盘空间超过80%warning报警，超过90%进行crtical报警，但磁盘空间都满了才收到报警，不知道哪里设置错了，还在查找），所以我们打算清理一些文件，获得一些空间。    当我登陆服务器就发现没有什么可以删除的文件，但服务器磁盘空间都满了超过5分钟了，领导们都很着急，最后没办法只能在正在进行备份任务的服务端，删除一些已经备份到备份服务器的文件，这个是最后的办法了，但那个备份的目录里有8509个文件夹，每个文件夹里有3000-7000左右的txt文件，我当时进行的是scp自动复制，如果想删除哪些文件的话，还得去备份端查看哪些文件已经在备份端接收了，然后在去服务端删除，这样的话，太浪费时间了，而且工作量太大，每个文件大约能有3-5m，刚开始我清理了20个，获得了83m，这样服务端的应用服务可以写入数据到服务器了，但生成的文件速度太快了（以前磁盘空间大的时候也没用注意 ），比我删除的速度都快，这样的话，过一会磁盘就又满了。    没办法，我就打算用脚本来解决此问题，在经过30分钟左右时间，总算写成了一个脚本，在测试机里测试了几遍没用问题发现，就在生产的服务器里运行了这个脚本，发现删除速度很快，没用误删除文件，总算解决了这个问题。    下面是我为这个“备份文件自动对比、删除脚本”写的运维人员使用手册，一个技术文档。 备份文件自动对比、删除脚本一、目的            由于引擎服务器里应用服务每五秒生成一个文件夹，每个文件夹有3000-7000左右的txt文档，所以造成引擎服务器的磁盘空间饱满，不能正常的工作，为了解决这种情况，我编写了“ssh信任与scp自动备份脚本”与“rsync+inotify实时同步服务器文件”这2种解决方法，但发现备份任务可以完成，并符合公司平台的要求，但在做备份的时候，很可能引擎服务器的磁盘空间就满了，没有办法正常工作，或者在备份完成的时候，由于文件数目很多，没有办法知道哪些是备份完成的，哪些是没有备份的，及时做wc -l对比也不行，所以根据这种情况，我又编写了一份“备份文件自动对比、删除脚本”，用自动化的方式来实现备份文件的自动对比、删除，解决了磁盘空间满的问题，为我们运维的工作节省了很多的时间，去解决其他的问题。二、实现机制         是通过脚本的方式实现自动化，在服务端与备份端都运行此脚本，产生日志，并把备份端的日志传到服务端，并在服务端的要备份目录里，运行rm脚本，实现了备份文件自动对比、删除。三、脚本内容解释A.服务端server<ol class="dp-xml" style="padding: 5px 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; color: rgb(92, 92, 92); list-style-position: initial; list-style-image: initial; border-left-width: 3px; border-style: none none none solid; border-left-color: rgb(20, 107, 0);"><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">#!/bin/bash  </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">server="$(ls -l /usr/local/lbs/file/area|awk '{print $9}')"    ###此为查看要备份的目录，并把他的文件名复制到server_log日志里  </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">echo $server > /tmp/server_log  </li></ol>注意：在server脚本里面，server="$(ls -l /usr/local/lbs/file/area|awk '{print $9}')" 这个里面，ls -l /usr/local/lbs/file/area是你做备份的目录（是服务端机器的要做备份的目录），还有那个awk '{print $9}'如果你在使用英文字体的服务器上，使用$9；如果是中文字体的服务器上，使用$8，如何查询当前服务器使用哪种字体，可以使用cat /etc/sysconfig/i18n命令，查询结果为LANG="en_US.UTF-8"，则是英文字体；查询结果为LANG="zh_CN.UTF-8"，则为中文字体。B.备份端back<ol class="dp-xml" style="padding: 5px 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; color: rgb(92, 92, 92); list-style-position: initial; list-style-image: initial; border-left-width: 3px; border-style: none none none solid; border-left-color: rgb(20, 107, 0);"><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">#!/bin/bash  </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">back="$(ls -l /home/beifen/area|awk '{print $9}')"   ###此为查看做备份的目录，并把它的文件名负责到back_log日志里  </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">echo $back> /tmp/back_log  </li></ol>在back脚本里面，ddir="$(ls -l /home/back/area20120208|awk '{print $9}')"这个里面，/home/back/area20120208是你做备份的目录（是备用机器的目录），还有那个awk '{print $9}'如果你在使用英文字体的服务器上，使用$9；如果是中文字体的服务器上，使用$8，如何查询当前服务器使用哪种字体，可以使用cat /etc/sysconfig/i18n命令，查询结果为LANG="en_US.UTF-8"，则是英文字体；查询结果为LANG="zh_CN.UTF-8"，则为中文字体。C.服务端的rm<ol class="dp-xml" style="padding: 5px 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; color: rgb(92, 92, 92); list-style-position: initial; list-style-image: initial; border-left-width: 3px; border-style: none none none solid; border-left-color: rgb(20, 107, 0);"><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">#!/bin/bash  </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">a="$(cat /tmp/server_log)" ＃＃定义ａ为查看服务端日志里文件名  </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">b="$(cat /tmp/back_log)"　＃＃定义ｂ为查看备份端日志里文件名　  </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">for a in $b;            　＃＃如果服务端的文件名与备份端的文件名一直，那么在服务端删除备份端里的文件名，这样在服务端就没有了这个文件，节省了磁盘空间，而在备份端还存在这个文件，起到了备份的计划任务。  </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">do   </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">rm -rf $b  </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">done  </li></ol>四、部署脚本1、在备份端把back上传到备份端，给764权限然后运行sh back，就能在/tmp里看到一个back_log日志文件产生，并把此文件上传到被备份端的/tmp目录下；2、服务端A.把server上传到此服务器上，给764权限然后运行sh server，就能在/tmp里看到一个server_log日志文件产生；B.把rm上传到此服务器，具体路径为/usr/local/lbs/file/area，给764权限；C.运行sh rm，等待一会就能自动的删除area里的文件（只是在存储里删除贵州备用机器里已有的文件）五、备注         此脚本只适用与备份端的（/home/beifen/area）与被备份端的（/usr/local/lbs/file/area)之间的文件传输与自动删除area里的文件，其他情况不适用。         如果你想进行备份其他目录里的文件的话，需要修改服务端server里的内容与备份端back里的内容，并且把rm上传到服务端中要做备份里的目录下。以上是我编写的运维手册，可能大家很多地方看不明白，我在下面进行一些操作，可以使大家更明白。下面是进行操作的2太服务器的结构，分别有主机名、ip地址、备份的身份status（是服务端还是备份端）、系统、内核、位数；<a class="example-image-link" href="http://img1.51cto.com/attachment/201202/120028369.png" data-lightbox="example-set"><img class="example-image" src="http://img1.51cto.com/attachment/201202/120028369.png" alt="" ></a>1、服务端（我这里是savecenter）把server上传到服务器的tmp/test目录下，并给予744权限；（此脚本需要进行根据环境进行修改，根据目前情况我的修改如下）<ol class="dp-xml" style="padding: 5px 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; color: rgb(92, 92, 92); list-style-position: initial; list-style-image: initial; border-left-width: 3px; border-style: none none none solid; border-left-color: rgb(20, 107, 0);"><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">#!/bin/bash  </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">server="$(ls -l /tmp/test|awk '{print $9}')"    ###此为查看要备份的目录，并把他的文件名复制到server_log日志里  </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">echo $server > /tmp/server_log   </li></ol>2、备份端（我这里是nagios）把back上传到服务器的tmp/test目录下，并给予744权限；（此脚本需要进行根据环境进行修改，根据目前情况我的修改如下）<ol class="dp-xml" style="padding: 5px 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; color: rgb(92, 92, 92); list-style-position: initial; list-style-image: initial; border-left-width: 3px; border-style: none none none solid; border-left-color: rgb(20, 107, 0);"><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">#!/bin/bash    </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">back="$(ls -l /tmp/test|awk '{print $9}')"   ###此为查看做备份的目录，并把它的文件名负责到back_log日志里    </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">echo $back> /tmp/back_log   </li></ol>现在脚本已经上传到服务器里，准备工作完成，下面可以测试我的脚本了。但我还是先说明一下，这次实验的目的，是要在服务端(savecenter）里建立1-10,10个文件夹，然后在备份端（nagios）建立1-5,5个文件夹，在使用我的脚本，查看能否自动的进行对比与删除。但为什么需要在服务端建立10个文件夹，备份端建立5个文件夹呢？因为如果服务端在做备份的时候，把文件备份到备份端，但可能备份没有完成，还正在进行备份任务，所以可能服务端里有10个文件夹，但备份端里只接受到了5个，但这时服务端的磁盘空间满了，为了获得空间，需要删除已经做备份的文件，所以我这里是在服务端里建立了10个文件夹，备份端建立了5个文件夹，代表备份没有完成、正在进行，然后使用我的脚本，删除服务端里跟备份端的5个文件夹相同名字的文件夹，如果无误，说明我的脚本能够实现备份的文件自动对比、删除。3、现在在服务端创建1-10,10个文件夹，结果如下图<a class="example-image-link" href="http://img1.51cto.com/attachment/201202/124434701.png" data-lightbox="example-set"><img class="example-image" src="http://img1.51cto.com/attachment/201202/124434701.png" alt="" ></a>4、在备份端创建1-5,5个文件夹，结果如下图<a class="example-image-link" href="http://img1.51cto.com/attachment/201202/124626812.png" data-lightbox="example-set"><img class="example-image" src="http://img1.51cto.com/attachment/201202/124626812.png" alt="" ></a>5、现在在服务端运行server脚本，就能获得server_log日志，里面内容都是/tmp/test下1-10,10个文件夹的名字；<a class="example-image-link" href="http://img1.51cto.com/attachment/201202/124749681.png" data-lightbox="example-set"><img class="example-image" src="http://img1.51cto.com/attachment/201202/124749681.png" alt="" ></a>6、在备份端运行back脚本，能得到back_log日志，里面的内容为/tmp/test下1-5，5个文件夹的名字<a class="example-image-link" href="http://img1.51cto.com/attachment/201202/124957146.png" data-lightbox="example-set"><img class="example-image" src="http://img1.51cto.com/attachment/201202/124957146.png" alt="" ></a>7、现在把备份端的back_log日志，传到服务端的tmp目录下<ol class="dp-xml" style="padding: 5px 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; color: rgb(92, 92, 92); list-style-position: initial; list-style-image: initial; border-left-width: 3px; border-style: none none none solid; border-left-color: rgb(20, 107, 0);"><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">[root@nagios tmp]# scp back_log 172.16.6.2:/tmp  </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">back_log                                                                100%   10     0.0KB/s   00:00     </li></ol>8、把rm上传到服务器的tmp/test目录下，并给予744权限；（此脚本需要进行根据环境进行修改，根据目前情况我的修改如下）<ol class="dp-xml" style="padding: 5px 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; color: rgb(92, 92, 92); list-style-position: initial; list-style-image: initial; border-left-width: 3px; border-style: none none none solid; border-left-color: rgb(20, 107, 0);"><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">#!/bin/bash </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">a="$(cat /tmp/server_log)" ＃＃定义ａ为查看服务端日志里文件名 </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">b="$(cat /tmp/back_log)"　＃＃定义ｂ为查看备份端日志里文件名　 </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">for a in $b; 　＃＃如果服务端的文件名与备份端的文件名一直，那么在服务端删除备份端里的文件名，这样在服务端就没有了这个文件，节省了磁盘空间，而在备份端还存在这个文件，起到了备份的计划任务。 </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">do </li><li class="alt" style="padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important; margin-left: 20px; color: inherit; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none;">rm -rf $b </li><li style="margin-left: 20px; line-height: 1.3em; list-style: decimal-leading-zero outside; border: none; padding: 0px 3px 0px 10px !important; margin-top: 0px !important; margin-right: 0px !important; margin-bottom: 0px !important;">done </li></ol>9、在服务端运行rm脚本，它自动对比server_log日志与back_log日志，如果server_log日志里的名字在back_log里，就删除back_log日志里的内容，达到自动对比、删除功能下面是服务端运行rm的情况与结果图<a class="example-image-link" href="http://img1.51cto.com/attachment/201202/125514843.png" data-lightbox="example-set"><img class="example-image" src="http://img1.51cto.com/attachment/201202/125514843.png" alt="" ></a>从图上看，1-5,5个文件夹都已经删除了下面是备份端的tmp/test下的截图<a class="example-image-link" href="http://img1.51cto.com/attachment/201202/125616873.png" data-lightbox="example-set"><img class="example-image" src="http://img1.51cto.com/attachment/201202/125616873.png" alt="" ></a>从上面可以看见，1-5,5个文件夹没有变化，所以我的这个“备份文件自动对比、删除脚本”实现了备份文件的自动对比并自动删除任务。总结：我编写的这个“备份文件自动对比、删除脚本”适用于备份的文件数目多，正在进行备份任务，但需要删除已经做备份的文件，或者备份任务完成，但备份的文件很多、很杂，删除需要对比在删除，很浪费时间与人力，使用了此脚本加上我前文写的“ssh信任与scp自动复制脚本”与“rsync+inotify实时同步服务器文件”可以实现自动化的、实时的同步或者备份服务器文件，并在正在进行备份任务或者完成备份任务的时候，自动对比、删除已经备份的文件，节省人力与时间。虽然我写的比较多，而且可能有点复杂，但实现的功能还是很强的，脚本也很容易读懂，如果各位想在自己的环境下运行，需要根据各位的需要进行相应的修改了，如果还有什么不懂的地方，可以留言给我，我会及时的帮各位解答.下面是我写的“ssh信任与scp自动复制脚本”与“rsync+inotify实时同步服务器文件”链接：“ssh信任与scp自动复制脚本”           <a href="http://dl528888.blog.51cto.com/2382721/769519" target="_blank">http://dl528888.blog.51cto.com/2382721/769519</a>“rsync+inotify实时同步服务器文件”    <a href="http://dl528888.blog.51cto.com/2382721/771533" target="_blank">http://dl528888.blog.51cto.com/2382721/771533</a>

数据备份

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

备份文件自动对比、删除脚本

添加新评论0 条评论

作者其他文章

相关文章

相关问题

相关资料