- ?
从删库到跑路or恢复,记一次MySQL数据库文件损坏恢复经历
穷词
展开
一、 前言
2018年5月28日,北京晴有轻度沙尘暴。 坐上公交车走在上班的路上,想起老罗经常说起的一句话:想成盛田昭夫时代的索尼,想成乔布斯时代的苹果,于是继续研读着 《日本制造:盛田昭夫的日式经营学》。
到了人大西门在西区食堂吃了个早餐,穿过人民大学很快就来到了公司。坐在工位上打开电脑登上QQ,不一会运营的CC的头像就开始闪动,“mooc平台登录不了”,“你看看”。又一会领导的头像开始闪动,“xxx说慕课平台不能登录了”。 额… 这事都惊动领导了?
二、 排查问题
打开chrome浏览器开始预览,等了好久代理服务器才反馈
Time out!
使用 SecureCRT 连接了一下服务器,首先重新启动了一下Nginx代理服务器
service nignx stop // 关闭Nginx服务 service nginx start // 开启Nginx服务
去前台刷新了几下没有恢复。 那就在重启一下php吧,于是就
service php-fpm stop // 关闭PHP服务 service php-fpm start // 开启PHP服务
又去前台试了试还是没有恢复。(有人会问为什么不直接用 service xxx restart 来重启各服务呢? 我也不知道为什么,个人爱好吧!)那只有一种可能数据库出问题了。
打开 Navicat 连接了一下数据库,发现可以正常连接而且可以看到所有的表,随便打开了一张表能看到里面的数据,但是弹出了一个错误的提示。
Got error 28 from storage engine
大概是这个错误提示,当时也没在意,心想反正提示错误了那就重启一下物理服务器吧,这里是物理服务器!!!随后执行了这个命令(为什么不直接重启MySQL服务呢? 事后想了想我也不知道为什么。 而且如果当时注意看看这个错误,是因为磁盘空间问题引起的,也许后面就不会有那么多惊心动魄了!)
reboot // 重启物理服务器
执行完以后所有的服务都正常关闭了,只有Mysql数据库服务
Shutdown MySQL ……………………………………………….
引号已经5排了,实在是等不下去了。 断电!!!(MySQL没有安全关闭,直接断电会出问题的!!!)。
三、 恢复进程
等了一会,物理服务器启动起来了。一切的应用服务都正常启动了,只看到在启动MySQL数据库的时候出现了
The server quit without updating pid file (/var/lib/mysql/localhost.localdomain.pid)
等到全部服务加载完成以后手动又进行了一次MySQL数据库启动
service mysql start
依然报前面那样的错误,此时心里开始紧张了起来。 Google了一下这个错误,网上提供了几种解决的方案:
1、 Mysql权限问题
chown -R mysql:mysql /var/lib/mysql/* chmod -R 660 /var/lib/mysql/*
2、 Mysql 服务已开启
ps -ef|grep mysqld // 查看是否有mysqld进程 kill -9 进程号 // 强制杀死进程
3、 残余数据影响了Mysql服务的启动
删除数据库目录(我的数据库目录为rpm安装默认目录:/var/lib/mysql)下的 mysql-bin.index 文件
4、 Mysql配置文件(默认为:/etc/myf)
配置文件里面没有配置数据库目录,这个问题一般在刚安装MySQL时候会出现
5、 skip-federated字段问题
MySQL配置文件注释掉skip-federated字段
6、 selinux的问题
centos6.8以上默认会开启selinux服务,加强版军用级防火墙。为了查问题可以直接关掉 /usr/sbin/setenforce 0
以上解决方案全部都已经使用过了,都没有解决问题,依然开启服务会报错。 此时的心开始凉了。
回头看了看往期的备份,xxxx_20171208.sql。 都快2018年6月份了,我的上次备份竟然是17年12月份的,半年了!都半年没备份过了! (我视乎隐约的感觉前段时间是有备份的,备份的服务器硬盘好像被我清理了)。
进入到数据库目录下,看到了除了上述说的 mysql-bin.index 文件以外还有其他的几个文件:mysql-bin.~rec~ 、 ib_logfile1、 ib_logfile0、 ibdata1 想了想是不是这几个也是一些残余文件,全部删了试试。 尝试把这几个文件转移到了其他的目录(使用的mv命令)模拟删除效果,同时还相当于备份。
service mysql start
竟然MySQL数据库服务正常启动了! 心里的喜悦涌了上来,赶紧使用Navicat连接一下看看,能够正常连接,看到了数据库。 打开数据库以后所有的表都没有了! 此时心又酸了起来。 一转眼11:30了,时间过的可真快啊,同事叫着一起吃饭,此时的我已经全无吃饭的心情了。
恢复表结构
把刚才移走的几个文件又恢复到了原目录里,既然恢复MySQL进程现在没什么希望了,那就想办法恢复数据吧。 进入到数据库目录(/var/lib/mysql)下找到了我的数据库名字以目录的形式存放。 进去该目录以后发现里面都是以扩展名为:xxxx表.frm文件,这些不都是我的数据库表吗? 里面是不是就存放了所有的数据? 是不是直接拿这些文件就可以恢复数据呢?Google了一下,果然有这方面的文章,大致说: “frm可以恢复表结构,同时InnoDB数据库引擎和MyISAM数据库引擎恢复的方式不一样”。
1、 InnoDB数据库引擎
在一个正常的MySQL数据库服务器(new_server)下建立数据库(new_db),该数据库的名称和异常服务器(old_server)数据库(old_db)保持一致。在new_db数据库中建立一张表与old_db的表名称(t_user)一致。将new_server服务器的MySQL数据库服务关闭。从old_server服务器下old_db的数据库目录下复制t_user.frm文件到new_server服务器下new_db的数据库目录下替换t_user.frm文件。开启new_server服务器的MySQL数据库服务。使用连接工具连接new_server就可以看到new_db下的表及表结构。
2、 MyISAM数据库引擎
其他和InnoDB数据库引擎操作基本一致,只是在new_server服务器下new_db的数据库目录下创建两个空的文件:t_user.MYD 和 t_user.MYI。
我使用的数据库为InnoDB引擎,无奈的我以上两种方法都使用了,没有恢复任何表结构更没有数据,也许可能是我操作有问题吧。 此时看到了目录下有一个文件: ibdata1 Google了一下,可以和xxx.frm配合使用,又一次将new_server服务器的MySQL数据库服务关闭。 直接把old_server服务器下old_db的数据库目录下复制ibdata1文件到new_server服务器下new_db的数据库目录下替换ibdata1文件。
service mysql start
新的服务器也出现了这样的错误,导致错误的很大原因可能是ibdata1文件损坏引起的。
今天北京的天气已经达到了35摄氏度,但此时我的心已经凉了一半了,虽然没有按时备份数据及服务器异常崩溃造成数据丢失比直接删库的责任小了点,但是也办法向公司交代,真的需要开始准备 “离职申请” 了吗?
binlog日志
打开微信
我:你们公司用的是什么数据库,是MySQL吗 好友LZ:是的 我:公司的MySQL坏了,启动不了了; 数据没有备份; 有什么好办法把数据拿回来吗 好友LZ:你们之前数据的binlog还有吗;通过这个应该可以恢复 我:都有 好友LZ:我也没弄过数据恢复,都是DBA搞,感觉应该可以的;你先查查看网上有没有解决方案,我这会在上线。 我:嗯
本来想说:“你能不能问问好友LZ你们DBA遇到过这种情况吗,帮忙给个方案”;最后还是没有好意思开出口。 不过binlog这个名字让我突然想起了数据库目录(/var/lib/mysql)下面几个较大的文件。
这十几个文件就是binlog日志文件,每台服务器上面的个数应该不一样,这个文件只有每次重启MySQL服务或者刷新日志(MySQL命令:show master logs)的时候才会新增一个。看了一下我最近的几个文件,2018年1月16、 2018年3月18、 2018年4月18、 2018年5月28这几个时间点产生了新的文件,说明MySQL服务器这几个日期都进行过关闭又开启的操作。
binlog使用:
binlog文件简介(网上摘抄) MySQL的二进制日志可以说是MySQL最重要的日志了,它记录了所有的DDL和DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL的二进制日志是事务安全型的。 binlog作用(网上摘抄) MySQL Replication在Master端开启binlog,Mster把它的二进制日志传递给slaves来达到master-slave数据一致的目的。 数据恢复,通过使用mysqlbinlog工具来使恢复数据。
使用binlog恢复数据之前需要确定MySQL是否开启binlog日志
show variables like 'log_%';
状态 OFF 为未开启,状态 ON 表示已开启
可以通过MySQL配置文件(默认路径:/etc/myf)开启或关闭binlog日志
vi /etc/myf
使用加上#可以关闭,去掉开启。 修改后需要重启MySQL服务(service mysql restart)才可以生效。
恢复数据(binlog日志方式)
初试mysqlbinlog工具
看到上面的那么多mysql-bin文件,很显然使用centos6.5下rpm方式安装的MySQL默认是打开binlog日志的。 这时我们就需要用到MySQL的 mysqlbinlog 工具,想使用它首先需要确保已经安装MySQL服务,然后我们需要找到它的位置
find / -name mysql
2 表示为MySQL可执行文件的目录 3 表示为MySQL的数据库目录
那我们先简单的使用一下
cd /var/lib/mysql mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql
很显然我在使用mysqlbinlog的时候是,直接执行的mysqlbinlog命令,前面并没有增加任何路径。 因为默认centos系统会将/usr/bin这个目录配置到环境标量中,若我们使用的是rpm方式安装的MySQL,默认是安装到/usr/bin目录下的。 可以直接在任何路径下使用/usr/bin目录里的文件。 执行完上面的语句后会发现在当前目录生成一个mysql-bin.000001.sql的文件, 打开文件可以看到很多sql语句。
对于我当前的情况来看并不需要把所有的binlog都处理一遍,上面提到我上次的备份是在2017年12月8日的时候(xxxx_20171208.sql)因此我只需要从 mysql-bin.000009 这个binlog文件开始就可以了。
首先我在另外一台服务器上面重新搭建了一个MySQL服务,把mysql-bin.000009以后的几个binlog都拷贝到了这台新的服务器上面去。(服务器出现任何问题,建议不要对该服务器做任何操作,换一台新的电脑或服务来处理,为了保护数据的完整性!)
使用备份文件恢复数据
在新的MySQL上面建了一个和以前一样名称的数据库
mysql -u数据库用户名 -p数据库密码 数据库名称 --default-character-set=utf8 < xxxx_20171208.sql 例:mysql -uroot -proot xxxx --default-character-set=utf8 < xxxx_20171208.sql
使用binlog恢复数据
这时数据库有了,数据表及表结构也有了,那就开始恢复数据吧。
mysqlbinlog mysql-bin.000009 | mysql -uroot -proot
回车马上就出错了,遇到了两种错误,一种是PRIMARY的错误,一种是找不到记录的错误。 mysqlbinlog在执行mysql-bin.000009文件里的插入语句时出错了。 看了一下mysql-bin.000009文件的创建时间是2017年11月12日,我的备份文件是2017年12月8日,他们两个时间差了二十几天,执行上面恢复语句肯定会出现重复插入的问题,数据库里的某些表是由PRIMARY KEY的约束的,所以会导致PRIMARY错误。 这时我们需要用到mysqlbinlog的参数: start-datetime 和 end-datetime,顾名思义一个是开始时间一个是结束时间。
mysqlbinlog --start-datetime="2017-12-08 10:00:00" mysql-bin.000009 | mysql -uroot -proot
看了一下我备份的xxxx_20171208.sql大致是2017年12月8日的10左右,没有添加 end-datetime 参数的话默认为该binglog文件下的最后一个时间点。 执行了以后报了一个找不到记录的异常。 应该是执行删除或更新语句的时候没有找到某条记录,时间还是不对。 于是我就查看了数据库的日志表,最后的时间是2017年12月8日9点32分41秒,有执行了一次
mysqlbinlog --start-datetime="2017-12-08 09:32:41" mysql-bin.000009 | mysql -uroot -proot
依然报错,那怎么办呢,难道这个方法不行?
mysqlbinlog mysql-bin.000009 >mysql-bin.000009.sql
此时打开mysql-bin.000009.sql里面拥有大量的sql语句,发现好多条sql语句在这个时间点下。 看来使用参数来控制行不通。 还好mysqlbinlog工具给我们提供了另外两个参数start-position 和 end-position
修改了一下命令
mysqlbinlog --start-position="123456" mysql-bin.000009 | mysql -uroot -proot
果然一切都正常了,执行这个命令需要很久,它要把你这段时间所有的增加、删除、更新都执行一遍。 这里可能还会遇到一个问题,我的这个MySQL服务器里面这有一个数据库,MySQL的binlog文件记录的是所有数据库的增加、删除、更新记录,那怎样只针对某个数据库来操作呢? 这时我们需要用到mysqlbinlog的database参数
mysqlbinlog --database=xxxx --start-position="123456" mysql-bin.000009 | mysql -uroot -proot
半年的数据,就这么一个一个的binlog文件进行处理的,从晚上6点到夜里的12点完成所有文件的恢复,数据量不是很大,服务器的性能也不是太高,中间出了点问题,不过都是服务器中断的问题。 最后把所有的数据全部恢复了回来,这心惊肉跳的一天!
这是工作7年来出的最大一次事故,去年给自己定的一个目标今年写12篇有质量的文章反馈给互联网,都快过半年了ä...
- ?
Mysql备份和恢复操作
包芹
展开
备份:
就是将一个当前数据库系统中的“活”着的数据库,转换为一个死的不可操作的“数据文件”的过程。
恢复:
就是将“死”的数据文件,还原为活的可操作的数据库。
备份操作
在没有登录数据库系统的时候(登录前),使用mysql安装文件夹中的bin目录中的mysqldump命令来实现备份:
备份语法:
mysqldump -h要连接的数据库服务器 -u用户名 -p 要备份的数据库名 >要备份到的目标文件完整路径
注意:该命令需要在管理员模式下运行。
恢复操作:
通常的恢复操作,用于两种场景:
1,数据库迁移:从一台电脑,迁移到另一台电脑。
2,数据库本地还原:原数据库可能某种原因,损毁了,需要恢复!
而这里的演示,只能使用本地从一个数据库备份后,还原到另一个数据库中!!!
还原语法:
mysql -h数据库服务器 -u用户名 -p 要恢复的数据库名 < 要恢复的数据库文件完整路径
- ?
MySQL借助ibd文件恢复数据技巧
裘磬
展开
磁盘坏道、断电等意外不是常态,但遇上了就足够你“惊心动魄”!如果是数据库损坏造成的数据丢失,Binlog也不可用了,怎么办?为了在短时间内无损恢复数据以保证业务稳定性,除了利用binlog,我们还修炼了一招新的恢复技能!
还记得我们之前写过的《只需一招,让失控的研发爱上你》吗?前文提到过我们日常使用的比较多的两种数据库恢复方法是:
以上两种方法都可以实现实时性的回档,但是你会认为有了这两种技能就够了吗?
不….!
在线上这种错综复杂的架构中,其实还有很多未知的原因,我们是没法预知的。例如以下这种情况:
因辛勤劳动而折寿的磁盘产生成长坏道,导致数据库损坏。而又刚好损坏了ibdata文件和binlog文件。那么如果还想着以定时备份+binlog恢复的方案就不可能了,难道只能用定点备份回档吗?深思熟虑后,作为一名运维人员,我们是绝对不会在万不得已的情况下实行有损回档,因为这对业务产生太大的影响了,但是除此之外又能怎么办呢?下面我们将要放一门大招!!!
首先检查数据库环境,是否开启了独立表空间,如果已经开启的话,那恭喜你,有很大的机会可以恢复全部数据。我们可以依赖每个数据库目录下的frm和ibd文件来实现数据恢复,一般来说如果使用了InnoDB但没开启独立表空间的话,所有的数据库表信息和元数据都会写入ibdata文件里,这样长久运行的话,ibdata文件会变得越来越大,数据库性能下降。InnoDB提供了开启独立表空间参数,可以让数据独立存放起来,这样子ibdata文件只用于存放一些引擎相关的索引信息,实际的数据写入到独立的frm和ibd文件里。本文地址:http://linuxprobe/mysql-recovery-data.html
好,有了frm和ibd文件,我们可以开始尝试数据恢复了,他的过程比binlog还原既惊险又有趣!首先我们来看一下关于ibd和frm的说明:
.frm文件:保存了每个表的元数据,包括表结构的定义等,该文件与数据库引擎无关。
.ibd文件:InnoDB引擎开启了独立表空间(my.ini中配置innodb_file_per_table = 1)产生的存放该表的数据和索引的文件。
我们都知道,对于InnoDB的数据库,如果不把整个数据目录拷贝,只拷贝指定数据库目录到新的实例下,数据库是认不出来的。那么如何根据这两个文件还恢复数据库呢?
恢复思路:
由于ibdata文件上存放了一些关于引擎的索引信息,ibdata文件损坏导致表名索引丢失而无法启动。那么我们可以先把原来旧的整个数据目录改名备份,然后重新初始化数据库生成新的ibdata文件,然后重新创建原有的数据库以及对应的表,最后把备份的表空间id号改为新建的表空间id号(ibdata文件里有每个表唯一的表空间索引id,该id由创建新表的数量依次递增),这样就可以恢复原来的数据库了。
举个例子:
库名:test_restore
表结构:db_struc.sql
表文件:G_RESTORE.ibd、G_RESTORE.frm
1. 创建新库,导入表结构
#mysql -uroot –p**** -e “create database test_restore”
#mysql -uroot –p**** test_restore < db_struc.sql
2. 查看并修改test_restore库中表在新实例中的id
#vim -b /data/database/mysql/test_restore/G_RESTORE.ibd
直接打开为乱码,转成16进制查看。Vi中执行 :%!xxd 转化为16进制。结果为 :
如图所示。G_RESTORE表在mysql数据库中的id为00fe。
修改备份的G_RESTORE.ibd文件。操作同上,注意需先备份。
#cp G_RESTORE.ibd{,_back}
将011b修改为00fe 。注意。修改完成后需要在vim中先执行 :%!xxd -r
再wq 保存退出文件。不然保存到的是16进制查看的结果。
保存结果如下:
将修改好的G_RESTORE.ibd 替换掉新数据库中的G_RESTORE.ibd文件。
关于ibdata表id的解释:
参考官方文档解释,每个表空间分配了4个字节存储了表空间id信息,最后偏移量地址为38。还有一组预留的表空间id,同样是4个字节,最后偏移量地址为42。
3. 验证并还原mysql数据
关闭mysql。修改my.conf。
innodb_force_recovery=6 innodb_purge_threads=0
启动数据库。如果不修改。数据库会认为G_RESTORE已被损坏。
Select 一下,即可查看到还原结果,但此时插入数据会报错,应尽快将数据dump出来 ,导回原来的实例中。
导出数据,再导入数据,恢复完毕!
#mysqldump -uroot –p****** test_restore >test_restore.sql
说明:变更了新的space id后的.ibd表文件,启动数据库后只能认出数据,但不能写入,这是因为原ibdata文件不仅保存了space id索引,还同时保存了一些其它的元数据。为了使元数据补全,所以采取导出、再导入的操作。
以上举例为单个库表的恢复过程,看到这里大家一定会产生另一个疑问吧?线上的场景不可能是只有一个表的,数据库表很多的情况下,这样一个个表的修改,速度无疑是太慢了。那么存在大量表的情况下如何恢复呢?思路是,取得备份的ibd文件的id值,按id值顺序来建表,中间跨度随便建表语句来凑够数(每个表空间索引id由创建新表的数量依次递增)。实现方式如下:
1. 获取备份数据库ibd文件的space id号,并排序。
for ibd in `find test_restore/ -name “*.ibd”` ; do echo -e “${ibd///// } /c” ;hexdump -C ${ibd} |head -n 3 |tail -n 1|awk ‘{print strtonum(“0x”$6$7)}’ ;done | sort -n -k 3 | column -t >/tmp/
生成的ibd.txt文件,格式如下:(库名–表名–SpaceId)
2. 新建表,查看当前表空间id(假设space id为10)
#mysql -uroot –p****** -e”create table test.tt(a bool)”
3. 先创建所有库,准备所有表结构,写脚本,依据space id号自动创建新表
准备好数据库表结构,可以从备份文件里取出来(我们备份方式是把结构和数据分开备份的),或者从其他有相同表结构的服务器上备份再拷贝过来。
参考备份语句:
mysqldump -uroot –p****** -d ${db} –T /data/backup/${db}/
创建原有的数据库:
mysql -uroot –p****** -e “create database ${db}”
恢复表id创建表脚本:
#!/bin/bash
4. 检查表空间id 和备份的是否一致
for ibd in `find test_restore/ -name “*.ibd”` ; do echo -e “${ibd///// } /c” ;hexdump -C ${ibd} |head -n 3 |tail -n 1|awk ‘{print strtonum(“0x”$6$7)}’ ;done | sort -n -k 3 | column -t >/tmp/ibd2.txt
确认一致后,拷贝备份的.ibd文件到新数据库实例目录下,修改myf
innodb_force_recovery=6
innodb_purge_threads=0
启动数据库。后续步骤如同单表恢复,直接导出恢复到原来实例中即可。
当然,这种方式是在数据库出现极端情况下,不得不采取的一种方式,线上最重要的还是做好主从同步和定时备份,从而规避此类风险。
关于InnoDB引擎独立表空间说明:
使用过MySQL的同学,刚开始接触最多的莫过于MyISAM表引擎了,这种引擎的数据库会分别创建三个文件:表结构、表索引、表数据空间。我们可以将某个数据库目录直接迁移到其他数据库也可以正常工作。然而当你使用InnoDB的时候,一切都变了。
InnoDB默认会将所有的数据库InnoDB引擎的表数据存储在一个共享空间中:ibdata1,这样就感觉不爽,增删数据库的时候,ibdata1文件不会自动收缩,单个数据库的备份也将成为问题。通常只能将数据使用mysqldump导出,然后再导入解决这个问题。
但是可以通过修改MySQL配置文件[mysqld]部分中innodb_file_per_table的参数来开启独立表空间模式,每个数据库的每个表都会生成一个数据空间。
优点:
1.每个表都有自已独立的表空间。
2.每个表的数据和索引都会存在自已的表空间中。
3.可以实现单表在不同的数据库中移动。
4.空间可以回收(除drop table操作处,表空不能自已回收)
a) Drop table操作自动回收表空间,如果对于统计分析或是日值表,删除大量数据后可以通过:alter table TableName engine=innodb;回缩不用的空间。
b) 对于使innodb-plugin的Innodb使用turncate table也会使空间收缩。
c) 对于使用独立表空间的表,不管怎么删除,表空间的碎片不会太严重的影响性能,而且还有机会处理。
缺点:
单表增加过大,如超过100个G。
结论:
共享表空间在Insert操作上少有优势。其它都没独立表空间表现好。当启用独立表空间时,请合理调整一下:innodb_open_files。
配置方式:
1.innodb_file_per_table设置.开启方法:
在myf中[mysqld]下设置
innodb_file_per_table=1
2.查看是否开启:
mysql> show variables like ‘%per_table%’;
3.关闭独享表空间
innodb_file_per_table=0关闭独立的表空间
- ?
如何修复SQL Server数据库中的MDF文件
Kay
展开
数据库文件对所有用户都很重要, 并存储大量重要信息。了解有关修复损坏的 SQL 数据库文件的手动和专业解决方案。 今天的MS SQL Server是最常用的关系数据库之一。 它具有先进的内部结构并提供很高的可靠性。 这就是大多数组织使用SQL Server数据库来保存所有关键业务数据的原因。 但是也有一些情况,如病毒感染,操作系统故障,文件系统损坏等等,因为SQL数据库变得损坏,并且存储在其中的所有数据都不可访问。 从SQL Server中的损坏状态修复.mdf文件不是一件容易的事。 用户可以使用手动技术来修复SQL数据库中损坏的MDF文件,但这不是一种可靠的方法,因为不能保证使用手动方法进行数据恢复。 但是,也有第三方工具,如SysTools SQL Recovery,声称以完美的方式修复.mdf文件。 因此,在这篇文章中,我们将讨论修复损坏的SQL数据库的最佳解决方案。 但在此之前,了解SQL数据库中损坏的原因很重要。 损坏的SQL数据库背后的原因 在SQL Server数据库中出现腐败背后可能有各种可能的原因。 众所周知,SQL数据库的MDF文件是主数据库文件。 它们存储所有用户数据,因此MDF文件中的损坏可能会损坏整个数据库。 因此,首先,我们将讨论MDF文件损坏背后的所有可能的原因: 存储介质中存储所有MDF文件的损坏。 如果用户将SQL数据库存储在压缩文件夹中,则MDF文件可能会损坏。 任何修改或更改都是在SQL Server帐户中完成的。 用户可能意外删除了一些数据。 如果文件头损坏,则会导致MDF文件损坏。 损坏的磁盘驱动程序。 如果SQL数据库正在使用,并且在两者之间存在网络故障,则会导致MDF文件损坏。 导致MDF文件损坏的其他可能原因包括病毒攻击,硬盘故障,系统异常关机和突然断电。 因此,如果MDF文件损坏,那么SQL数据库变得不可访问。 而且,如果用户试图访问损坏的数据库,则可能会遇到一些错误消息。 下面列出了最常遇到的错误消息: 存储所有MDF文件的存储介质中损坏。 如果用户将SQL数据库存储在压缩文件夹中,则MDF文件可能会损坏。 元数据损坏错误。 用户可能意外删除了一些数据。 SQL Server/Msg 825 (读取重试) 中 SQL Server/Msg 824 中的 Msg 823 错误。 除此之外,用户在访问损坏的SQL数据库时可能会遇到其他一些错误消息。 因此,数据库管理员有责任立即采取措施并防止任何类型的数据丢失。 如何通过手动修复MDF文件 有几种手动方法可用于修复损坏的SQL数据库,但手动解决方案不能保证数据库恢复。 为了恢复损坏的数据库,用户可以使用SQL Server的NDF文件(日志文件)。但是, 只有日志文件不足以在大多数损坏情况下还原数据库, 因为有时, 由于严重损坏, 备份文件也会损坏。 修复和恢复损坏的SQL数据库的另一种可能方法是在数据库控制台命令(即DBCC CHECKDB)的帮助下进行的。这对于在 SQL server 数据库中修复小的损坏问题非常有用。 使用DBCC CHECKDB修复损坏的MDF文件的步骤 首先,您需要通过执行以下查询在损坏的SQL数据库上运行DBCC CHECKDB:
注意:您还可以使用DBCC CHECKDB定义一些选项,如no_infomsgs和infomsgs。 之后,您需要检查索引ID。 情况1:如果索引ID> 1,则将其放下并重新创建。 情况2:如果索引ID为0或1,则再次运行DBCC CHECKDB并使用适当的修复选项,如repair_rebuild,repair_fast或repair_allow_data_loss。
现在,为了确保零损坏,执行DBCC CHECKDB并显示一条消息,即DBCC CHECKDB在name_of_your_corrupt_database中显示0个分配错误和0个一致性错误。 如果手动方法失败怎么办? 手动解决方案并不总是一个万无一失的解决方案。 他们可能有一些限制。 例如,在严重损坏的MDF文件的情况下,手动失败很容易。 而且,手动解决方案要求用户在技术上强大。 因此,建议使用一些可靠的第三方软件来修复损坏的SQL数据库。 SQL数据库恢复程序是修复MDF文件中任何类型的损坏问题的最佳实用程序之一。 SQL恢复工具能够修复损坏的SQL数据库文件 - MDF和NDF。 它是一款无风险软件,可恢复存储在其中的所有数据项,如表格,规则,触发器,函数等。除此之外,软件只需几次点击即可修复数据库,而不会浪费任何时间。 从MDF文件修复损坏的SQL数据库的步骤 在本地机器上下载并运行SQL Recovery Program。
之后,打开您选择的损坏的SQL数据库文件(.mdf文件)。
选择扫描模式,然后单击确定。
该工具将提供存储在损坏的MDF文件中的数据项的预览。
点击导出保存恢复的数据库。
结论 数据库文件对于任何用户都非常重要,因为它们存储大量重要信息。 SQL数据库中的任何类型的损坏问题都可能给用户造成麻烦。 因此,为了克服所有这些问题,我们讨论了手动和专业解决方案来修复损坏的SQL数据库文件。
更多阅读
12种最受欢迎的编程语言
软考网络工程师准备篇(二):上午答题技巧
软考网络工程师备考篇(一):考前准备
- ?
最简单好用的电脑文件恢复方法-你敢看就能恢复
好孤独
展开
平时使用电脑的时候总是有个习惯,就是删除东西永远都喜欢用快捷删除,也正是因为这个习惯小编是倒了大霉,想想都后怕。
周五下班的时候老板交给我一个U盘,让我把里面客户的资料整理一下,以确保周一时候和一个大客户进行交接,可是却莫名其妙的点到了删除键,一下全部清空了,由于文件太大,没有经过回收站,还好有下面的这个恢复方法。
面对李先生这样的问题,作为普通电脑用户的我们,应该如何处理和应对呢?针对上述情况,行业之内资深的顶级数据恢复专家介绍到,清空电脑回收站造成的数据丢失问题非常常见,缺乏积极有效的应对措施是造成类似问题的首要原因。据介绍,将重要的资料定期备份可以有效地预防误删除、文件丢失、存储设备损坏等情况下造成的数据丢失问题。然而,目前来说,绝大多数的用户都没有养成备案数据的良好习惯。
那么在我们遇到电脑回收站清空的问题,应该如何找回数据呢?因为数据丢失了,我们还得需要去解决,正常的情况下,我们数据丢失之后,应该立即停止电脑的文件的写入和删除操作,寻求数据恢复专家远程服务或者专业的数据恢复软件进行恢复。
这里给大家介绍使用互盾免费恢复数据软件,就能帮助我们解决这个问题。这个软件我们可以从各大网站下载,大家一定要从正规渠道下载,不然下载到的软件会对数据造成二次破坏。
1,将互盾免费恢复数据软件安装到电脑上,安装完成后,直接运行软件,进入恢复模式的选择,这里选择“误删除文件”恢复模式。
2,软件跳转界面进入第二步,在这里可以看见电脑上的所有磁盘分区,请选择被彻底删除的文件所在的分区,然后点击“下一步”按钮进入下一步的操作。
3,软件开始扫描被我们选中磁盘中的所有文件,在磁盘数据库中深度扫描,不放过任何一个残留的碎片,请耐心等待片刻。
4,文件扫描结束后,请点击文件类型,在图片、文档、视频等类型中选择要恢复的,请勾选要恢复的文件,点击“下一步”。
5,这时候就可以选择一个目录储存即将要恢复的文件,点击“浏览”按钮,在弹出的对话框中设置一个储存路径,然后点击“选择文件夹”即可。
6,最后一步,请点击“下一步”按钮,即进入文件恢复阶段,等待文件恢复完成即可。
再没有备份的情况下,大家一定要好好的注意自己的操作,再碰到误删的情况,利用以上的方法就可以帮助大家找回那些误删的文件了!
- ?
sql server数据库错误数据恢复方法
毕尔白
展开
1.硬件设备清单:
硬件设备配置情况2.故障描述:
需要进行数据恢复的服务器是一台r520型号存储,共有7块SAS硬盘分别组成raid1和raid5两组磁盘阵列。主要sql server数据库存放在C盘中,在使用过程中,客户发现C盘容量即将占满,于是将数据库路径指向了D盘,在D盘生成了一个.ndf文件。客户在继续使用了大约10天之后,数据库出现故障,连接失效,无法正常附加查询。
3.备份数据:
考虑到数据的安全性以及可还原性,在做数据恢复之前需要对所有源数据做备份,以防万一其他原因导致数据无法再次恢复。使用dd命令或winhex工具将所有磁盘都镜像成文件。
4.故障分析:
(a)分析故障原因;由于数据库文件所在磁盘容量不足,导致数据库无法继续正常运行,出现逻辑错误。
(b)分析RAID组结构;客户服务器上共7块300G硬盘,其中2块硬盘做RAID 1,用于安装操作系统,其余5块硬盘做RAID 5存放数据。分析RAID 1和RAID 5的相关结构,重组虚拟出RAID 1和RAID 5,查看其中数据。
(c)分析原始数据库文件;由于客户在数据库发生故障之后,进行过多次数据库恢复尝试,并且每一次尝试都是在源环境下进行的,导致原始数据库文件被更改覆盖,并且磁盘空间被多次复写,无法使用尝试恢复之后的数据库文件进行修复。询问客户得知,客户在数据库发生故障的时候,备份过一分原始的故障数据库文件。
5.数据库修复:
从虚拟出的RAID 5空间中将客户之前备份的数据库文件拷贝出来,尝试在数据库中附加,附加失败,错误提示如下图一:
数据库附加失败错误提示主数据库文件和次级数据库文件不匹配,查看.ndf文件底层,发现.ndf文件中几乎没有数据,尝试取消.mdf文件和.ndf文件之间关联,只用.mdf文件进行附加。尝试后发现,只用.mdf文件附加时也发生错误,但是错误提示改变。图二:
mdf文件附加错误此时错误提示日志文件(.ldf)和数据库文件(.mdf)不匹配。之后对数据库尝试进行无数据库附加,附加成功。但是发现数据库系统表损坏,无法正常使用。图三
数据库系统表损坏对数据库的系统表尝试修复,但由于系统表损坏过于严重,无法修复。数据库记录提取;解析数据库文件中的数据库记录;编写相应的程序提取数据库文件中的数据库记录;根据客户以前的数据库备份获取数据库中的表结构;重构表结构并肩提取出的数据库记录导入到新的表中。
6.数据验证:
由客户对提取出的数据库记录进行验证,所有数据完全恢复,本次数据恢复成功。
7.数据恢复结论:
在数据库使用过程中,要合理分配数据库文件所在磁盘空间,及时清理垃圾数据,保证数据库的正常、安全运行。
- ?
某单位5个数据库丢失的数据恢复过程
紫丝
展开
故障描述:
5块2T硬盘组建RAID5,划分LUN供windows服务器使用。在windows服务器内装有Sql Server2008数据库。存储空间内共有三个逻辑分区,大小分别为500G、800G、2.3T。数据库文件丢失,主要涉及五个数据库,表个数约为6000个左右。丢失原因未知,且不能确定数据存储位置。三个数据库的大小分别为8G、15G、20G。在文件丢失后服务器仍处于开机状态,但并未写入大量数据。
初检流程:
1、使用RAID信息及内部数据块信息重组RAID。
重组RAID2、提取LUN内三个分区镜像。
3、扫描文件系统内丢失文件,未找到被删除数据库文件。
4、初检结果为数据库文件丢失,通过文件系统角度无法恢复。
恢复流程:
1、制定恢复方案。在数据库文件被删除且判定为无法恢复文件后,只能通过扫描数据页,并提取页内记录的方式进行恢复。
2、使用北亚自主编数据页扫描程序扫描分区内数据页并提取。在分别扫描两个分区镜像后发现500G系统盘内数据页数量极少且数据页断裂情况严重,另一分区内扫描到数据页个数较多。暂定此分区为数据库文件存储空间。
扫描数据页3、重组系统表。Sql Server数据库使用系统表来管理所有用户表,在这些系统表内记录了各表的列数、数据类型及约束信息等。解析系统表过程中发现提取出的数据页内系统表损坏,无法正常读取信息。在与客户沟通后得知有备份文件,且备份完成后没有大量改动表结构,系统表可用。
4、还原备份。
还原备份5、分别提取三个库中各表表结构信息
提取表结构信息6、解析表结构脚本。将各表的列信息存入数据库内便于后续使用。
扫描脚本文件表结构信息存入数据库7、解析系统表获取用户表id信息、关联表结构与数据页。(为保护客户隐私,后续步骤涉及用户表表名及数据页内数据部分均未截图)
8、新建数据库,使用北亚自主编写软件解析记录并导入到恢复环境内。
9、整理恢复结果。在此分区内除数据库文件外还存有备份文件若干,所以在导出记录后可能存在重复数据,必须去重。编写SQL存储过程进行去重。
数据库去重10、客户验证数据。客户在查验过数据后表示数据可以接受,移交数据到客户存储设备,恢复成功。
- ?
MySQL数据库误删恢复
怜蕾
展开
这世界上有后悔药-houhuiyao.cc 后悔药数据恢复 站长语
前面介绍了MySQL数据库在使用InnoDB引擎时,如果误删了数据表,在共享表空间MySQL数据表InnoDB引擎表误删恢复(共享表空间ibdata1)和独立表空间MySQL数据表InnoDB引擎表误删恢复(独立表空间innodb_file_per_table=1)的情况下如何恢复数据。
本文将探讨下MySQL数据库误删恢复。
后悔药数据恢复提醒您:
1,首先需要说明的是,生产环境下慎重执行删除操作,除非你确实明白自己在做什么,否则不执行危险动作。
2,有条件的情况下,依靠系统来管理数据和数据库,尽可能降低依潜在的管理的风险。
3,数据库有Update、Delete、Insert、Truncate、Drop类操作,先在测试环境执行一次,看结果和预期是否相符。生产环境执行前,先对要操作的表做一个备份,以防万一。后续将针对每个危险动作如何在生产执行时即准备好危机应对动作做一个探讨。
4,备份,备份,备份。
数据库误删,不管是使用的rm -rf testdb还是drop database testdb,最终的效果都是一样的:数据目录下的testdb目录及目录下的文件都不可见了(和之前介绍的Linux下恢复删除的情况一致),实际上文件内容依然还在那里如果没有数据覆盖上去的话。
#测试环境准备命令:mysql> create database testdb;Query OK, 1 row affected (0.08 sec)mysql> mysql> use testdb; Database changed mysql> mysql> create table aa(id int not null primary key, name varchar(20)); Query OK, 0 rows affected (0.34 sec)mysql> mysql> insert into aa values(1,'a'),(2,'b'),(3,'c'),(4,'d'); Query OK, 4 rows affected (0.17 sec) Records: 4 Duplicates: 0 Warnings: 0mysql> select * from aa; +----+------+ | id | name | +----+------+ | 1 | a | | 2 | b | | 3 | c | | 4 | d | +----+------+ 4 rows in set (0.00 sec)
testdb数据库表文件:
MySQL数据库恢复#删除数据库:#使用SQL命令 drop database testdb;#使用rm rm -rf testdb/
那么,这种情况下的数据库恢复动作就简单了,参考前面介绍Innodb引擎时的恢复方法即可:
1,完整的恢复testdb目录及目录下的文件即可找回删除掉的库名和表数据,然后针对具体的表引擎,将数据重新导入到数据库中即可。
2,如果找回的是非完整的,那么操作思路是一样的,能恢复多少恢复多少,剩余的如果实在找不回来,从最近一次的备份里提取,然后依靠其他手段比如单据来补全数据。
还是不知道怎么恢复MySQL数据库?找后悔药MySQL数据恢复houhuiyao.cc吧!
- ?
SQL2008数据库的备份与还原
彭元绿
展开
一、上期我们分享了SQL2000数据库的备份与还原,这期我们再来分享下SQL2008数据库的备份与还原。
二、SQL2008数据库的备份
1、登录sql server management studio
2、选择要备份的数据库,右键—任务—备份
3、添加备份目标,并输入备份文件的名称
4、这是选择好后的显示页面,确定再确定即开始备份并完成
三、数据库还原
1、选择要还原的数据库—右键—任务—还原
2、如图,刚才备份的数据库会直接显示,可以直接还原
3、注意选项中要勾选“覆盖现有数据库”,“还原为”的路径一定确保正确
4、另外一种情况是通过源设备选择还原的文件
5、“文件类型”要选择所有文件,否则看不到备份是文件
6、勾选“还原”,确定即可完成还原
- ?
全栈之路:从阿里云自动备份文件ibd,frm中恢复数据库数据
渺茫
展开
欢迎点击右上角+关注,反正动动手指也不会怀孕,更重要是希望能在工作中帮助到您。
前言
[代码笔记]为一系列的文章,从一个python,django完整项目的环境和工具讲起,随时供自己备查,进阶全栈工程师的狂暴之路。
开始
阿里云的RDS数据提供了默认的自动数据库备份功能,但当面临单表数据误删,或者单表误drop的情况,如果使用物理全备进行恢复呢?我就遇到这个麻烦问题。
因为这个备份文件的恢复并不是sql的全量备份,而是基于innodb的文件备份。
下载备份文件
首先从阿里云下载了名字类似为hins1751639_data_20170424063544.tar.gz的备份文件到本地。看到解压缩开的一堆文件如下图所示
tar-xzvfhins1751639_data_20170424063544.tar.gzhint
备份文件解压
其中wonderland目录下是当前的数据库里数据文件
我要用到的是web_store表,对应的文件为web_store.ibd和web_store.frm
找回表结构
表结构没丢的话直接跳过本节,看下一步
1进入mysql,创建一个新的临时数据库
CREATEDATABASEsstestDEFAULTCHARACTERSETutf8;
2创建一个表结构,和要恢复的表名是一样的。表里的字段无所谓,一定要是innodb引擎的
CREATETABLEweb_store(idint(11)NOTNULLAUTO_INCREMENT,namevarchar(128)NOTNULL,)ENGINE=InnoDBAUTO_INCREMENT=53DEFAULTCHARSET=utf8;
3关闭mysql
mysql.servicestop
4用需要恢复的web_store.frm覆盖新建的frm文件,我在mac本地的数据文件路径在/usr/local/mysql/data/sstest/
cpweb_store.frm/usr/local/mysql/data/sstest/web_store.frm
5参考资料说要修改my.ini里innodb_force_recovery=1,如果不成修改为2,3,4,5,6。,我在本地没有这个文件,跳过了这一步
6启动mysql
mysql.servicestartshowcreatetableweb_store
看到表结构
找回数据
2废掉表空间,使当前的ibd和frm分离
altertableweb_storediscardtablespace;
3把之前要恢复的.ibd文件复制到新的表结构文件下,使当前的ibd和frm发生关系
altertableweb_storeimporttablespace;
这里没错误的话就已经建立好了。
4把所有数据导出后,在新的数据库导入
参考命令
1导出一个表,包括表结构和数据
mysqldump-u用户名-p密码数据库名表名>导出的文件名mysqldump-uroot-ptestweb_store>web_store.sql
2在mysql里导入sql语句
source~/web_store.sql
3改变文件拥有者和群组权限,mysql有可能因为权限问题读去不了对应的frm和ibd文件
sudochown_mysql:wheelweb_store.frm
个人警醒
在做任何的数据库sql导入之前,务必先导出备份一下,会有各种意想不到的麻烦逼你找回原有数据的,即使有方法解决也会非常被动