软件：用友，速达，管家婆，远光，奇安、金蝶、美萍、百威、广联达……等各种财务软件、医药软件、医院软件、汽配软件、服装软件、宾馆软件、书店软件、超市软件、OA办公自动化……等各种行业软件。

数据库：SQL，Oracle，Sybase，Access、dBase，FoxBase……等各种版本的新老数据库。

故障：数据库质疑，删除库内表，格式化，重做系统，重分区，系统还原，软件报错，数据错乱，备份覆盖，硬盘损坏……

收费：根据故障轻重和数据库文件的容量收费，500元起，数据库文件容量越大，工作量越大，耗时越长，收费越高。

涉密：如果客户数据涉密和隐私，可以签订《数据保密协议》，保证数据不会有任何形式的泄露。

Oracle数据库备份和还原操作说明

使用Oralce数据库导出(expdp)、数据库导入(impdp)程序在Oracle数据库之间传输数据对象，进行数据库的备份和还原。数据泵程序需要在数据库服务端使用。使用导出备份时可能产生数据不一致，所以需要先停止应用程序，再进行导出备份。

以下假设数据库账户为imanage，对同名的schema进行备份和还原。

因为Linux系统中有文件权限控制，请用oracle用户登录操作系统，再进行以下操作。

1. 创建备份目录

1. 在数据库服务器上手工创建文件夹，比如：/home/oracle/data_dp，用于存放备份文件。比如，启动一个终端会话，执行以下命令。

2. 启动一个终端会话，使用sqlplus以system帐户登入数据库，并执行如下语句创建和查看目录EXPDP_DIR。如图1所示。

说明：EXPDP_DIR对应数据库服务器上已存在的路径，请根据实际环境修改。

3. 如果想用8thManage数据库账户来备份，需要授予读写目录EXPDP_DIR的权限，执行如下语句。如图1所示。

图1

2. 备份

启动一个终端会话，先设置NLS_LANG参数，再运行expdp，使用system帐户导出imanage schema。执行以下命令，如图2所示。

参数说明：

ORCL：数据库网络服务名(使用Oracle Net Manager配置)

directory：导出文件保存目录

schemas：要导出的方案的列表

dumpfile：导出备件文件名

logfile：导出的日志文件名

图2

3. 还原

此处假设还原的目标数据库的schema为new_imanage（数据库用户），数据库表空间为new_imanage。

1. 在sqlplus中，使用system帐户连接数据库查看是否存在同名的数据库表空间。查看语句如下：

如果已存在同名的数据库表空间，则跳到第2步操作；

如果不存在相同的数据库表空间，需先创建，执行语句如下：

注意：datafile的路径是数据库服务器操作系统中的路径，请根据实际环境修改。

2. 在sqlplus中，使用system帐户连接数据库查看是否存在同名的schemas。查看语句如下：

如果已存在相同的schemas，需先删除再创建。

删除schemas语句如下：

创建schemas语句如下：

3. 启动一个终端会话，先设置NLS_LANG参数，再运行impdp，使用system帐户导入imanage schema。执行以下命令：

参数说明：

ORCL：数据库网络服务名(使用Oracle Net Manager配置)

directory：备份文件保存目录(比如值为EXPDP_DIR)

dumpfile：使用的备件文件名

logfile：导入的日志文件名

remap_schema：将一个方案中的对象加载到另一个方案

remap_tablespace：将表空间对象重新映射到另一个表空间

备注：

还原时impdp.log文件中出现以下ORA-编号开头的信息是正常的，可以忽略。

ORA-31684: 对象类型 USER:"XXX" 已存在

ORA-39082: 对象类型 XXX 已创建, 但带有编译警告

ORA-39126: 在 KUPW$WORKER.PUT_DDLS [TABLE_STATISTICS] 中 Worker 发生意外致命错误 （这是最后导入统计信息出错，可以忽略）

备份：

就是将一个当前数据库系统中的“活”着的数据库，转换为一个死的不可操作的“数据文件”的过程。

恢复：

就是将“死”的数据文件，还原为活的可操作的数据库。

备份操作

在没有登录数据库系统的时候（登录前），使用mysql安装文件夹中的bin目录中的mysqldump命令来实现备份：

备份语法：

mysqldump -h要连接的数据库服务器 -u用户名 -p 要备份的数据库名 >要备份到的目标文件完整路径

注意：该命令需要在管理员模式下运行。

恢复操作：

通常的恢复操作，用于两种场景：

1，数据库迁移：从一台电脑，迁移到另一台电脑。

2，数据库本地还原：原数据库可能某种原因，损毁了，需要恢复！

而这里的演示，只能使用本地从一个数据库备份后，还原到另一个数据库中！！！

还原语法：

mysql -h数据库服务器 -u用户名 -p 要恢复的数据库名 < 要恢复的数据库文件完整路径

基础概念： 备份，将当前已有的数据或记录另存一份； 还原，将数据恢复到备份时的状态。 为什么要进行数据的备份与还原？ 防止数据丢失； 保护数据记录。 数据备份与还原的方式有很多种，具体可以分为：数据表备份、单表数据备份、SQL备份和增量备份。

最近，我们的朋友王会计，遇到了一些开心的烦恼。老板给王会计换了一台新电脑，据说还是core i7的处理器，但是王会计犯愁了，换了新的电脑，原来的个税数据都没有了，怎么办呢？

没关系，小编给王会计支了一招，聪明的王会计看了小编的流程图立马就完美解决了，nice！！！

流程图

第一步，先打开原来电脑上的金三个税客户端，选择 系统设置-系统管理-备份恢复。

第二步，在备份设置中，选择备份到选择路径，点击选择，可以保存到u盘里，点击确定，点击备份。（注意这里无法直接看到桌面上，建议直接放在u盘里）

提示数据库备份成功，点击确定。

第三步，u盘插入新的电脑，在备份恢复中，点击恢复设置选择到u盘里面的备份文件，点击恢复即可。

如果你不小心已经把系统重装了，怎么办呢？（目前金三个税系统升级后，一般系统会默认勾选“自动备份”功能。）小编支一招：

打开原来电脑，打开D:\Servyou\dataBackup文件夹，选择最近一次的备份dat文件，拷贝到u盘内。

然后，按照上面的第三步进行恢复即可。

很简单吧，这一招你学会了么？还没遇到？抓紧先收藏起来吧，更多精彩内容，就来关注苏州财猫云官网。

今日给大家分享下discuz论坛网站数据迁移及数据恢复，下面以虚拟主机为例。

1.首先我们登录论坛后台（域名/admin.php）对网站进行数据库备份，如图：

2.选择Discuz! 和 UCenter 数据开始备份，如图：

3.备份完成后查看是否备份成功，如图：

4.登录虚拟主机管理后台，对网站进行在线备份，这样备份是为了生成压缩包，方便下载。如图：

5.下载备份好的网站程序，通过ftp上传服务器web文件夹下，如图：

6.登录服务器后台对上传的网站备份压缩包进行在线解压，如图：

7.解压完成后安装网站，注意在安装程序前替换掉install文件夹，不然会报错不能安装，网站安装在这里不再做介绍，想了解的朋友可以看前面的文章。

8.网站安装完成后，进入后台我们是看不到备份文件的，这时我们需要输入http://域名/data/restore.php，而且我们要删除restore.lock文件不然不能恢复备份。如图：

9.删除restore.lock文件就可以选择备份数据进行恢复，所以在日常网站维护中我们要定期对网站进行备份，以防数据丢失一个。网站最主要的就是数据，做好数据备份才能保证你的网站数据不会丢失。

高可用性是数据库的关键指标，简单说就是要做到故障时间短，数据不丢失，能够回退到指定位置（时间/事务）。实现高可用的基础是数据库的备份与恢复技术。

PostgreSQL备份与恢复操作涉及的参数和相关文件较多，内部逻辑关系较复杂，恢复分类方式容易混淆，这些都会影响到PostgreSQL高可用方案的实现。

本文首先介绍通常的数据库故障场景与处理方案，然后通过梳理PostgreSQL数据库备份与恢复的相关文件、参数配置与主要流程，对PostgreSQL恢复方式进行了清晰分类，最后给出了应对典型故障，PostgreSQL备份与恢复的配置方案。

一、故障场景和处理方案

数据库采用数据文件加日志文件，两份数据的存储方式。为提高性能，数据库运行时操作的数据位于内存缓冲区，缓冲区的数据延迟写入数据文件，因此数据文件会处于不一致的状态。数据的变更记录称为日志记录，日志记录以日志文件方式存储在磁盘上。日志记录也是先写入日志缓冲区，再写入日志文件。通过两个简单的规则Write-ahead log（将数据写入数据文件前，先将对应的日志记录写入日志文件）和Force log at commit（事务提交时，将其所有日志记录写入日志文件），可以保证通过日志文件完整的恢复数据文件。

传统的故障类型包括事务内部故障、系统故障、介质（磁盘）故障。对于事务内部故障和系统故障，数据库使用日志文件自动恢复，不需要人工干预。为应对介质故障，DBA需事先备份数据，发生故障后，使用备份数据恢复数据库。

可靠的磁盘设备可以大幅降低介质故障概率，但不能减少数据备份工作。一个常见的故障是数据误操作，即修改了不应该修改的数据。从数据库的角度看，误操作是正常的操作，不会进行自动恢复，只有使用备份数据才能恢复。同时，提供一段时间内历史数据的访问，也是一个常见的需求。

数据的备份与恢复可以分为逻辑与物理两种方式。

逻辑备份与恢复：备份时，使用工具将数据全量导出为外部文件，恢复时，使用工具，将备份文件导入新建的数据库

物理备份与恢复：备份时，配置实例处于归档模式，将生成的日志文件保持到指定位置。使用热备工具直接拷贝数据的数据目录，作为基线数据。恢复时，使用基线数据和日志文件将数据恢复到一致的状态。

逻辑方式不支持增量方式，适用于数据较小情况下的备份与恢复。物理方式支持增量备份，适合大数据量的备份与恢复。本文只讨论物理备份与恢复，下图为物理备份与恢复的基本流程。

在高可用需求中，当单台实例发生故障，需要快速提供备用实例。备份基线数据+日志文件的方式无法满足时间要求。通常采用主备（master/slave）方案，master与slave通过日志流复制进行同步，slave可以提供只读数据访问，当master发送故障后，直接将应用请求转发到slave。

在高可用方案中，需要支持介质故障恢复，实时故障切换，误操作数据恢复，查看历史数据等功能。流复制技术和物理备份与恢复的结合，可以满足数据库高可用的基本要求。

流复制

物理备份与恢复

介质故障恢复

支持

实时故障切换

不支持

误操作数据恢复

查看历史数据

PostgreSQL备份与恢复相关文件、参数配置与主要流程

PostgreSQL日志文件的命名

日志序号 (lsn:log sequence number) 标识日志记录在日志文件中的位置。lsn是一个64位的整数。PostgreSQL运行时生成的日志文件存放在数据目录下的pg_xlog目录，每个日志文件称为一个segment，日志文件大小固定，由wal_segment_size参数指定，日志文件内部划分为多个wal page，每个page的大小由wal_block_size参数指定。

对于一个64位的lsn，可以计算出其所在的xlog文件名。lsn可以划分segment序号高位，segment序号低位和块内序号三个部分。对于segment大小为64M和16M的情况如下：

16M：segment序号高位（32比特）+segment序号低位（8比特）+块内序号（24比特）

64M：segment序号高位（32比特）+segment序号低位（6比特）+块内序号（26比特）

Xlog文件名由三部分组成，格式为：时间线+segment序号高位+segment序号低位，每个部分都表示为一个8位16进制数字。取出lsn中的segment高位和segment低位数值，就可以确定其所在的xlog文件。

使用pg_current_xlog_location()查询当前lsn为0/1C000090（16进制高32位/16进制低32位），当前时间线为1，wal segment大小为64M，

根据64M大小日志文件名格式，可计算出lsn的segment序号高32位为0x0，segment序号低位为0x7， 块内序号为0x90，xlog文件名为000000010000000000000007

使用pg_xlogfile_name_offset()可以查询lsn对应的文件名文件内偏移，与上述计算一致。

checkpoint与control文件

PostgreSQL的数据文件和日志文件互为冗余。当某lsn之前的操作已经全部写入了数据文件后，则该lsn号之前的日志文件可以丢弃。checkpoint机制实现此功能。

checkpoint操作在以下场景执行：管理员手工执行check命令、数据库启动完成恢复、数据库正常关闭，以及后台Checkpoint进程的定期执行。

checkpoint流程可以简单描述为，首先构造checkpoint记录（redo字段为当前已写入日志文件的lsn），然后将数据缓冲区中的脏数据写入磁盘，最后写入checkepoint日志记录（包含checkpoint记录），并将checkpoint记录写入control文件。

512字节的control文件是PostgreSQL的关键数据，用于数据库启动时，判断数据库状态和恢复位置。controlfile文件中记录了数据库的状态，最近checkpoint记录，最小恢复lsn信息和基本的参数配置。数据库的状态包括：

DB_SHUTDOWNED（数据库正常关闭）

DB_SHUTDOWNED_IN_RECOVERY（数据库在恢复时关闭）

DB_SHUTDOWNING（数据库启动到正常关闭过程中崩溃）

DB_IN_CRASH_RECOVERY（数据库在恢复过程中崩溃），

DB_IN_ARCHIVE_RECOVERY（数据库处于归档恢复）

DB_IN_PRODUCTION（数据库处于正常工作状态，等待接受事务处理）

日志文件的生成与归档

PostgreSQL日志文件的segment序号从1开始，一个日志文件写完后，会写入下一个序号的日志文件。checkpoint之后，最近一次checkpoint.redo lsn之前的日志文件可以丢弃。PostgreSQL会循环使用日志文件。checkpoint操作中，会将可丢弃的日志文件改名为未来的日志文件名，并该日志文件重新初始化。PostgreSQL在写新的日志文件时，如果该文件已存在，则使用该文件，否则才会创建新的文件。因此不能从pg_xlog目录中的文件名直接判断当前的日志文件，需要使用pg_current_xlog_location和pg_xlogfile_name_offset函数进行判断。

为持久保存日志文件，需要开启日志归档模式。在该模式下，可丢弃日志文件被删除前，被拷贝到指定目录。在postgres.conf配置文件中设置三个参数：

wal_level=replica 或更高archive_mode = onarchive_command = 'cp %p /mnt/server/archivedir/%f'%p表示pg_xlog目录路径和日志文件名，%f表示日志文件名。 日志被拷贝到/mnt/server/archivedir目录

日志的归档过程如下：

checkpoint操作中，当一个日志文件X可丢弃时，在pg_xlog的archive_status目中生成X.ready文件。

后台archive进程负责日志文件的拷贝。该进程监控archive_status目录，当发现有X.ready文件名后，使用archive_command拷贝文件，并将X.ready命名为X.done

下一次checkpoint操作中，将archive_status目中X.done对应的X日志文件改名。

crash recovery

PostgreSQL正常运行中，直接kill主进程，重启PostgreSQL，将进入crash recovery处理流程，从control文件中checkpoint的redo lsn位置开始，

使用pg_xlog目录中的日志文件进行恢复。PostgreSQL能进行上述处理，是因为将其状态和最近的checkpoint记录在在control文件中。

初始化数据库后，control文件DB状态初始值为shutdown。pg启动时，当control文件DB状态为shutdown，则将状态设置为production，退出恢复过程。在正常关闭服务时，执行checkpoint，并将control文件DB状态设置shutdown。pg启动时，当control文件DB状态为production，则说明发生了crash，会从control文件读取最近checkpoint，从redo lsn开始进行恢复，恢复完成后，将状态设置为production。

热备

备份分为冷备和热备。冷备是正常关闭服务后拷贝文件。热备是服务正常运行中拷贝文件。由于采用数据缓冲区机制，拷贝的文件数据会不一致。根据数据库恢复基本原理，只要确定某lsn之前的日志已经全部写入了数据文件，则在拷贝后的数据文件上，应用该lsn号之后的日志文件，可将数据恢复到一致的状态。

热备包括以下步骤

执行pg_start_backup函数:该函数执行checkpoint，将checkpont信息写入数据目录下的backup_label文件。

拷贝数据目录到指定位置

执行pg_stop_backup函数:该命令删除backup_label文件，写XLOG_BACKUP_END日志，并在pg_xlog目录中写入backup文件，该文件记录了热备开始和结束的lsn信息。

backup文件格式为：热备开始lsn对应的日志文件名.开始lsn的块内偏移.backup

使用归档日志恢复

Crash recovery只能使用pg_log目录中的日志文件进行恢复，启用archive recovery模式后，可以使用其它目录的日志文件（归档日志文件）进行恢复。

在数据目录存创建recover.conf文件，PostgreSQL启动时，读取到该文件，会进入archive recovery流程。在recover.conf中设置日志拷贝命令restore_command，pg恢复过程中，使用该命令将归档日志拷贝到pg_xlog目录后进行恢复。

restore_command = 'cp /mnt/server/archivedir/%f "%p"'%f表示日志文件名 %p表示目标路径和文件名

使用流复制恢复

流复制可以视为archive recovery的一种情况。使用归档日志文件进行恢复时，备机需要获取主机一个完整xlog文件，才可进行恢复。在流复制中，主机产生日志记录后，会及时发送到备机。

在slave节点数据目录的recover.conf中，配置到主机的连接信息primary_conninfo并设置standby_mode为on。

standby_mode = 'on'primary_conninfo = 'host=192.168.1.50 port=5432 user=foo password=foopass'

master节点的postgres.conf文件中指定wal_level和发送日志进程的数目max_wal_senders。

wal_level=replica 或更高max_wal_senders=5

在master的pg_hba.conf文件中允许复制连接建立

host replication postgres 192.168.10.0/24 trust

slave启动后会启动wal reciver进程，根据primary_conninfo向master发送连接请求。master收到请求后，启动wal sender进程，wal sender与reciver建立连接。 wal reciver将起始的lsn信息发送给wal sender，wal sender从该lsn开始，将日志记录持续发送给wal reciver，wal reciver将日志写入pg_xlog目录中的日志文件，并通知恢复进程读取文件进行恢复处理。

恢复的退出与时间线

Crash recovery模式下，应用完pg_xlog目录中的所有可用日志文件后，自动退出恢复，进入运行状态。Archive recovery模式下，recovery.conf文件中参数standby_mode为off时，应用完所有日志后，自动退出恢复，进入运行状态。standby_mode为on时，应用完所有日志后，恢复流程不会退出，持续读取可用日志（来自于归档日志文件或流复制），当收到pg_ctl工具发出的promote命令后，才退出恢复流程，进入运行状态。

可以通过设置Recovery Target，使得archive recovery在指定的位置（时间或事务号）停止恢复。在recovery.conf文件配置如下参数，表示恢复流程在恢复完123947事务后结束。

recovery_target_xid = '123947'

时间线（Timeline）是PostgreSQL中的特有的概念。其初始值为1，退出archive recovery时，timeline增1，退出crash recovery时，timeline不变。Timeline反映在日志的文件名中，日志文件的命名格式为：时间线号+segment序号高位+segment序号低位。

引入时间线概念后，日志位置的唯一标识从lsn变为时间线+lsn，checkpoint的结构中记录了当前的timeline。

发生时间线切换时，在pg_xlog目录写入时间线history文件，文件名为"当前timelime.history"，文件内记录了时间线切换的历史纪录，每一行记录一条时间线信息，格式为。

parentTLI为时间线id，为切换发生后的lsn，为发生切换的原因。

从时间线history文件中，可以计算出每条时间线的开始和结束lsn。

时间线文件00000003.history，内容为1 0/14000060 no recovery target specified2 0/140420D0 no recovery target specified

该文件含义为当前时间线为3，时间线1的lsn范围[0/0,0/14000060)，

时间线2的lsn范围[0/14000060,0/140420D0)，时间线3从0/140420D0开始。

使用timeline有以下优点：

切换逻辑显得清晰。从时间线history文件，可以计算出每条时间线的开始和结束lsn。

避免归档日志的覆盖。当备机与主机的归档目录相同时，备机升级为主机后，生成的日志文件名与原主机不同（时间线不同），拷贝到归档目录后，不会覆盖之前的日志文件。

pg_basebackup、pg_rman工具

pg_basebackup和pg_rman为备份与恢复提供良好的操作管理界面，避免手工管理配置文件。

pg_basebackup是PostgreSQL自带的一个远程热备工具，可以将远程PostgreSQL热备到本地目录。其工作流程为，连接到一个远程PostgreSQL，执行pg_start_backup，将整个数据目录传输到本地，执行pg_stop_backup命令。

将地址为192.168.0.1的PostgreSQL，备份到本地usr/local/pgsql/data目录pg_basebackup -h 192.168.0.1 -U test -D /usr/local/pgsql/data

pg_basebackup支持在目标数据目录生成用于流复制的recovery.conf文件。

pg_basebackup -h 192.168.0.1 -U test -R -D /usr/local/pgsql/data

会在/usr/local/pgsql...

故障描述：

5块2T硬盘组建RAID5，划分LUN供windows服务器使用。在windows服务器内装有Sql Server2008数据库。存储空间内共有三个逻辑分区，大小分别为500G、800G、2.3T。数据库文件丢失，主要涉及五个数据库，表个数约为6000个左右。丢失原因未知，且不能确定数据存储位置。三个数据库的大小分别为8G、15G、20G。在文件丢失后服务器仍处于开机状态，但并未写入大量数据。

初检流程：

1、使用RAID信息及内部数据块信息重组RAID。

2、提取LUN内三个分区镜像。

3、扫描文件系统内丢失文件，未找到被删除数据库文件。

4、初检结果为数据库文件丢失，通过文件系统角度无法恢复。

恢复流程：

1、制定恢复方案。在数据库文件被删除且判定为无法恢复文件后，只能通过扫描数据页，并提取页内记录的方式进行恢复。

2、使用北亚自主编数据页扫描程序扫描分区内数据页并提取。在分别扫描两个分区镜像后发现500G系统盘内数据页数量极少且数据页断裂情况严重，另一分区内扫描到数据页个数较多。暂定此分区为数据库文件存储空间。

3、重组系统表。Sql Server数据库使用系统表来管理所有用户表，在这些系统表内记录了各表的列数、数据类型及约束信息等。解析系统表过程中发现提取出的数据页内系统表损坏，无法正常读取信息。在与客户沟通后得知有备份文件，且备份完成后没有大量改动表结构，系统表可用。

4、还原备份。

5、分别提取三个库中各表表结构信息

6、解析表结构脚本。将各表的列信息存入数据库内便于后续使用。

7、解析系统表获取用户表id信息、关联表结构与数据页。（为保护客户隐私，后续步骤涉及用户表表名及数据页内数据部分均未截图）

8、新建数据库，使用北亚自主编写软件解析记录并导入到恢复环境内。

9、整理恢复结果。在此分区内除数据库文件外还存有备份文件若干，所以在导出记录后可能存在重复数据，必须去重。编写SQL存储过程进行去重。

10、客户验证数据。客户在查验过数据后表示数据可以接受，移交数据到客户存储设备，恢复成功。

一、上期我们分享了SQL2000数据库的备份与还原，这期我们再来分享下SQL2008数据库的备份与还原。

二、SQL2008数据库的备份

1、登录sql server management studio

2、选择要备份的数据库，右键—任务—备份

3、添加备份目标，并输入备份文件的名称

4、这是选择好后的显示页面，确定再确定即开始备份并完成

三、数据库还原

1、选择要还原的数据库—右键—任务—还原

2、如图，刚才备份的数据库会直接显示，可以直接还原

3、注意选项中要勾选“覆盖现有数据库”，“还原为”的路径一定确保正确

4、另外一种情况是通过源设备选择还原的文件

5、“文件类型”要选择所有文件，否则看不到备份是文件

6、勾选“还原”，确定即可完成还原

一、数据库备份

1、打开企业管理器，如图所示操作

2、一般选择完全备份，添加备份目的

3、选择备份目录，输入备份数据库名称，接着按下图操作即可，直至完成备份

二、数据库还原

2、如果之前备份了库，在此处可以直接还原，请选择“在现有数据库上强制还原”

2、从设备还原，比如从别的服务器上拷过来的备份库，选择设备，添加还原设备，如下图操作即可，直至还原完成

3、如果还原时提示数据库正在被占用，可通过分离功能清除连接再进行还原；注意：使用分离功能只是清除连接，不要点“确定”真的分离数据库