Warning: session_start(): open(/tmp/sess_albea4u6p7r0med8oo63a8ek24, O_RDWR) failed: Disk quota exceeded (122) in /home/tensungn/public_html/www.tzlink.com/info/show.php on line 8

Warning: session_start(): Cannot send session cookie - headers already sent by (output started at /home/tensungn/public_html/www.tzlink.com/info/show.php:8) in /home/tensungn/public_html/www.tzlink.com/info/show.php on line 8

Warning: session_start(): Cannot send session cache limiter - headers already sent (output started at /home/tensungn/public_html/www.tzlink.com/info/show.php:8) in /home/tensungn/public_html/www.tzlink.com/info/show.php on line 8
SQL Server数据库迁移偏方 - MySQL/MSSQL编程 - 站长之家

热烈祝贺台州维博网络的站长论坛隆重上线!(2012-05-28)    热烈庆祝伟大的祖国60周年生日 点击进来我们一起为她祝福吧(2009-09-26)    站长论坛禁止发布广告,一经发现立即删除。谢谢各位合作!.(2009-08-08)    热烈祝贺台州网址导航全面升级,全新版本上线!希望各位一如既往地支持台州网址导航的发展.(2009-03-28)    台州站长论坛恭祝各位新年快乐,牛年行大运!(2009-01-24)    台州Link正式更名为台州网址导航,专业做以台州网址为主的网址导航!(2008-05-23)    热烈祝贺台州Link资讯改名为中国站长资讯!希望在以后日子里得到大家的大力支持和帮助!(2008-04-10)    热烈祝贺台州Link论坛改名为台州站长论坛!希望大家继续支持和鼓励!(2008-04-10)    台州站长论坛原[社会琐碎]版块更名为[生活百科]版块!(2007-09-05)    特此通知:新台州站长论坛的数据信息全部升级成功!">特此通知:新台州站长论坛的数据信息全部升级成功!(2007-09-01)    台州站长论坛对未通过验证的会员进行合理的清除,请您谅解(2007-08-30)    台州网址导航|上网导航诚邀世界各地的网站友情链接和友谊联盟,共同引领网站导航、前进!(2007-08-30)    禁止发广告之类的帖,已发现立即删除!(2007-08-30)    希望各位上传与下载有用资源和最新信息(2007-08-30)    热烈祝贺台州站长论坛全面升级成功,全新上线!(2007-08-30)    
便民网址导航,轻松网上冲浪。
台州维博网络专业开发网站门户平台系统
您当前的位置: 首页 » MySQL/MSSQL编程 » SQL Server数据库迁移偏方

SQL Server数据库迁移偏方

论坛链接
  • SQL Server数据库迁移偏方
  • 发布时间:2011-05-04 15:53:10    浏览数:6023    发布者:abcdef133    设置字体【   
一、目的

之前在博文SQL Server数据库最小宕机迁移方案中提到了使用了完全备份+差异备份的功能完成了数据库的转移,但是这个方法在遇到了700多G的数据时显然不适用,所以这篇中我是如何迁移700G的数据库到新的服务器的。

二、分析与设计思路

(一) 环境描述

我们的数据库使用了SQL Server 2005的,部署在Windows Server 2003 x86位操作系统上,有一个表占了这个数据库大部分的空间。

面对上面的情况,我们的数据库压力比较大了,所以我们打算在同一个集群中找另外一台机器,转移这个数据库的数据过去,通过设置新服务器的一些参数来达到优化这个数据库的目的。

(二) 数据分析

在拿到一个数据库的时候,我们应该查看这个数据库相关的信息,在了解了数据库的情况和参数之后再做出初步的评估,比如我们需要知道这个700G的数据库中那些表占用了多少空间,索引占了多少空间(有一个SQL可以直接查看到这些信息),是否做了表分区。

了解参数的时候可以看看服务器硬件信息,比如内存、硬盘、是否做了RAID策略、什么操作系统、数据库的版本、内存的压力、CPU的压力等等信息。了解这些信息是我们决定是否迁移到新的服务器的重要因素。

如果决定了进行数据迁移,那么为了不影响我们的生产的数据库,让生产数据库还能进数据,我们一次要搬多少条记录才是合适的,这个我们也是需要计算的。(搬迁的Job尽量让时间间隔大点,如果前一个Job还没有执行完的话,后一个Job即使到了时间也是不会执行的。)

(三) 设计思路

创建一个表。这个表用来保存我们一次需要转移的多少数据的ID值;(这个ID是我们要迁移表的主键,自增字段)。那我们需要一次性迁移多少数据呢?这个我们可以通过计算比如1000条记录有多少M,一次传输对局域网的压力大嘛?最好让ID是一个整千或者整万的整数,这样方便记录和查看。

创建一个服务器对象-链接服务器。这样就可以读取到其它服务器上的数据库了,可以进行数据搬迁了(注意这里需要设置链接服务器的帐号和密码)

创建一个存储过程。用于读取、控制转移数据,这存储过程需要比较智能一点,它需要解决下面缺陷中提到的几个问题。

创建一个Job。这个Job就调用这个存储过程,不过需要尝试多几次调用的频率问题。

三、参考脚本

下面列出一些重点的sql,供参考。

--1.1,创建表


CREATE TABLE [dbo].[Temp_MoveManage](

[Id] [int] NOT NULL,

[IsDone] [bit] NOT NULL,

[UpdateTime] [datetime] NULL,

CONSTRAINT [PK_Temp_MoveManage] PRIMARY KEY CLUSTERED

(

[Id] ASC

)WITH (IGNORE_DUP_KEY = OFF) ON [PRIMARY]

) ON [PRIMARY]


--1.2插入数据


declare @i int

set @i=1

while @i < 50000000

begin

insert into dbo.Temp_MoveManage values(@i,0)

set @i = @i + 50000

end


--1.3测试

select * from Temp_MoveManage


--2,链接服务器(省略)

--3,存储过程


SET ANSI_NULLS ON

GO

SET QUOTED_IDENTIFIER ON

GO

-- =============================================

-- Author: <Viajar>

-- Create date: <2011.04.14>

-- Description: <转移数据>

-- =============================================

ALTER PROCEDURE [dbo].[sp_GetMoveData]

AS

BEGIN

DECLARE @Id1 INT,@Id2 INT

DECLARE @MaxId INT--原表的最大值

SET @Id1 = 0

SET @Id2 = 0

SELECT TOP 1 @Id1 = Id FROM Temp_MoveManage WHERE IsDone = 0 ORDER BY Id

SELECT TOP 1 @Id2 = Id FROM Temp_MoveManage WHERE IsDone = 0 AND Id > @Id1 ORDER BY Id

SELECT @MaxId = MAX(Id) FROM [dbo].[ClassifyResult]

IF(@Id1 != 0 AND @Id2 != 0 AND @MaxId>=@Id2)

BEGIN

DECLARE @sql VARCHAR(MAX)

SET @sql = '

SET IDENTITY_INSERT [ClassifyResult_T] ON

INSERT INTO [dbo].[ClassifyResult_T](

[Id]

,[ClassId]

,[ArchiveId])

SELECT

[Id]

,[ClassId]

,[ArchiveId]

FROM [dbo].[ClassifyResult]

WHERE Id >= '+ CONVERT(VARCHAR(100),@Id1) + ' and Id < '+ CONVERT(VARCHAR(100),@Id2) + '

ORDER BY Id

SET IDENTITY_INSERT [ClassifyResult_T] OFF '

EXEC (@sql)

UPDATE Temp_MoveManage SET IsDone = 1 WHERE Id = @Id1

END

END


--4,Job(省略)

四、缺陷

缺陷1:在CreateTable生成的表中,最后一条记录无法执行,因为最后一个Id是使用《,没有用=,所以在转移的表中最后一条记录是没有转移过分区表的;

缺陷2:如果转移表的记录同时在不断的增长,那么数据就无法把最新的数据转移到分区表了;针对这个缺陷,本来的想法是为搬迁辅助表的Id分段加多一些记录,这样就可以执行最新数据;

缺陷3:对于上面的那个问题,也是有缺陷的,例如现在Id分段是100和200,当新数据Id》100的某段时间,这两个分段值的IsDone就会给更新为1,这样就会造成缺失了很多数据;针对这个缺陷,也是可以解决的,先去判断当新数据的Id》200的时候,才执行导Id为100和200分段的脚本;(在存储过程中判断Max(Id)就可以了)

五、注意

对磁盘做RAID0(看具体情况而定)之后的创建分区时需要设置64K的分配单元大小;

64位操作系统和64位数据库系统;

搬迁完之后需要创建这表必要的索引,迁移的时候没有创建索引是因为频繁的插入会影响索引,这些索引需要进行存储位置对齐;

因为把数据库搬迁到新的服务器了,程序链接的IP地址就需要修改,如果很多程序需要修改链接地址,那我们又没办法解决呢?可以通过修改服务器的IP;

测试相关的应用程序,测试数据库的运行情况;

六、其它

这是一些朋友的建议,这里还没有尝试,因为环境的限制,比如数据库是简单模式了等情况。这里记录下,期待适合环境的童鞋拿去用。

用Mirror迁移

考虑Log Shipping

先完整备份并在目标服务器还原,迁移前先进行事务日志备份并还原,最后将原库所有数据库账号改为只读,然后再进行一次事务日志备份并还原,这样宕机时间会进一步减少,而且如果相关应用不需要写库,那么在宕机时间段里对应用也不会有太大影响。
娱乐休闲专区A 影视预告B 音乐咖啡C 英语阶梯D 生活百科
网页编程专区E AMPZF HTMLG CSSH JSI ASPJ PHPK JSPL MySQLM AJAX
Linux技术区 N 系统管理O 服务器架设P 网络/硬件Q 编程序开发R 内核/嵌入
管理中心专区S 发布网址T 版主议事U 事务处理

Warning: Unknown: open(/tmp/sess_albea4u6p7r0med8oo63a8ek24, O_RDWR) failed: Disk quota exceeded (122) in Unknown on line 0

Warning: Unknown: Failed to write session data (files). Please verify that the current setting of session.save_path is correct (/tmp) in Unknown on line 0