?
快捷搜索:  as  test  1111  test aNd 8=8  test++aNd+8=8  as++aNd+8=8  as aNd 8=8

随便玩长沙麻将 破解:亦博游戏平台:在SQL Server 2008中实现CDCSQL Server 2008

?

长沙转转麻将必胜口诀 www.fv7j.com.cn 此文章基于SQL Server 2008 CTP3 (Jun 04, 2007)。

change data capture是在每次对数据库履行insert、update、delete操作的时刻,捕获变化数据的措施,这在数据仓库中是常用到的技巧手段。Oracle早在9i中就加入了这一特点,在亦博游戏平台多年后的本日,SQL Server总算是供给了同样的功能。

CDC的道理是每次对源表(Source Tables)履行insert、update、delete时,数据库事务日志会记录DML造成的变化数据,然后捕获处置惩罚历程将日志中源表的变化数据写入变化捕获表(Change Tables),着末ETL对象应用CDC查询函数将变化数据抽取到数据仓库。

比拟起在源表建立匆匆发器,CDC对源表事务机能影响小,而且可以获取变化元数据。

这里示范一个CDC历程

第一步 启用数据库的SQL Server Agent。

第二步 建立一个数据库Database for CDC。

第三步 然后以办事角色sysadmin的用户登录,履行下面的敕令:

USE[DatabaseforCDC];

GO

EXECUTE[sys].[sp_cdc_enable_db_change_data_capture];

GO

履行敕令后即启用了数据库的CDC特点。启用CDC特点后系统会自动建扬名为CDC的构架和用户,并建立了几个用于CDC的数据表。

第四步 建立源表Source_Table,且将column_1列作为独一索引IX_Source_Table

第五步 履行敕令:

EXEC sys.sp_cdc_enable_table_change_data_capture

@source_schema = 'dbo'

, @source_name = 'Source_Table'

, @role_name = 'change_table_user1'

, @index_name = 'IX_Source_Table'

, @capture_instance = 'ST_Instance'

, @supports_net_changes = 1

, @captured_column_list = 'column_key, column_1, column_2'

, @filegroup_name = 'PRIMARY';

这个敕令指定捕获源表Source_Table的变更,参数阐明如下:

参数

阐明

source_schema

源表的构架名

source_name

源表名

role_name

获取变更数据的数据库角色,假如角色不存在,sp_cdc_enable_table_change_data_capture历程履行成功后会创建角色

index_name

独一索引名,不是必须的,假如源表没有主键可以指定独一索引以确定哪一行数据是变化数据

capture_instance

捕获实例,一个源表最多可以有亦博游戏平台两个实例

supports_net_changes

是否捕捉净变更数据,假如是的话,源表必须有主键或者指定独一标识列

captured_column_list

必要在变化捕获表中保存的列

filegroup_name

变化捕获表应用的文件组

为源表Source_Table成功建立捕获实例ST_Instance后,系统自动建立了变化捕获表ST_Instance_CT,变化捕获表的命名规则是实例名+CT。

对源表履行DML敕令时,每行受到DML影响的数据都邑在变化捕获表中保存数据,不合的DML亦博游戏平台敕令在变化捕获表中保存的数据不合。

敕令类型

每行数据在变化捕获表的保存环境

insert

保存插入行的数据

delete

保存删除行的数据

update

保存两行数据,一行是更新前的,一行是更新后的

可以看到,变化捕获表中除了我们必要保存源表的三个列外,还多出了5个以”__$”开首的列,用于记录元数据。

列名

阐明

__$start_lsn

日志中序列号,在对源表履行DML时,每个事务有一个日志序列号

__$end_lsn

空,不应用

__$seqval

在一个事务中,DML影响行的序列号

__$operation

识别履行的是何种DML,1=delete,2=insert,3=update(更新前),4=update(更新后)

__$update_mask

用2进制标识哪一列发生变化

可以先试着履行下面的敕令,以查验CDC的效果:

insertdbo.source_table

values('ck_1','c1_1','c2_1','c3_1');

insertdbo.source_table

values('ck_2','c1_2','c2_2','c3_2');

insertdbo.source_table

values('ck_3','c1_3','c2_3','c3_3');

updatedbo.source_table

setcolumn_2='c2_2_c'

wherecolumn_key='ck_2';

updatedbo.source_table

setcolumn_key='ck_3_c'

wherecolumn_key='ck_3';

deletedbo.source_table

wherecolumn_key='ck_3_c';

select*fromcdc.st_instance_ct;

将cdc.st_instance_ct表中数据列出来后如下:

__$start_lsn

__$end_lsn

__$seqval

__$operation

__$update_mask

column_key

column_1

column_2

1

0x0000002D000001A1002C

NULL

0x0000002D000001A10012

2

0x07

ck_1

c1_1

c2_1

2

0x0000002D000001A90004

NULL

0x0000002D000001A90002

2

0x07

ck_2

c1_2

c2_2

3

0x0000002D000001AB0004

NULL

0x0000002D000001AB0002

2

0x07

ck_3

c1_3

c2_3

4

0x0000002E0000007E0022

NULL

0x0000002E0000007E0020

3

0x04

ck_2

c1_2

c2_2

5

0x0000002E0000007E0022

NULL

0x0000002E0000007E0020

4

0x04

ck_2

c1_2

c2_2_c

6

0x0000002E000000830007

NULL

0x0000002E000000830002

3

0x01

ck_3

c1_3

c2_3

7

0x0000002E000000830007

NULL

0x0000002E000000830002

4

0x01

ck_3_c

c1_3

c2_3

8

0x0000002E0000008A0006

NULL

0x0000002E0000008A0004

1

0x07

ck_3_c

c1_3

c2_3

此中__$update_mask是受影响的列,对insert和delete来亦博游戏平台说,影响整个的列,以是值是111(十进制的7);对column_key更新时,值是001(十进制1);对column_2更新时,值是100(十进制4)。

变化数据查询

变化捕获表是那些CDC实例名+CT的表,表中记录了源表的数据变化历史。但平日要按照必然的要求查询这些变化。

在数据库的CDC构架中,除了变化捕获表外,还可看到有5个在数据库启用CDC时建立的表:

表名

感化

captured_columns

记录所有CDC实例要保存的列

change_tables

记录所有的CDC实例

ddl_history

记录所有源表由DDL孕育发生的变化

index_columns

记录CDC实例应用的独一索引

lsn_time_mapping

记录日志序列号的光阴,每个DML事务都有一个日志序列号

除了关联查询这些CDC表外,SQL Server 2008里还有多个CDC函数和储存历程,用于查询变化数据。

1. 日志序列号与事务光阴的变换

在change tables中没有记录事务发生的光阴,只记录了事务的日志序列号(lsn),而日志序号号对应的光阴记录在lsn_time_mapping表中。sys.fn_cdc_map_lsn_to_time和sys.fn_cdc_map_time_to_lsn是两个用于转换日志序列号与事务光阴的函数;sys.fn_cdc_map_time_to_lsn用于获取某一光阴段内的所有日志序列号。

2. 最小和最大年夜日志序列号

sys.fn_cdc_get_min_lsn和 sys.fn_cdc_get_max_lsn函数得到今朝存在的最大年夜和最小日志序列号。

3. 查询变化数据

cdc.fn_cdc_get_all_changes_函数用于查询实例中满意要求的所有变化记录。cdc.fn_cdc_get_net_changes_函数用于查询实例中满意要求的净变化记录,所谓的净变化记录既是着末一次DML操作后源表的记录,比如在对一行数据进行了多次update后,应用cdc.fn_cdc_get_all_changes_亦博游戏平台会返回所有更新前和更新后的数据记录,而净变化只返回着末一次更新后的记录。

4. 获取变化列

在对源表进行update操作后,无意偶尔必要知道更新的是哪一列。在变化捕获表中__$update_mask字段保存变化列的2进制编码。sys.fn_cdc_is_bit_set用于返回列序的二进制值,比如要知道第3 列是否变化,应用sys.fn_cdc_is_bit_set( 3, __$update_mask ),若返回1,则注解第3列变化,返回0,则注解没有变化。别的要知道实例中的列是第几列,可应用sys.fn_cdc_get_column_ordinal函数。

5. 获取源表DDL变化历史

sys.sp_cdc_get_ddl_history函数用于查询对源表应用数据定义语句的历史,平日在用DDL改变源表时,也要应用同样的DLL改变变化捕获表。比如删除源表中某一列,或者将某一列的值类型由int改成long,那么变化捕获表也要随着变更。

变化数据的清理

变化捕获表中数据要周期性的加载到数据仓库中,被加载后的数据就要清理掉落,否则用于cdc的数据会越来越多。应用sys.sp_cdc_cleanup_change_table存储历程清除变化数据。此外,在启用数据库CDC时,系统自动在SQL Server Agent中加入逐日清除变化数据的功课。

停用CDC

sys.sp_cdc_disable_table_change_data_capture存储历程用于停用CDC实例。sys.sp_cdc_disable_db_change_data_capture存储历程用于停用数据库CDC功能。

小结

CDC是在SQL Server2008 CTP3中才加入特点,在前两个CTP中还没有呈现过,可以看到还有些不尽人意,没有Oracle那么完善,盼望在正式版中能进一步改进。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

您可能还会对下面的文章感兴趣: