MySQL同步 Oracle表 ogg

   2023-02-10 学习力0
核心提示:由于业务需要需要同步数据Oracle到MySQL使用工具OGG修改环境变量vi .bash_profile---需要添加环境变量,否则会报错(./ggsci: error whileloading shared libraries: libnnz10.so: cannot open shared object file: No suchfile or directory.)export LD_LIB

由于业务需要需要同步数据Oracle到MySQL使用工具OGG

修改环境变量vi .bash_profile          ---需要添加环境变量,否则会报错(./ggsci: error whileloading shared libraries: libnnz10.so: cannot open shared object file: No suchfile or directory.)
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/home/oracle/ogg              

下载安装包,并解压到相应目录

cd ogg/
./ggsci                ----进入ogg目录,输入./ggsci 进入ogg管理界面



$./ggsci
GGSCI (ora203) 1> create subdirs      -----创建sub目录   

Creating subdirectories under current directory /home/oracle/ogg

Parameter files                /home/oracle/ogg/dirprm: already exists
Report files                   /home/oracle/ogg/dirrpt: created
Checkpoint files               /home/oracle/ogg/dirchk: created
Process status files           /home/oracle/ogg/dirpcs: created
SQL script files               /home/oracle/ogg/dirsql: created
Database definitions files     /home/oracle/ogg/dirdef: created
Extract data files             /home/oracle/ogg/dirdat: created
Temporary files                /home/oracle/ogg/dirtmp: created
Stdout files                   /home/oracle/ogg/dirout: created


源端建立用户,并赋权限:
create tablespace GGS_TBS datafile '/oradata/ora203/ggs_tbs01.dbf' size 30G autoextend on;
create user ggs identified by ggs default tablespace GGS_TBS;

grant dba to ggs;



源端打开辅助日志

alter database force logging;                           ----切换到强制记录日志模式
alter database add supplemental log data;               ----打开辅助日志
select supplemental_log_data_min from v$database;

    SUPPLEMENTAL_LOG_DATA_MI
    ------------------------
             YES


各参数文件配置
配置MANAGER
	
    主库、目标库配置:

源端
edit params mgr                                     
Port 7809
--DYNAMICPORTLIST 7840-7939                          ----添加端口号
--AUTOSTART ER *
--AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
--PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
--LAGREPORTHOURS 1
--LAGINFOMINUTES 30
--LAGCRITICALMINUTES 45


目标端
edit params mgr
Port 7809
--DYNAMICPORTLIST 7840-7939
--AUTOSTART ER *
--AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
--AUTORESTART replicat *,RETRIES 5,WAITMINUTES 2,RESETMINUTES 10
--PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
--LAGREPORTHOURS 1
--LAGINFOMINUTES 30
--LAGCRITICALMINUTES 45


设置完成后,两端要 start mgr
各重要目录作用
--dirdat   存放Trail与Extract文件
--dirdef   存放defgen工具生成的源和目标库定义文件
--dirprm   存放参数文件
--dirrpt   存放进程报告
--dirpcs   存放进程状态文件
--dirsql   存放sql脚本文件
--dirtmp   存放当事务超过已分配内存,默认存储于此


配置抽取、初始化,定义文件(源端)
cd ogg/dirprm                                           ----cd到参数文件目录下
vi exta.prm                                             ----抽取进程
EXTRACT  exta
USERID ggs,  PASSWORD ggs
TRANLOGOPTIONS  EXCLUDEUSER ggs
RMTHOST  10.3.45.237, MGRPORT 7809                     ----目标端ip或通信ip
RMTTRAIL  /home/mysql/ogg/dirdat/ta                    ----为了使用方便,进程名字可以统一为表a(exta),表b(extb),
TABLE  wwb.emp;                                        ----用户.表名(小写)


vi inita.prm                                           ----初始化进程
EXTRACT inita
USERID ggs,  PASSWORD ggs
RMTHOST 10.3.45.237, MGRPORT 7809, COMPRESS
RMTTASK REPLICAT, GROUP inita               
TABLE  wwb.emp;                                        ----用户.表名(小写)



vi da.prm                                               ----定义参数文件
defsfile /home/oracle/ogg/dirdef/da.def                 ----为了使用方便,进程名字可以统一为表a(exta),表b(extb),对应源端表编号
userid ggs,password ggs
TABLE wwb.emp;                                          ----用户.表名(小写)

vi.ida.prm                                              ----定义参数文件
defsfile /home/oracle/ogg/dirdef/ida.def
userid ggs,password ggs
TABLE wwb.emp;

两个定义参数文件编辑完成后,要生成定义文件,并拷贝到目标端的 ogg/dirdef  目录下
/home/oracle/ogg/defgen PARAMFILE /home/oracle/ogg/dirprm/ida.prm            ------生成定义文件语句,注意路径。生成后把ida.def和da.def拷贝到目标端ogg/dirdef 下
/home/oracle/ogg/defgen PARAMFILE /home/oracle/ogg/dirprm/da.prm





配置应用checkpoint表、进程、初始化(目标端)
cd ogg/
./ggsci
GGSCI > edit param ./GLOBALS                            ----添加checkpoint表
GGSCHEMA wwb
CHECKPOINTTABLE wwb.checkpoint                          ----net3g指同步表的owner

GGSCI (standby) 5> dblogin userid ogg                   
Password: 
Successfully logged into database.
GGSCI (standby) 6> add checkpointtable net3g.checkpoint ----然后创建checkpoint表



cd ogg/
cd dirprm/
vi repa.prm                                            ----应用进程
replicat repa
sourcedefs /home/mysql/ogg/dirdef/da.def               ----对应源端表编号
SOURCEDB net3g,userid root,password a                  ----net3g指的是要同步表的owner        
reperror default, discard
discardfile ./dirrpt/repa.dsc,APPEND,MEGABYTES 1000
MAP wwb.EMP, TARGET  wwb.emp;    ----注意大小写!!!!!MAP 后接 用户.表名(大写),空格用户.表名(小写);

vi inita.prm                                           ----初始化进程
replicat inita
sourcedefs /home/mysql/ogg/dirdef/ida.def
SOURCEDB net3g,userid root,password a
reperror default, discard
discardfile ./dirrpt/inita.dsc,APPEND,MEGABYTES 1000
MAP wwb.EMP, TARGET  wwb.emp;    ----注意大小写!!!!如上


5、创建存放Trail与Extract文件目录
mkdir -p /home/oracle/ogg/dirdat/ta  
mkdir -p /home/mysql/ogg/dirdat/ta                   



添加进程 
源数据库
./ggsci                                                ----在安装ogg目录下执行
dblogin userid ggs, password ggs                       ----在ggsci下,登录到oracle数据库
add trandata net3g.td_order_relations                  ----捕获表的信息
add extract initk, sourceistable                       ----配置Extract初始化提取进程,增加一个extract组(initd);后面的意思是一次性抽取表中所有的信息。(完成后,在目标数据库add replicat...)


目标数据库
./ggsci                                                ----在安装ogg目录下执行
dblogin sourcedb net3g, userid root, password a        ----在ggsci下,登录到mysql数据库
add replicat initk, specialrun                         ----配置replicat应用进程,增加一个replicat组(initd)


源端添加extract
add extract extk,tranlog,begin now
add exttrail /home/oracle/ogg/dirdat/tk,extract extk,megabytes 100
add rmttrail /home/mysql/ogg/dirdat/tk,extract extk,megabytes 100


创建replicat:
add replicat repk,exttrail /home/mysql/ogg/dirdat/tk,checkpointtable net3g.checkpoint

至此,配置及进程全部完成!!!

源端
./ggsci
GGSCI > info all                            ----查看进程是否添加完成
Program     Status      Group       Lag at Chkpt  Time Since Chkpt
MANAGER     RUNNING                                           
EXTRACT     stop     EXTA        00:00:00      00:00:00 

首先
GGSCI > start exta                          ----开始抽取进程
GGSCI > info all                            ----查看进程是否启动
Program     Status      Group       Lag at Chkpt  Time Since Chkpt
MANAGER     RUNNING                                           
EXTRACT     RUNNING     EXTA        00:00:00      00:00:06 


其次
GGSCI > start inita                         ----开始初始化进程
GGSCI > info inita
EXTRACT    INITA     Last Started 2015-09-24 11:24   Status RUNNING
Checkpoint Lag       Not Available
Log Read Checkpoint  Table NET3G.TD_FTPPK_LOG
                     2015-09-24 11:34:49  Record 1
Task                 SOURCEISTABLE


目标端
GGSCI > info all                            ----查看目标端进程是否添加完成

GGSCI (ora204) 1> info inita
待初始化进程停止后,开启目标端repa应用
#######
OGG中登陆MYSQL报错解决
GGSCI (bys2.oel.com) 2> dblogin sourcedb oggtest,userid root
Password: 
2013-08-30 12:03:14 WARNING OGG-00769 MySQL Login failed: . SQL error (2002). Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2).
ERROR: Failed to connect to MySQL database engine for HOST localhost, DATABASE , USER root, PORT 3306.

GGSCI (bys2.oel.com) 3> exit
[oracle@bys2 mysqlogg]$ su -
Password: 
[root@bys2 ~]# ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock
[root@bys2 ~]# exit
logout
[oracle@bys2 mysqlogg]$ ./ggsci
Oracle GoldenGate Command Interpreter for MySQL
Version 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230
Linux, x86, 32bit (optimized), MySQL Enterprise on Apr 23 2012 04:29:30
Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.
GGSCI (bys2.oel.com) 1> dblogin sourcedb oggtest,userid root
Password: 
Successfully logged into database.
   

OGG常用命令总结

stats:查看进程抽取数据情况,用于检测数据丢失问题。
info *:用于检测进程读取文件情况信息。
info all:查看所有增量抽取进程以及增量推送进程
info all,task:用于查看全量抽取进程
stop *:停止进程
stop *!:强行停止进程
kill:杀掉无法停止的进程
start *:启动进程 ( extract 、 replicat )
start/stop mgr:开启/停止 mgr进程
view params *:查看进程所需的配置信息
edit params *:编辑进程所需的配置信息
info exittrail *:查看进程创建时的信息
view report *:查看进程运行时log信息
info credentialstore: 查看配置用户信息,用于用户名、存储密码,为了安全。注意:CredentialSore是 ogg 12c 新特性
add credentialstore:添加配置用户信息文件。
delete credentialstore:删除用户配置文件。
alter credentialstore add user xx* password xx* alias xx* :分别为 用户名 、密码 、别名
alter credentialstore delete user xx* : 删除一个用户信息
dblogin userid xx*,password xx*:数据库登陆,明文
dblogin useridalias xx*:数据库登陆,使用用户的别名alias登陆
alter * ,extseqno 0, extrba 0:extseqno 设置读取文件的位置,extrba 设置读取文件内容位置
add extract e*, tranlog, begin now:创建增量进程—>配置相应的配置文件
add exttrail ./dirdat/xx*,extract e_gessdb,megabytes 100:配置进程
add extract p*,exttrailsource ./dirdat/xx*:创建推送进程—>配置相应的配置文件
add extract i*, sourceistable:创建全量进程—>配置相应的配置文件 

 

 
反对 0举报 0 评论 0
 

免责声明:本文仅代表作者个人观点,与乐学笔记(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

  • sql:mysql:函数:TIMESTAMPDIFF函数实现TimeStamp字段相减,求得时间差
    sql:mysql:函数:TIMESTAMPDIFF函数实现TimeS
     函数内指定是minute,则最终结果value值的单位是分钟,如果函数内指定为hours,则最终结果value值单位为小时。//UPLOAD_TIME 减去 CREATE_DTTM 求得时间差,以分钟数计时select avg(TIMESTAMPDIFF(MINUTE,CREATE_DTTM,UPLOAD_TIME)) value,LEFT(CREATE_DTTM
    03-08
  • 去重复的sql(Oracle) 去重复的英文
    1.利用group by 去重复2.可以利用下面的sql去重复,如下  1) select id,name,sex from (select a.*,row_number() over(partition by a.id,a.set order by name) su from test a ) where su=1  2)select id,name,sex from (select a.*,row_number() over(p
    02-10
  • Oracle SQL七次提速技巧
    以下SQL执行时间按序号递减。1,动态SQL,没有绑定变量,每次执行都做硬解析操作,占用较大的共享池空间,若共享池空间不足,会导致其他SQL语句的解析信息被挤出共享池。create or replace procedure proc1as beginfor i in 1..100000 loop    execute imme
    02-10
  • Oracle\SQL  Server等及其他基本语句写法
    Oracle\SQL Server等及其他基本语句写法
    Oracle\SQL  Server等及其他基本语句写法目录一.Excel相关 11.Excel中写脚本范例: 12.提取字节 23. 提取单元格内字符 24.VLOOKUP函数: 2二.SQL语句汇总 21.建表: 22.增 33.删 44.查 65.改 236.Alter的应用 24三.数据库备份与恢复脚本 261. Oracle: 2
    02-10
  • SQL ORACLE case when函数用法
    case when 用法(1)简单case函数:格式:  case 列名   when 条件值1 then 选项1  when 条件值1 then 选项2......  else 默认值 end例如:  select   case job_level  when '1' then '1111'  when '2' then '2222'   when '3' then '3333
    02-10
  • mysql下如何执行sql脚本 执行SQL脚本
    1.编写sql脚本,假设内容如下:  create database dearabao;  use dearabao;  create table niuzi (name varchar(20));  保存脚本文件,假设我把它保存在F盘的hello world目录下,于是该文件的路径为:F:\hello world\niuzi.sql2.执行sql脚本,可以有2种方法: 
    02-10
  • MySQL 5.7版本sql_mode=only_full_group_by问题
    用到GROUP BY 语句查询时com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Expression #2 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'col_user_6.a.START_TIME' which is not functionally dependent on colu
    02-10
  • Oracle迁移到MySQL性能下降的注意点 oracle数据
    背景:最近有较多的客户系统由原来由Oracle改造到MySQL后出现了性能问题CPU 100%,或是后台的CRM系统复杂SQL在业务高峰的时候出现堆积导致业务故障。在我的记忆里面淘宝最初从Oracle迁移到MySQL期间也遇到了很多SQL的性能问题,记忆最为深刻的子查询,当初的
    02-10
  • ORACLE中通过SQL语句(alter table)来增加、删除
    1.添加字段:alter table  表名  add (字段  字段类型)  [ default  '输入默认值']  [null/not null]  ;2.添加备注:comment on column  库名.表名.字段名 is  '输入的备注';  如: 我要在ers_data库中  test表 document_type字段添加备注  comm
    02-10
  • MySQL与Oracle 差异比较之六触发器
    触发器编号类别ORACLEMYSQL注释1创建触发器语句不同create or replace trigger TG_ES_FAC_UNIT  before insert or update or delete on ES_FAC_UNIT  for each rowcreate trigger `hs_esbs`.`TG_INSERT_ES_FAC_UNIT` BEFORE INSERT on `hs_esbs`.`es_fac_u
    02-10
点击排行