Populate the Stage - 1001 Möglichkeiten eine Staging

Vorstellung
Ausgangslage
Szenarien
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Populate the Stage
1001 Möglichkeiten eine Staging Area zu füllen
Sven Bosinger
its-people GmbH
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
1
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Sven Bosinger
Solution Architect BI
und Portfoliomanagement BI
its-people GmbH
sven.bosinger@its-people.de
www.its-people.de
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
2
its-people® auf einen Blick
Das Team



Zusammenschluss selbständiger
IT-Experten unter einer
gemeinsamen Marke
Bündelung von umfassendem ITWissen
Partnerschaft auf Augenhöhe
Gemeinsam sind wir stärker
Datenbank Technologien
Oracle, MS SQL, My SQL, DB2
Plattform & Anwendungsentwicklung
Best Practice ERP
Mediation, Integration, Migration
Business Intelligence & DWH
Unternehmensdaten


Gründung: 2003
Anzahl der Experten: 70
Stärken
Oracle, Microsoft, IBM, Informatica, BO
Architektur, Design & Implementierung
IT Management Services

Leistungsangebot
Projekt-, Qualitäts-, Release-Mgmt
Unternehmensphilosophie
 Kompetenz, Exzellenz und Qualität
aus praktischer Erfahrung
 Partnerschaft auf Gegenseitigkeit
 Kundenorientierung auf höchster
Ebene
 Zuverlässigkeit und
Umsetzungsstärke
 Teams für komplexe Projektaufgaben
 Dienstleistungen von Menschen für
Menschen
 Nähe zum Kunden
its-people GmbH
Competence Center „DatenbankTechnologie/ IT- Management Services"
its-people ERP Beratungs-GmbH
Competence-Center “ERP“
its-people GmbH
Competence-Center “BI & DWH„
Büdesheimer Str. 17, 61130 Nidderau
Tel.: +49 6187 605 999 - 0
E-Mail: frankfurt@its-people.de
Lyoner Str. 44-48, 60528 Frankfurt am Main
Tel.: +49 69 2475 198-0
E-Mail: erp@its-people.de
Lyoner Straße 44-48, 60528 Frankfurt am Main
Tel: +49 69 2475 210-0
E-Mail: hochtaunus@its-people.de
Gemeinsame Besuchsadresse: Lyoner Str. 44-48, 60528 Frankfurt am Main. 8. OG
Copyright its-people®
3
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Aufgabenstellung
Transport
• Umsatz-Tabelle im ERPSystem
• Initialer Insert von 90.000
Datensätze
• Inkrementeller Update von
10.000 Datensätze
• Inkrementeller Insert von
5.000 Datensätzen
• Tranasport der intialen und
inkrementellen Datensätze
• Flagen der Datensätze, ob
Insert oder Update
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
Lösungsalternativen
• Flat-File mit SQL-Loader
• Flat-File mit external Table
• External Table mit Datapump
• IAS über DB-Link
• CTAS über DB-Link
• Datapump
• Trigger auf Quelltabelle
(direkt)
• Trigger auf Quelltabelle
(indirekt)
• Trigger auf Quelltabelle mit AQ
• Change Data Capture
• Transportable TBS
• ODI und Golden Gate
Bewertung
• Stabilität
• Geschwindigkeit
• Komplexität/Wartbarkeit
• Funktionalität
• Aufwand/Kosten
4
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Füllen der Stage-Tabelle
ERP - System
DWH - System
Stage
Umsatz
Umsatz
1. 90.000 Inserts
2. 10.000 Inserts
5.000 Updates
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
1. 90.000 Inserts
Populate
2. 15.000 Inserts
5
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
1. Alternative: Flat-File mit SQL-Loader
DWH-Server
ERP-Server
ERP-DB
DWH-DB
File-Copy
Umsatz
Copyright its-people®
UTIL-File
DOAG-Konferenz 2013 Nürnberg
SQL-Loader
Umsatz
6
Vorstellung
Ausgangslage
Schnittstellen
GSA
Global Staging Area - Implementierung einer zentralen Datendrehscheibe
Benefits
Live-Demo
1. Alternative: Flat-File mit SQL-Loader
ERP
-- Spool Initial(90.000 Sätze)
begin
admin_umsatz.spool(p_datum=>to_date('01.01.2013','DD.MM.YYYY'));
end;
/
DWH
-- File Copy
copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE01.csv m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE01.csv
-- SQL/Loader
sqlldr DOAG2013_DWH_SHOWCASE01/DOAG2013_DWH_SHOWCASE01@ORCL-DWH control = load_umsatz_initial.ctl
ERP
-- Inkrement erzeugen
begin
admin_umsatz.ins;
admin_umsatz.upd;
end;
/
-- Spool Inkrement (10.000 + 5.000 Sätze)
begin
admin_umsatz.spool(p_datum=>trunc(sysdate));
end;
/
DWH
-- File Copy
copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE01.csv m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE01.csv
-- SQL/Loader
sqlldr DOAG2013_DWH_SHOWCASE01/DOAG2013_DWH_SHOWCASE01@ORCL-DWH control = load_umsatz_change.ctl
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
7
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
1. Alternative: Flat-File mit SQL-Loader
Copyright its-people®
Vorteile:
Nachteile:
•
•
•
•
• Systembruch
• Daten verlassen DBs
• Aufruf SQL-Loader
außerhalb PL/SQL
• Kein Realtime möglich
• Keine
Wiederaufsetzbarkeit
Einfach zu realisieren
Leicht zu warten
Entkoppelte Systeme
Geringe Kosten
DOAG-Konferenz 2013 Nürnberg
8
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
2. Alternative: Flat-File mit external Table
DWH-Server
ERP-Server
ERP-DB
DWH-DB
File-Copy
Umsatz
Umsatz
UTIL-File
ext. Table
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
9
Vorstellung
Ausgangslage
Schnittstellen
GSA
Global Staging Area - Implementierung einer zentralen Datendrehscheibe
Benefits
Live-Demo
2. Alternative: Flat-File mit external Table
ERP
-- Spool Initial(90.000 Sätze)
begin
admin_umsatz.spool(p_datum=>to_date('01.01.2013','DD.MM.YYYY'));
end;
/
DWH
-- File Copy
copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE02.csv m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE02.csv
-- Insert
insert /*+ append */ into umsatz select * from umsatz_ext where ...
ERP
-- Inkrement erzeugen
begin
admin_umsatz.ins;
admin_umsatz.upd;
end;
/
-- Spool Inkrement (10.000 + 5.000 Sätze)
begin
admin_umsatz.spool(p_datum=>trunc(sysdate));
end;
/
DWH
-- File Copy
copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE02.csv m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE02.csv
-- SQL/Loader
insert /*+ append */ into umsatz select * from umsatz_ext where ...
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
10
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
2. Alternative: Flat-File mit external Table
Copyright its-people®
Vorteile:
Nachteile:
•
•
•
•
•
•
•
•
•
Einfach zu realisieren
Leicht zu warten
Entkoppelte Systeme
Geringe Kosten
Kein Produkt außerhalb
PL/SQL
DOAG-Konferenz 2013 Nürnberg
Systembruch
Daten verlassen DBs
Kein Realtime möglich
Keine
Wiederaufsetzbarkeit
11
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
3. Alternative: External Table mit Datapump
DWH-Server
ERP-Server
ERP-DB
DWH-DB
File-Copy
Umsatz
Umsatz
Datapump
ext. Table
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
12
Vorstellung
Ausgangslage
Schnittstellen
GSA
Global Staging Area - Implementierung einer zentralen Datendrehscheibe
Benefits
Live-Demo
3. Alternative: External Table mit Datapump
ERP
-- Spool Initial(90.000 Sätze)
create table umsatz_initial_ext organization external
(type oracle_datapump default directory erp_daten location ('UMSATZ-DOAG2013_ERP_SHOWCASE03.DMP'))
as select * from umsatz;
DWH
-- File Copy
copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE03.dmp m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE03.dmp
-- Insert
insert /*+ append */ into umsatz select * from umsatz_initial_ext ...
ERP
-- Inkrement erzeugen
begin
admin_umsatz.ins;
admin_umsatz.upd;
end;
/
create table umsatz_inkremetal_ext organization external
(type oracle_datapump default directory erp_daten location ('UMSATZ-DOAG2013_ERP_SHOWCASE03.DMP'))
as select * from umsatz where datum >= trunc(sysdate);
DWH
-- File Copy
copy /y n:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE03.dmp m:\ERP-Daten\Umsatz-DOAG2013_ERP_SHOWCASE03.dmp
-- SQL/Loader
insert /*+ append */ into umsatz select * from umsatz_inkremetal_ext ...
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
13
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
3. Alternative: External Table mit Datapump
Vorteile:
Nachteile:
•
•
•
•
•
•
•
•
•
Einfach zu realisieren
Leicht zu warten
Entkoppelte Systeme
Geringe Kosten
Kein Produkt außerhalb
PL/SQL
• Daten können komprimiert
werden
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
Systembruch
Daten verlassen DBs
Kein Realtime möglich
Keine
Wiederaufsetzbarkeit
14
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
4. Alternative: Insert as Select (IAS) über DB-Link
DWH-Server
ERP-Server
ERP-DB
DWH-DB
Insert as Select
Umsatz
Umsatz
Database Link
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
15
Vorstellung
Ausgangslage
Schnittstellen
GSA
Global Staging Area - Implementierung einer zentralen Datendrehscheibe
Benefits
Live-Demo
4. Alternative: Insert as Select (IAS) über DB-Link
DWH
-- Insert
insert /*+ append */ into umsatz select * from umsatz@DBL_ERP#DOAG2013_ERP_SHOWCASE04;
ERP
-- Inkrement erzeugen
begin
admin_umsatz.ins;
admin_umsatz.upd;
end;
/
DWH
-- Insert
insert /*+ append */ into umsatz select * from umsatz@DBL_ERP#DOAG2013_ERP_SHOWCASE04 where datum >= trunc(<Datum>);
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
16
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
4. Alternative: Insert as Select (IAS) über DB-Link
Vorteile:
Nachteile:
•
•
•
•
•
• ERP-DB muss verfügbar
sein
• DB-Link eventuell wegen
Policy nicht möglich
• Kein Realtime möglich
• Eingeschränkte
Wiederaufsetzbarkeit
Einfach zu realisieren
Leicht zu warten
Lose gekoppelte Systeme
Geringe Kosten
Kein Produkt außerhalb
PL/SQL
• Sehr schnell
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
17
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
5. Alternative: Create Table as Select (CTAS) über DB-Link
DWH-Server
ERP-Server
ERP-DB
DWH-DB
Create Table as Select
Umsatz
Umsatz
Database Link
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
18
Vorstellung
Ausgangslage
Schnittstellen
GSA
Global Staging Area - Implementierung einer zentralen Datendrehscheibe
Benefits
Live-Demo
5. Alternative: Create Table as Select (CTAS) über DB-Link
DWH
-- Insert
create table umsatz as select * from umsatz@dbl_erp#doag2013_erp_showcase05;
ERP
-- Inkrement erzeugen
begin
admin_umsatz.ins;
admin_umsatz.upd;
end;
/
DWH
-- Insert
create table umsatz as select * from umsatz@dbl_erp#doag2013_erp_showcase05 where datum >= trunc(<Datum>);
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
19
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
5. Alternative: Create Table as Select (CTAS) über DB-Link
Vorteile:
Nachteile:
•
•
•
•
•
• ERP-DB muss verfügbar
sein
• DB-Link eventuell wegen
Policy nicht möglich
• Strukturänderungen im
laufenden Betrieb
• Kein Realtime möglich
• Eingeschränkte
Wiederaufsetzbarkeit
Einfach zu realisieren
Leicht zu warten
Lose gekoppelte Systeme
Geringe Kosten
Kein Produkt außerhalb
PL/SQL
• Sehr schnell
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
20
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
6. Alternative: Datapump
DWH-Server
ERP-Server
ERP-DB
DWH-DB
Datapump
Umsatz
Umsatz
Database Link
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
21
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
6. Alternative: Datapump
Vorteile:
Nachteile:
•
•
•
•
•
• ERP-DB muss verfügbar
sein
• DB-Link eventuell wegen
Policy nicht möglich
• Kein Realtime möglich
• Eingeschränkte
Wiederaufsetzbarkeit
Leicht zu realisieren
Leicht zu warten
Lose gekoppelte Systeme
Geringe Kosten
Kein Produkt außerhalb
PL/SQL
• Sehr schnell
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
22
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
7. Alternative: Trigger auf Quelltabelle (direkt)
DWH-Server
ERP-Server
ERP-DB
DWH-DB
After Insert/Update Trigger
Umsatz
Umsatz
Database Link
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
23
Vorstellung
Ausgangslage
Schnittstellen
GSA
Global Staging Area - Implementierung einer zentralen Datendrehscheibe
Benefits
Live-Demo
7. Alternative: Trigger auf Quelltabelle (direkt)
ERP
-- Trigger
create or replace trigger trg_umsatz_iu after insert or update on umsatz referencing new as new old as old for each row
begin
if inserting then
insert into umsatz@dbl_erp#doag2013_dwh_showcase07(id ,...)
values (:new.id,...,'I');
end if;
-if updating then
insert into umsatz@dbl_erp#doag2013_dwh_showcase07(id,...)
values(:new.id ,...,'U');
end if;
end trg_umsatz_iu;
/
ERP
-- Initialerzeugen
begin
admin_umsatz.fill;
end;
/
ERP
-- Inkrement erzeugen
begin
admin_umsatz.ins;
admin_umsatz.upd;
end;
/
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
24
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
7. Alternative: Trigger auf Quelltabelle (direkt)
Copyright its-people®
Vorteile:
Nachteile:
• Mittelschwer zu realisieren
• Wartung ist mittel
aufwendig
• Eng gekoppelte Systeme
• Geringe Kosten
• Kein Produkt außerhalb
PL/SQL
• Realtime
• ERP-DB und DWH-DB
müssen verfügbar sein
• DB-Link eventuell wegen
Policy nicht möglich
• Beeinflussung der ERP-DB
durch DWH
• Langsame
Einzelsatzverarbeitung
DOAG-Konferenz 2013 Nürnberg
25
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
8. Alternative: Trigger auf Quelltabelle (indirekt)
DWH-Server
ERP-Server
ERP-DB
DWH-DB
Trigger
Umsatz
Temp
Insert As Select
Umsatz
Database Link
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
26
Vorstellung
Ausgangslage
Schnittstellen
GSA
Global Staging Area - Implementierung einer zentralen Datendrehscheibe
Benefits
Live-Demo
8. Alternative: Trigger auf Quelltabelle (indirekt)
ERP
-- Trigger
create or replace trigger trg_umsatz_iu after insert or update on umsatz referencing new as new old as old for each row
begin
if inserting then
insert into umsatz_tmp
values (:new.id,...,'I');
end if;
-if updating then
insert into umsatz_tmp
values(:new.id ,...,'U');
end if;
end trg_umsatz_iu;
/
ERP
-- Initialerzeugen
begin
admin_umsatz.fill;
end;
/
DWH
-- Insert
insert /*+ append */ into umsatz select * from umsatz_tmp@DBL_ERP#DOAG2013_ERP_SHOWCASE08;
ERP
-- Inkrement erzeugen
begin
admin_umsatz.ins;
admin_umsatz.upd;
end;
/
DWH
-- Insert
insert /*+ append */ into umsatz select * from umsatz_tmp@DBL_ERP#DOAG2013_ERP_SHOWCASE08 where datum >= trunc(<Datum>);
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
27
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
8. Alternative: Trigger auf Quelltabelle (indirekt)
Copyright its-people®
Vorteile:
Nachteile:
• Mittelschwer zu realisieren
• Wartung ist mittel
aufwendig
• Lose gekoppelte Systeme
• Geringe Kosten
• Kein Produkt außerhalb
PL/SQL
• ERP-DB muss verfügbar
sein
• DB-Link eventuell wegen
Policy nicht möglich
• Langsame
Einzelsatzverarbeitung
beim Trigger
• Datensätze werden
doppelt geschrieben
DOAG-Konferenz 2013 Nürnberg
28
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ)
ERP-Server
DWH-Server
ERP-DB
DWH-DB
enqueue
dequeue
Umsatz
Copyright its-people®
Outbox
DOAG-Konferenz 2013 Nürnberg
AQ's
Message
Propagation
Infrastructure
Inbox
Umsatz
29
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ)
Livedemo
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
30
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
9. Alternative: Trigger auf Quelltabelle mit Advanced Queuing (AQ)
Copyright its-people®
Vorteile:
Nachteile:
• Wartung ist mittel
aufwendig
• Lose gekoppelte
Systeme
• Kein Produkt außerhalb
PL/SQL
• Realtime ist möglich
• Wiederaufsetzbarkeit
• Aufwendig zu
realisieren
• DB-Link eventuell
wegen Policy nicht
möglich
• Langsame
Einzelsatzverarbeitung
• Zusätzliches Monitoring
DOAG-Konferenz 2013 Nürnberg
31
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
10. Alternative: Change Data Capture (CDC)
Change Data Capture Architecture
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
32
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
10. Alternative: Change Data Capture (CDC)
Asynchronous Distributed HotLog
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
33
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
10. Alternative: Change Data Capture (CDC)
Copyright its-people®
Vorteile:
Nachteile:
• Lose gekoppelte
Systeme
• Kein Produkt außerhalb
PL/SQL
• Realtime ist möglich
• RedoLogs werden
genutzt
• Wiederaufsetzbarkeit
• Sehr aufwendig zu
realisieren
• Wartung ist sehr
aufwendig
• Langsame
Einzelsatzverarbeitung
• Zusätzliches Monitoring
DOAG-Konferenz 2013 Nürnberg
34
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
11. Alternative: Transportable Tablespaces
ERP-Server
DWH-Server
ERP-DB
DWH-DB
Umsatz
Tablespace
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
1. Copy Datafiles
2. Import TBS
Umsatz
Insert/
Update
Umsatz
Tablespace
35
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
11. Alternative: Transportable Tablespaces
Vorteile:
Nachteile:
• Lose gekoppelte Systeme • Wenig aufwendig zu
realisieren
• Sehr schnell
• Wartung wenig aufwendig
• Mehrere Tabellen auf
einmal
• Downtime auf ERP-DB
• Kein Delta
• Kein Realtime
• Keine
Wiederaufsetzbarkeit
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
36
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
12. Alternative: CDC mit ODI und Golden Gate
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
37
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
11. Alternative: Transportable Tablespaces
Copyright its-people®
Vorteile:
Nachteile:
• Lose gekoppelte
Systeme
• Sehr schnell
• Sehr stabil
• Keine Beschränkung
auf Oracle
• Wiederaufsetzbarkeit
• Aufwendig zu
realisieren
• Wartung ist sehr
aufwendig
• Zusätzliche
Lizenzkosten
DOAG-Konferenz 2013 Nürnberg
38
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Bewertungskriterien
Stabilität
Verfügbarkeit
Geschwindigkeit
Insert
Komplexität/
Wartbarkeit
Einrichtung
Funktionalität
Aufwand/Kosten
Realtime
Realisierung
Betrieb
Fehlertoleranz
Transformation
Update
Änderung
Wiederaufsetzbarkeit
Abhängigkeit
Copyright its-people®
Wartung
Filterung
Lizenzen
Datenmengen
DOAG-Konferenz 2013 Nürnberg
Monitoring
Regeln
Ausbildung
39
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Stabilität
ODI und Golden Gate
Transportable Tablespace
Change Data Capture
Flat-File mit SQL-Loader
5
4,5
4
3,5
3
2,5
2
1,5
1
0,5
0
Flat-File mit External Table
Datapump mit External Table
Verfügbarkeit
Insert as Select
Fehlertoleranz
Wideraufsetzbar
Abhängigkeit
Advanced Queuing
Create Table as Select
Trigger (indirekt)
Datapump
Trigger (direkt)
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
40
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Geschwindigkeit
ODI und Golden Gate
Transportable Tablespace
Change Data Capture
Flat-File mit SQL-Loader
5
4,5
4
3,5
3
2,5
2
1,5
1
0,5
0
Flat-File mit External Table
Datapump mit External Table
Insert
Insert as Select
Update
Datenmengen
Advanced Queuing
Create Table as Select
Trigger (indirekt)
Datapump
Trigger (direkt)
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
41
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Komplexität/Wartbarkeit
Flat-File mit SQL-Loader
4
ODI und Golden Gate
3,5
Flat-File mit External Table
3
2,5
Transportable Tablespace
Datapump mit External Table
2
1,5
1
Einrichtung
0,5
Change Data Capture
Insert as Select
0
Änderung
Monitoring
Advanced Queuing
Create Table as Select
Trigger (indirekt)
Datapump
Trigger (direkt)
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
42
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Funktionalität
ODI und Golden Gate
Transportable Tablespace
Change Data Capture
Flat-File mit SQL-Loader
5
4,5
4
3,5
3
2,5
2
1,5
1
0,5
0
Flat-File mit External Table
Datapump mit External Table
Realtime
Insert as Select
Transformation
Filterung
Regeln
Advanced Queuing
Create Table as Select
Trigger (indirekt)
Datapump
Trigger (direkt)
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
43
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Aufwand/Kosten
ODI und Golden Gate
Transportable Tablespace
Change Data Capture
Flat-File mit SQL-Loader
5
4,5
4
3,5
3
2,5
2
1,5
1
0,5
0
Flat-File mit External Table
Datapump mit External Table
Realisierung
Betrieb
Insert as Select
Wartung
Lizenzen
Ausbildung
Advanced Queuing
Create Table as Select
Trigger (indirekt)
Datapump
Trigger (direkt)
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
44
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
Transportable Tablespace
o
+
+
+
o
o
+
+
+
+
o
+
o
+
-+
-
o +
+ +
+ o
-- ++
+ --
ODI und Golden Gate
Change Data Capture
o
++
+
o
+
Advanced Queuing
Datapump
+ + o
+ ++ ++
+ + +
o + +
+ ++ ++
Trigger (indirekt)
Create Table as Select
+
+
+
o
+
Trigger (direkt)
Datapump mit External Table
+
+
+
o
+
Insert as Select
Flat-File mit External Table
Stabilität
Geschwindigkeit
Komplexität/Wartbarkeit
Funktionalität
Aufwand/Kosten
Flat-File mit SQL-Loader
Ergebnis
45
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Schlussfolgerung
Copyright its-people®
DOAG-Konferenz 2013 Nürnberg
46
Vorstellung
Ausgangslage
Lösungen
Populate the Stage - 1001 Möglichkeiten eine Staging Area zu füllen
Bewertung
Kontakt:
Email
Home
Blog
Copyright its-people®
sven.bosinger@its-people.de
www.its-people.de
www.its-people.de/blog/
DOAG-Konferenz 2013 Nürnberg
47