Meniu

Oracle Data Warehouse: Arhitectura Data Warehouse și multe altele

  • Principal
  • Alte
  • Oracle Data Warehouse: Arhitectura Data Warehouse și multe altele

oracle data warehouse

Încercați Instrumentul Nostru Pentru Eliminarea Problemelor

Ghid Oracle Data Warehouse cu beneficii, arhitectură, riscuri și comparație cu sistemul OLTP (procesarea tranzacțiilor online):

În tutorialul anterior al Ghid cuprinzător pentru Oracle , am aflat despre produsele și serviciile Oracle în diferite domenii, cum ar fi aplicații, baze de date, sistem de operare etc. Acest articol va oferi cunoștințe aprofundate despre Oracle Data Warehousing. Dar înainte de asta, să înțelegem mai întâi conceptul de Business Intelligence (BI).

Business Intelligence

Business Intelligence este un domeniu software care întruchipează anumite metode, tehnologii, instrumente și aplicații care ajută la structurarea, rafinarea și transformarea datelor în bloc într-un format inteligent și ușor de înțeles, care poate fi utilizat de clienți pentru generarea de rapoarte personalizate și, de asemenea, ajută la preluarea afacerilor decizii.

Depozitarea datelor Oracle

Sunt disponibile diferite opțiuni pentru a satisface această nevoie, cum ar fi Depozitarea datelor, OLAP (Procesarea tranzacțiilor online), Exploatarea datelor, Integrarea datelor, Ingineria deciziilor, Foi de calcul etc.

Enterprise Data Warehousing (EDW) este una dintre componentele de bază ale BI care răspunde nevoilor analitice și de raportare ale întreprinderilor. Data Warehouse este un sistem de gestionare a bazelor de date relaționale (RDBMS), care deține date consolidate primite din mai multe surse pentru utilizare ulterioară.

ce aplicație vă permite să descărcați videoclipuri YouTube

Ce veți învăța:

Prezentare generală Oracle Data Warehouse

De ce este denumit „Data Warehouse”?

Să încercăm să reamintim semnificația cuvântului „depozit” pentru a ne raporta la termenul „Depozit de date”.

Un depozit fizic este un depozit care este utilizat pentru stocarea bunurilor primite din diverse surse, care pot fi furnizate ulterior clientului în funcție de nevoile acestora.

Depozit de date

(imagine sursă )

În mod similar, depozitul de date este un depozit de date primite de la diferite sisteme sursă. Aceste surse ar putea fi orice sistem de stocare, cum ar fi date martie, fișiere plate sau orice dispozitive de stocare media care dețin date pentru diferite domenii ale întreprinderii, cum ar fi resurse umane, vânzări, operațiuni, gestionarea resurselor și marketing etc.

Scopul de a avea un depozit de date

Este posibil ca o întreprindere să fi auzit despre conceptul de depozit de date, dar nu poate fi sigur dacă ar trebui să o includă pe cea a întreprinderii lor. Totuși, ar fi întotdeauna nevoie să aruncați date din diferite surse pe teren comun și să le arhivați astfel încât spațiul de stocare să poată fi eliberat din sistemele de tranzacții. Aici sistemul de depozitare a datelor devine o cerință de afaceri.

Pentru a crește pe piață, managementul ar trebui să fie bun la luarea deciziilor, care se poate face numai după studierea temeinică a tendințelor anterioare ale unei organizații. Prin urmare, aceste date arhivate sunt păstrate în depozitul de date într-un format bine organizat și calculat, astfel încât să poată fi trimise pentru analiză de afaceri în viitor.

Avantajele depozitării datelor

Data Warehouse, dacă este implementat cu succes, ar putea fi benefic în următoarele moduri:

# 1) A simplificat locurile de muncă ale analiștilor, oferind o versiune îmbunătățită a soluțiilor de business intelligence. Extrage date din mai multe sisteme sursă, le transformă și le stochează, care pot fi interogate direct de companie pentru analiză.

De asemenea, oferă diverse instrumente care acceptă următoarele:

  • Generarea de rapoarte de afaceri personalizate.
  • Tablouri de bord interactive care afișează informațiile solicitate.
  • Capacitatea de a trece prin tablouri de bord numai pentru a obține detalii.
  • Exploatarea datelor și analiza tendințelor.

#Două) Chiar și după primirea datelor din diferite sisteme sursă, datele dintr-un depozit de date rămân consecvente ca urmare a transformărilor care au avut loc în timpul procesului ETL. Datele coerente oferă încredere unui factor de decizie în ceea ce privește acuratețea.

# 3) Depozitele de date sunt, de asemenea, definite ca o economie de timp, deoarece datele critice solicitate de părțile interesate pentru luarea deciziilor de afaceri sunt disponibile într-o singură locație și pot fi recuperate cu ușurință.

# 4) Acestea sunt concepute pentru a conține date istorice și, prin urmare, pot fi solicitate pentru a studia tendințele în diferite perioade de timp. De asemenea, ajută părțile interesate să obțină viitorul drum de creștere.

cum pot reda fișiere MKV

Riscuri implicate în utilizarea Data Warehouse

Împreună cu beneficiile, fiecare nouă implementare implică și un set de riscuri de care trebuie să avem grijă.

Mai jos sunt enumerate câteva dintre riscurile implicate:

  1. Nerecompatibilitatea sistemelor sursă cu sistemul de depozitare a datelor poate ajunge să facă o mulțime de lucrări manuale.
  2. Estimarea incorectă a timpului procesului ETL poate duce la întreruperea lucrului.
  3. Acestea sunt sisteme de stocare foarte high-end și necesită astfel o întreținere ridicată. Orice flux de lucru sau schimbări de afaceri pot costa foarte mult.
  4. Configurarea unui depozit de date este un proces care necesită mult timp, deoarece are nevoie de mult timp pentru a înțelege fluxurile de afaceri și a identifica capacitățile de integrare pentru a proiecta un depozit.
  5. Securitatea datelor este întotdeauna un risc aici, deoarece deține date istorice vechi care, dacă sunt scurgeri, pot avea impact asupra afacerii.

Compararea OLTP Vs Data Warehouse

Diferențele dintre OLTP și Data Warehouse pot fi înțelese din tabelul de mai jos.

OLTPDepozitarea datelor
Insert & Updates sunt operațiunile majore efectuate de utilizatorii finali pe sistemele OLTP.Depozitele de date sunt interogate în principal folosind instrucțiunea SELECT și pot fi actualizate numai folosind serviciile ETL.
Sistemele OLTP acceptă tranzacțiile comerciale.Data Warehouse susține deciziile comerciale luate după analiza tranzacțiilor comerciale finalizate.
Datele rămân volatile, adică continuă să se schimbeDatele nu ar trebui schimbate.
Dețin cele mai recente date.Ei dețin datele istorice.
Păstrează datele brute fără calcule.Păstrează date rezumate și bine calculate.
Datele vor fi normalizate.Datele vor rămâne denormalizate.
Dimensiunea bazei de date Oracle poate varia de la 50 MB la 100 GB.Dimensiunea bazei de date Oracle poate varia de la 100 GB la 2 TB.

Data Warehouse și Data Mart

Data Warehouse și DataMart

Data Warehouse și DataMart nu sunt ambii termeni sună similar și par legați de stocarea datelor.

Da, sunt înrudite și ambele sunt folosite pentru stocarea datelor. Principala diferență dintre amândoi este capacitatea de a păstra datele, iar această diferență îi ajută pe utilizatorii finali să aleagă unitatea de stocare potrivită pentru sistemele lor.

Data Mart are o capacitate mai mică de păstrare a datelor în comparație cu depozitul de date și, prin urmare, poate fi considerat un subset al acestuia. Martorii de date sunt de obicei identificați pentru a stoca date limitate care ar putea fi ale unui anumit departament sau domeniu de activitate, în timp ce depozitele de date pot fi utilizate pentru a păstra datele consolidate pentru toți.

Să luăm un exemplu de site web de comerț electronic cu diverse categorii de mărfuri, cum ar fi modă, accesorii, articole de uz casnic, cărți și rechizite școlare, aparate electronice etc.

Deci, Data Marts poate fi conceput pentru a stoca categoria de date despre produs în timp ce depozitele de date pot fi utilizate pentru a stoca date complete ale site-ului web, inclusiv istoricul într-un singur loc.

Martele de date au dimensiuni mai mici, pot fi create mult mai repede fără o analiză prea mare, așa cum este necesar pentru proiectarea unui depozit de date. Cu toate acestea, este nevoie de mult efort pentru a menține sincronizarea mai multor marturi de date pentru a menține coerența datelor.

Prezentare generală a procesului ETL

ETL (Extracție, transformare și încărcare) este un proces de extragere a datelor din diferite sisteme sursă, transformarea și încărcarea acestora în sistemul Data Warehouse. Este un proces complex care trebuie să interacționeze cu o varietate de sisteme sursă pentru extragerea datelor și, prin urmare, și provocatoare din punct de vedere tehnic.

Transformarea necesită din nou o mulțime de analize pentru a înțelege formatul sistemelor sursă și pentru a aduce datele în formatul comun, astfel încât aceleași date să poată fi stocate în depozitul de date.

Procesul ETL este o lucrare recurentă care poate rula zilnic, săptămânal sau chiar lunar, în funcție de cerințele afacerii.

Arhitectura Data Warehouse

Să înțelegem arhitectura unui Data Warehouse care este conceput în principal pentru a stoca date rafinate pentru cerințele comerciale predefinite. Arhitectura este formată din 5 componente cu flux de date de sus în jos.

Componentele sunt după cum urmează:

  • Surse de date
  • Stadializarea datelor
  • Depozit de date (stocare date)
  • Data March (stocare date)
  • Prezentarea datelor

Arhitectura Data Warehouse

Să înțelegem toate etapele enumerate mai sus una câte una.

# 1) Surse de date

Există diferite sisteme sursă care acționează ca o intrare în sistemele de depozitare a datelor.

Aceste sisteme sursă pot fi:

  • Baze de date relaționale precum Oracle, DB2, MySQL, MS Access etc. care pot fi utilizate pentru a înregistra tranzacțiile zilnice ale oricărei organizații. Aceste tranzacții comerciale zilnice ar putea fi legate de ERP, CRM, Vânzări, Finanțe și Marketing etc.
  • Fișiere plate
  • Servicii web
  • Fluxuri RSS și surse similare.

# 2) Stadializarea datelor

Odată ce sursele de date sunt la locul lor, următorul pas ar fi extragerea acestor date din sistemele sursă în zona de depozitare.

Deoarece datele au fost preluate din diferite sisteme care urmează diferite formate de stocare, este necesară restructurarea datelor pentru a le aduce într-un format comun. Prin urmare, transformarea datelor are loc ca un pas următor.

În timpul transformării, are loc curățarea datelor, care include aplicarea regulilor de afaceri, filtrarea datelor, eliminarea redundanței, formatarea datelor, sortarea datelor etc.

cel mai bun loc pentru a viziona anime gratuit

# 3) Data Warehouse (stocare date)

Odată ce datele sunt extrase și transformate, acestea vor fi încărcate într-un mediu multidimensional, adică Data Warehouse. Acum, aceste date procesate pot fi utilizate în scopuri de analiză și în alte scopuri de către utilizatorii finali.

# 4) Data Marts (stocare date)

După cum s-a menționat mai sus, că datele sunt acum gata să fie consumate de utilizatorii finali, există un proces opțional de creare a Data Marts ca pas următor. Aceste marturi de date pot fi folosite pentru a stoca date rezumate ale unui anumit departament sau ale unei linii de activitate pentru utilizare dedicată.

De exemplu, Se pot adăuga marturi de date separate pentru departamente precum Vânzări, Finanțe și Marketing etc. ca un pas următor care va conține date specifice și permite unui analist să efectueze interogări detaliate pentru nevoile afacerii. De asemenea, împiedică fiecare utilizator final să acceseze depozitul complet și, prin urmare, asigură securitatea datelor.

# 5) Instrumente de acces la date (prezentare date)

Există o serie de instrumente de Business Intelligence predefinite care pot fi folosite de utilizatori pentru a accesa depozite de date sau date martie. Aceste instrumente front-end sunt concepute într-un mod extrem de ușor de utilizat, oferind utilizatorilor o varietate de opțiuni pentru accesarea datelor.

Opțiunile sunt menționate mai jos:

  • Aplicând interogarea către Oracle sau orice altă bază de date direct prin SQL.
  • Generarea de rapoarte.
  • Dezvoltarea aplicației.
  • Utilizarea instrumentelor de extragere a datelor etc.

Puține instrumente populare de depozitare disponibile pe piață sunt:

  • Analytix DS
  • Amazon Redshift
  • Software-ul Ab Initio
  • Cod Futures
  • Managementul holistic al datelor
  • Corporația de informatică

Depozitare de date în cloud

Depozitare de date în cloud

Depozitele de date sunt recunoscute excesiv de lume. Următoarea întrebare care apare: Folosim o abordare optimizată pentru a implementa depozite de date?

Apoi a fost introdus Cloud Data Warehousing, care ocupă o poziție dominantă asupra Enterprise Data Warehousing (EDW). Conceptul de depozite de date bazate pe cloud a oferit diverse avantaje.

Acestea sunt după cum urmează:

(i) Scalabilitate: Datele de pe sistemele cloud pot fi scalate cu ușurință în sus și în jos, fără probleme, în timp ce consumă mult timp și resurse pentru a efectua scalarea în depozitele de date tradiționale.

(ii) Economie de costuri: Depozitele de date bazate pe cloud au făcut o diferență remarcabilă în ceea ce privește investiția necesară pentru configurarea unui depozit. Au redus costul inițial în vrac, eliminând costul

    • Întreținerea camerelor hardware / server.
    • Personal necesar pentru întreținere.
    • Alte costuri operaționale.

(iii) Performanță: Performanța este un alt factor care a permis sistemelor bazate pe cloud să domine asupra celor tradiționale. Dacă afacerea este extinsă la nivel global și datele trebuie să fie accesate din diferite părți ale lumii cu o schimbare mai rapidă, depozitele bazate pe cloud sunt cel mai bine de utilizat.

Procesarea în paralel masiv (MPP) este una dintre metodele de procesare colaborativă utilizate de depozite pentru a realiza același lucru.

(iv) Conectivitate: După cum sa menționat mai sus, dacă datele trebuie să fie accesate din mai multe locații geografice, utilizatorii au nevoie de o conectivitate excelentă la aceste depozite, iar un depozit bazat pe cloud oferă același lucru.

Concluzie

Sperăm că veți avea o idee corectă despre sistemul Oracle Data Warehousing după ce ați citit articolul de mai sus. Spuneți-ne dacă aveți nevoie de informații cu privire la un anumit subiect în legătură cu depozitarea datelor, astfel încât să putem acoperi același lucru în tutorialele viitoare.

PREV Tutorial | NEXT Tutorial

Lectură recomandată

^