Meniu

Tutorial de testare a depozitului de date ETL (ghid complet)

etl testing data warehouse testing tutorial

Încercați Instrumentul Nostru Pentru Eliminarea Problemelor

Testarea ETL / Procesul și provocările depozitului de date:

Astăzi, permiteți-mi să iau un moment și să explic fraternitatea mea de testare despre una dintre cele mai solicitate și abilități viitoare pentru prietenii mei testeri, adică testarea ETL (Extract, Transform și Load).

Acest tutorial vă va prezenta o idee completă despre testarea ETL și ce facem pentru a testa procesul ETL.

Lista completă Tutoriale din această serie:

  • Tutorial # 1 : Testare ETL Data Warehouse Testing Ghid de introducere
  • Tutorial # 2 : Testarea ETL folosind instrumentul Informatica PowerCenter
  • Tutorial # 3 : Testarea ETL vs. DB
  • Tutorial # 4 : Testarea Business Intelligence (BI): Cum se testează datele de afaceri
  • Tutorial # 5 : Top 10 instrumente de testare ETL

S-a observat că verificarea și validarea independentă câștigă un potențial imens de piață și multe companii văd acum acest lucru ca pe un câștig potențial al afacerii.

Testarea ETL _ Testarea depozitului de date - Sfaturi, tehnici, proces și provocări

Clienților li s-a oferit o gamă diferită de produse în ceea ce privește ofertele de servicii, distribuite în multe domenii bazate pe tehnologie, proces și soluții. ETL sau depozitul de date este una dintre ofertele care se dezvoltă rapid și cu succes.

Proces ETL

Prin procesul ETL, datele sunt preluate din sistemele sursă, transformate conform regulilor comerciale și, în final, încărcate în sistemul țintă (depozit de date). Un depozit de date este un magazin la nivel de întreprindere care conține date integrate care ajută la procesul de luare a deciziilor de afaceri. Este o parte a business intelligence.

Ce veți învăța:

De ce organizațiile au nevoie de Data Warehouse?

Organizațiile cu practici IT organizate așteaptă cu nerăbdare să creeze următorul nivel de transformare a tehnologiei. Acum încearcă să se facă mult mai operaționali cu date ușor de interoperat.

Acestea fiind spuse că datele sunt cea mai importantă parte a oricărei organizații, pot fi date de zi cu zi sau date istorice. Datele reprezintă coloana vertebrală a oricărui raport, iar rapoartele reprezintă baza de bază pe care sunt luate toate deciziile vitale de management.

Majoritatea companiilor fac un pas înainte pentru construirea depozitului de date pentru a stoca și monitoriza date în timp real, precum și date istorice. Crearea unui depozit de date eficient nu este o treabă ușoară. Multe organizații au distribuit departamente cu diferite aplicații care rulează pe tehnologie distribuită.

Instrumentul ETL este utilizat pentru a face o integrare impecabilă între diferite surse de date din diferite departamente. Instrumentul ETL va funcționa ca un integrator, extragând date din diferite surse; transformarea acestuia în formatul preferat bazat pe regulile de transformare a afacerii și încărcarea acestuia într-un DB coeziv cunoscut sunt Data Warehouse.

Un domeniu de testare bine planificat, bine definit și eficient garantează o conversie lină a proiectului la producție. O afacere câștigă flotabilitatea reală după ce procesele ETL sunt verificate și validate de un grup independent de experți pentru a se asigura că depozitul de date este concret și robust.

Testarea ETL sau a depozitului de date este clasificată în patru angajamente diferite indiferent de tehnologie sau instrumentele ETL utilizate:

  • Noi teste pentru depozit de date - Noul DW este construit și verificat de la zero. Introducerea datelor este preluată din cerințele clienților și din diferite surse de date, iar noul depozit de date este construit și verificat cu ajutorul instrumentelor ETL.
  • Testarea migrației - În acest tip de proiect, clienții vor avea un DW și ETL existent care îndeplinesc sarcina, dar caută să pună la punct un instrument nou pentru a îmbunătăți eficiența.
  • Cerere de modificare - În acest tip de proiect se adaugă date noi din diferite surse la un DW existent. De asemenea, ar putea exista o condiție în care clientul trebuie să își schimbe regula de afaceri existentă sau ar putea integra noua regulă.
  • Raportarea testării - Raportul este rezultatul final al oricărui Data Warehouse și propunerea de bază pentru care construiește DW. Raportul trebuie testat prin validarea aspectului, a datelor din raport și a calculului.

Proces ETL

( Notă : Faceți clic pe imagine pentru vizualizare mărită)

Testarea ETL

Tehnici de testare ETL

1) Testarea transformării datelor : Verificați dacă datele sunt transformate corect în conformitate cu diferite cerințe și reguli comerciale.

2) Testarea sursei la țintă : Asigurați-vă că numărul de înregistrări încărcate în țintă se potrivește cu numărul așteptat.

3) Sursă pentru testarea datelor țintă : Asigurați-vă că toate datele proiectate sunt încărcate în depozitul de date fără pierderi și trunchieri de date.

4) Testarea calității datelor : Asigurați-vă că aplicația ETL respinge în mod corespunzător, înlocuiește cu valorile implicite și raportează date nevalide.

5) Testarea performanței : Asigurați-vă că datele sunt încărcate în depozitul de date în intervalele de timp prescrise și preconizate pentru a confirma performanțe și scalabilitate îmbunătățite.

cum se deschid fișiere 7zip pe Mac

6) Testarea validării producției: Validați datele din sistemul de producție și comparați-le cu datele sursă.

7) Testarea integrării datelor : Asigurați-vă că datele din diferite surse au fost încărcate corect în sistemul țintă și că toate valorile pragului sunt verificate.

8) Testarea migrației aplicației : În cadrul acestei testări, se asigură că aplicația ETL funcționează bine la mutarea într-o cutie sau platformă nouă.

9) Verificare date și constrângeri : Tipul de date, lungimea, indexul, constrângerile etc. sunt testate în acest caz.

10) Verificarea datelor duplicat : Testați dacă există date duplicate prezente în sistemele țintă. Datele duplicate pot duce la rapoarte analitice greșite.

În afară de metodele de testare ETL de mai sus, se efectuează și alte metode de testare, cum ar fi testarea integrării sistemului, testarea acceptării utilizatorilor, testarea incrementală, testarea regresiei, retestarea și testarea navigării pentru a vă asigura că totul este lin și fiabil.

ETL / Depozit de date Proces de testare

Similar oricărui alt test care se află sub verificare și validare independentă, ETL trece, de asemenea, prin aceeași fază.

  • Înțelegerea cerinței
  • Validare
  • Estimarea testului pe baza unui număr de tabele, complexitatea regulilor, volumul de date și performanța unui job.
  • Planificarea testelor pe baza intrărilor din estimarea testului și cerințelor de afaceri. Trebuie să identificăm aici că ceea ce este în domeniul de aplicare și ceea ce este în afara domeniului de aplicare. De asemenea, ne uităm la dependențe, riscuri și planuri de atenuare în această fază.
  • Proiectarea cazurilor de testare și scenarii de testare de la toate intrările disponibile. De asemenea, trebuie să proiectăm documentele de mapare și scripturile SQL.
  • Odată ce toate cazurile de testare sunt gata și sunt aprobate, echipa de testare continuă să efectueze verificarea pre-execuție și pregătirea datelor de testare pentru testare
  • În cele din urmă, execuția se realizează până când sunt îndeplinite criteriile de ieșire. Deci, faza de execuție include rularea lucrărilor ETL, monitorizarea rulării lucrărilor, executarea scriptului SQL, înregistrarea defectelor, retestarea defectelor și testarea regresiei.
  • După finalizarea cu succes, se întocmește un raport de sinteză și se face procesul de închidere. În această fază, se dă deconectarea pentru a promova postul sau codul la următoarea fază.

Primele două etape, adică înțelegerea și validarea cerințelor, pot fi considerate ca pași prealabili ai procesului de testare ETL.

Deci, procesul principal poate fi reprezentat după cum urmează:

proces principal

Este necesar să se definească strategia de testare care ar trebui să fie acceptată reciproc de părțile interesate înainte de a începe testarea efectivă. O strategie de testare bine definită se va asigura că abordarea corectă a fost urmată îndeplinind aspirația de testare.

Testarea ETL / Data Warehouse ar putea necesita scrierea instrucțiunilor SQL pe scară largă de către echipa de testare sau poate adaptarea SQL furnizată de echipa de dezvoltare. În orice caz, o echipă de testare trebuie să fie conștientă de rezultatele pe care încearcă să le obțină folosind acele instrucțiuni SQL.

Diferența dintre testarea bazei de date și a depozitului de date

Există o neînțelegere populară care testează baza de date și depozit de date este similar, în timp ce ambele au direcție diferită în testare.

  • Testarea bazelor de date se face folosind o scară mai mică de date în mod normal cu tipul de baze de date OLTP (Procesare tranzacții online) în timp ce testarea depozitului de date se face cu volum mare cu date care implică baze de date OLAP (procesare analitică online).
  • În testarea bazelor de date, în mod normal, datele sunt injectate în mod constant din surse uniforme, în timp ce în testarea depozitului de date majoritatea datelor provin din diferite tipuri de surse de date care sunt secvențial inconsistente.
  • În general, efectuăm singura operațiune CRUD (Creați, citiți, actualizați și ștergeți) în testarea bazei de date, în timp ce în testarea depozitului de date folosim operația numai în citire (Selectare).
  • Bazele de date normalizate sunt utilizate în testarea DB, în timp ce DB demoralizat este utilizat în testarea depozitului de date.

Există o serie de verificări universale care trebuie efectuate pentru orice tip de testare a depozitului de date.

Mai jos este lista obiectelor care sunt tratate ca fiind esențiale pentru validare în acest test:

  • Verificați dacă transformarea datelor de la sursă la destinație funcționează conform așteptărilor
  • Verificați dacă datele așteptate sunt adăugate la sistemul țintă
  • Verificați dacă toate câmpurile DB și datele de câmp sunt încărcate fără trunchiere
  • Verificați suma de verificare a datelor pentru potrivirea numărului de înregistrări
  • Verificați dacă pentru datele respinse sunt generate jurnalele de erori corespunzătoare cu toate detaliile
  • Verificați câmpurile de valoare NULL
  • Verificați dacă datele duplicate nu sunt încărcate
  • Verificați integritatea datelor

=> Cunoașteți diferența dintre testarea ETL / depozit de date și testarea bazei de date .

Provocări de testare ETL

Acest test este destul de diferit de testarea convențională. Sunt multe provocări cu care ne-am confruntat în timpul efectuării testării depozitului de date.

Iată câteva provocări pe care le-am experimentat în cadrul proiectului meu:

  • Date incompatibile și duplicate
  • Pierderea datelor în timpul procesului ETL
  • Indisponibilitatea patului de testare inclusiv
  • Testerii nu au privilegii să execute singuri lucrări ETL
  • Volumul și complexitatea datelor sunt foarte mari
  • Eroare în procesul și procedurile de afaceri
  • Probleme la achiziționarea și construirea datelor de testare
  • Mediu de testare instabil
  • Informațiile despre fluxul de afaceri lipsesc

Datele sunt importante pentru ca întreprinderile să ia decizii critice de afaceri. Testarea ETL joacă un rol semnificativ în validarea și asigurarea faptului că informațiile comerciale sunt exacte, consecvente și fiabile. De asemenea, minimizează riscul pierderii de date în producție.

Sper că aceste sfaturi vă vor ajuta să vă asigurați că procesul ETL este corect și că depozitul de date construit de acesta este un avantaj competitiv pentru afacerea dvs.

Lista completă a tutorialelor de testare ETL:

  • Tutorial # 1 : Testare ETL Data Warehouse Testing Ghid de introducere
  • Tutorial # 2 : Testarea ETL folosind instrumentul Informatica PowerCenter
  • Tutorial # 3 : Testarea ETL vs. DB
  • Tutorial # 4 : Testarea Business Intelligence (BI): Cum se testează datele de afaceri
  • Tutorial # 5 : Top 10 instrumente de testare ETL

Acesta este un post de invitat de Vishal Chhaperia, care lucrează într-un MNC într-un rol de gestionare a testelor. Are o vastă experiență în gestionarea proiectelor, proceselor și echipelor de asigurare a calității cu mai multe tehnologii.

Ați lucrat la testarea ETL? Vă rugăm să împărtășiți sfaturile și provocările de testare ETL / DW de mai jos.

Lectură recomandată

^