Meniu

Tutorial privind testarea depozitului de date cu exemple | Ghid de testare ETL

  • Principal
  • Alte
  • Tutorial privind testarea depozitului de date cu exemple | Ghid de testare ETL

data warehouse testing tutorial with examples etl testing guide

Încercați Instrumentul Nostru Pentru Eliminarea Problemelor

Acest tutorial acoperă obiectivele și semnificația testării depozitului de date, responsabilităților de testare ETL, erorilor în implementarea DW și ETL în detaliu:

In acest Seria de instruire în depozit de date în profunzime , ne-am uitat la Ce este ET L Proces în Data Warehouse în detalii în tutorialul nostru anterior.

Acest tutorial vă va oferi o înțelegere a modului în care se poate realiza testarea depozitului de date într-o organizație. De asemenea, veți afla despre obiectivele testării DW, cum și ce tip de testare poate fi efectuată în backend, care sunt toți implicați în acest proces, erorile DW și implementarea ETL în detaliu.

=> Verificați TOATE tutorialele privind depozitarea datelor aici.

Testare ETL Data Warehouse

Public țintă

  • Data Warehouse / dezvoltatori și testeri ETL.
  • Profesioniști în baze de date cu cunoștințe de bază despre conceptele bazelor de date.
  • Administratori de baze de date / experți în Big Data care doresc să înțeleagă conceptele Data Warehouse / ETL.
  • Absolvenți de colegiu / Freshers care caută locuri de muncă Data Warehouse.

Ce veți învăța:

Testare Data Warehouse (ETL)

Care este semnificația testării sistemelor Data Warehouse și Business Intelligence?

Testarea joacă un rol critic în succesul oricăruia dintre cele două sisteme de mai sus, prin asigurarea corectitudinii datelor care construiește credința utilizatorilor finali.

În general, un defect constatat în etapele ulterioare ale ciclului de viață al dezvoltării software-ului costă mai mult pentru remedierea acelui defect. Această situație din DW poate fi înrăutățită, deoarece datele greșite găsite în etapele ulterioare ar fi putut fi utilizate în decizii comerciale importante până la acel moment.

Astfel, soluția în DW este mai scumpă în ceea ce privește procesele, oamenii și schimbările de tehnologie. Puteți începe testarea DW chiar din faza de colectare a cerințelor.

Este pregătită și revizuită o matrice de trasabilitate a cerințelor și aceasta mapează în principal caracteristicile DW cu cerințele lor comerciale respective. Matricea de trasabilitate acționează ca o intrare în planul de testare DW care este pregătit de testeri. Planul de testare descrie testele care trebuie efectuate pentru validarea sistemului DW.

De asemenea, descrie tipurile de teste care vor fi efectuate pe sistem. După ce planul de testare este gata, toate cazurile de testare detaliate vor fi pregătite pentru diferite scenarii DW. Apoi, toate cazurile de testare vor fi executate și defectele vor fi înregistrate.

Există un standard în lumea operațională care menține medii diferite pentru dezvoltare, testare și producție. În lumea DW, atât dezvoltatorii, cât și testerii se vor asigura că mediile de dezvoltare și testare sunt disponibile împreună cu replica datelor de producție înainte de a-și începe activitatea.

Aceasta este copiată pentru o listă de tabele cu date limitate sau complete, în funcție de necesitățile proiectului, deoarece datele de producție sunt într-adevăr mari. Dezvoltatorii își dezvoltă codul în mediul dezvoltatorului și îl livrează testerilor.

Testerii vor testa codul livrat în mediile de testare pentru a se asigura dacă toate sistemele funcționează. Apoi, codul va fi activat în mediile de producție. Codul DW este, de asemenea, menținut în diferite versiuni pe baza defectelor remediate în fiecare versiune. Menținerea mai multor medii și versiuni de cod ajută la construirea unui sistem de bună calitate.

ce rulează dbms pe un computer

Obiective de testare Data Warehouse (ETL)

Să aruncăm o privire asupra obiectivelor de testare a depozitului de date.

# 1) Completitatea datelor: Asigurați-vă că toate datele din diverse surse sunt încărcate într-un depozit de date. Echipa de testare validează dacă toate înregistrările DW sunt încărcate, în baza de date sursă și fișierele plate, urmând exemplele de mai jos.

  • Numărul total de înregistrări încărcate din sistemul sursă trebuie să se potrivească cu numărul total de înregistrări încărcate în DW. Dacă există o diferență, atunci vă puteți gândi la înregistrările respinse.
  • Comparați datele încărcate în fiecare câmp al DW cu câmpurile de date sursă ale sistemului. Acest lucru va scoate la iveală erorile de date, dacă există.

# 2) Transformarea datelor: În timp ce încărcați datele sursă în depozitul de date, puține câmpuri pot fi încărcate direct cu datele sursă, dar puține câmpuri vor fi încărcate cu datele transformate conform logicii de afaceri. Aceasta este porțiunea complexă a testării DW (ETL).

Mai jos sunt exemplele de strategii pentru a testa acest lucru:

  • Puteți testa prin crearea și compararea datelor în foi de calcul. Încărcați datele transformate sursă și datele DW în foi de calcul și faceți o comparație. Nu ar trebui să existe nicio potrivire.
  • Testerii ar trebui să scrie interogările conform logicii de transformare pentru a compara datele DW cu datele sursă. Executarea interogării va garanta că validarea datelor pentru oricare dintre câmpuri nu lipsește.

# 3) Calitatea datelor: Sistemul de depozit de date (ETL) trebuie să asigure calitatea datelor încărcate în acesta prin respingerea (sau) corectarea datelor.

DW mai respinge câteva dintre datele sursei de sistem bazate pe logica cerințelor afacerii. De exemplu, respingeți o înregistrare dacă un anumit câmp conține date nenumerice. Toate înregistrările respinse sunt încărcate în tabelul de respingere pentru referință.

Datele respinse sunt raportate clienților, deoarece nu există nicio șansă de a afla despre aceste date ratate, deoarece acestea nu vor fi încărcate în sistemul DW. DW mai corect datele prin încărcarea zero în locul valorilor nule etc.

# 4) Scalabilitate și performanță: Depozitul de date trebuie să asigure scalabilitatea sistemului cu sarcini în creștere. Cu aceasta, nu ar trebui să existe o degradare a performanței în timpul executării interogărilor, cu rezultate anticipate în intervale de timp specifice. Astfel, testarea performanței descoperă orice problemă și o remediază înainte de producție.

Mai jos sunt exemple de strategii pentru testarea performanței și scalabilității:

  • Efectuați testarea performanței încărcând volumele de producție de date și asigurați-vă că intervalele de timp nu sunt ratate.
  • Validați performanța fiecărei interogări cu date în bloc. Testați performanța utilizând îmbinări simple și îmbinări multiple.
  • Încărcați dublu (sau) triplu la volumele de date preconizate pentru a calcula aproximativ capacitatea sistemului.
  • Testați executând lucrări pentru toate rapoartele listate în același timp.

# 5) Testarea integrării: Depozitul de date ar trebui să efectueze testarea integrării cu alte aplicații din amonte și din aval. Dacă este posibil, este mai bine să copiați datele de producție în mediul de testare pentru testarea integrării.

Toate echipele de sistem ar trebui să fie implicate în această fază pentru a reduce lacunele în timp ce înțeleg și testează toate sistemele împreună.

# 6) Testarea unității: Acest lucru este realizat de dezvoltatorii individuali cu privire la livrabilele lor. Dezvoltatorii vor pregăti scenarii de testare unitară pe baza înțelegerii cerințelor, vor rula testele unitare și vor documenta rezultatele. Acest lucru îi ajută pe dezvoltatori să remedieze orice erori dacă au fost găsite, înainte de a livra codul echipei de testare.

# 7) Testarea regresiei: Validează faptul că sistemul DW nu funcționează defectuos după remedierea defectelor. Acest lucru se efectuează de multe ori cu fiecare schimbare de cod nou.

# 8) Testarea acceptării utilizatorului: Această testare este efectuată de utilizatorii de afaceri pentru a valida funcționalitatea sistemului. Mediul UAT este diferit de mediul QA. Deconectarea de la UAT implică faptul că suntem gata să mutăm codul în producție.

testarea software-ului întrebări de interviu pentru experți

Din perspectiva sistemului Data Warehouse și Business Intelligence, utilizatorii de afaceri pot valida diferite rapoarte printr-o interfață cu utilizatorul (UI). Aceștia pot valida specificațiile raportului în raport cu cerințele, pot valida corectitudinea datelor din rapoarte, pot valida cât de repede sistemul returnează rezultatele etc.

Diagrama fluxului de testare DW:

Diagrama fluxului de testare a depozitului de date

Responsabilități de testare a depozitului de date

Mai jos sunt enumerate diferitele echipe implicate în furnizarea unui sistem DW de succes:

  • Analiști de afaceri: Adunați toate cerințele comerciale pentru sistem și documentați-le pentru preferințele tuturor.
  • Echipa de infrastructură: Configurați diferite medii, după cum este necesar atât pentru dezvoltatori, cât și pentru testeri.
  • Dezvoltatori: Elaborați codul ETL conform cerințelor și efectuați teste unitare.
  • QA (asigurarea calității) / testeri: Elaborați planul de testare, cazurile de testare etc. Identifică defectele din sistem prin executarea cazurilor de testare. Efectuați diferite niveluri de testare.
  • DBA-uri: DBA-urile se ocupă de convertirea scenariilor logice ale bazelor de date ETL în scenarii fizice ale bazelor de date ETL și implică și testarea performanței.
  • Utilizatori de afaceri: Implicați-vă în testarea acceptării utilizatorilor, rulați interogări și rapoarte pe tabelele DW.

Erori în Data Warehouse

Când extrageți, transformați și încărcați date (ETL) din mai multe surse, există șanse să obțineți date proaste care pot anula lucrările de lungă durată.

Următoarele sunt principalele cauze ale eșecului în sistemul DW:

# 1) Încălcări ale regulilor de afaceri (erori logice): Date greșite în mod logic încalcă regulile comerciale. Astfel de date pot fi tratate mai ales în timpul fazelor de transformare sau încărcare.

# 2) Încălcări ale regulilor de date (erori de date): Erorile de date apar în sistemul de baze de date DW, cum ar fi nepotrivirile de tip de date, eșecurile constrângerii de date etc.

Implementare ETL

Aceasta este faza în care toate eforturile tale merg în direct. Toate documentele de sprijin pentru producție ar trebui pregătite.

Documentația va spune altora despre succesiunea lucrărilor de executat, scenarii de recuperare a eșecurilor, materiale de instruire către echipele de asistență DW pentru a monitoriza sistemul după implementare și pentru echipa de asistență administrativă pentru a executa rapoartele.

Concluzie

Am aflat în detaliu despre obiectivele testării depozitului de date, responsabilităților de testare ETL, erorilor în implementarea DW și ETL în acest tutorial.

Sperăm că ați avut o idee despre modul în care se pot face testări detaliate într-un sistem Data Warehouse (ETL).

=> Accesați aici pentru a afla stocarea datelor de la zero.

Lectură recomandată

^