Testarea ETL vs. DB - O privire mai atentă asupra necesității de testare ETL, a planificării și a instrumentelor ETL

etl vs db testing closer look etl testing need

Testarea software-ului are o varietate de domenii care trebuie concentrate. Soiurile majore sunt testări funcționale și nefuncționale. Testarea funcțională este modalitatea procedurală de a vă asigura că funcționalitatea dezvoltată funcționează conform așteptărilor. Testarea nefuncțională este abordarea prin care pot fi asigurate aspectele nefuncționale precum îmbunătățirea sau performanța la un nivel acceptabil.

Există o altă aromă de testare numită Testarea DB . Datele sunt organizate în baza de date sub formă de tabele. Pentru afaceri, pot exista fluxuri unde datele din tabelele multiple pot fi îmbinate sau prelucrate într-un singur tabel și invers.

Testarea ETL este un alt tip de testare care este preferat în cazul de afaceri în care clienții caută un fel de necesitate de raportare. Raportarea este căutată pentru a analiza cererile, nevoile și oferta, astfel încât clienții, companiile și utilizatorii finali să fie foarte bine deserviți și beneficiați.

Ce veți învăța în acest tutorial?

În acest tutorial, veți afla ce este Testarea bazei de date, ce este Testarea ETL, diferența dintre Testarea DB și Testarea ETL și mai multe detalii despre necesitatea, procesul și planificarea testării ETL cu exemple reale.

De asemenea, am tratat testarea ETL mai detaliat pe pagina de mai jos. De asemenea, aruncați o privire la el.

=> Testarea ETL / Sfaturi și tehnici pentru testarea depozitului de date

Ce veți învăța:

• Testarea DB vs. Testarea ETL
  • Studiu comparativ al testării ETL și DB
  • De ce ar trebui afacerea să meargă pentru ETL?
  • Planificarea testului ETL
  • Nevoi critice de ETL
  • Probleme de bază în testarea ETL
  • Puncte de reținut în timpul planificării și executării testului ETL
  • Instrumente ETL și utilizarea lor semnificativă
  • Concluzie
  • Lectură recomandată

Testarea DB vs. Testarea ETL

Cei mai mulți dintre noi suntem puțin confuzi, considerând că atât testarea bazei de date, cât și testarea ETL sunt similare și la fel. Faptul este că sunt similare, dar nu la fel.

Testarea DB:

Testarea DB este de obicei utilizată pe scară largă în fluxurile de afaceri în care există mai multe fluxuri de date care apar în aplicație de la mai multe surse de date pe un singur tabel. Sursa de date poate fi un tabel, un fișier plat, o aplicație sau orice altceva care poate produce unele date de ieșire.

La rândul lor, datele de ieșire obținute pot fi utilizate în continuare ca intrare pentru fluxul de afaceri secvențial. Prin urmare, atunci când efectuăm testarea DB, cel mai important lucru care trebuie capturat este modul în care datele pot fi transformate din sursă împreună cu modul în care sunt salvate în locația de destinație.

Sincronizarea este un lucru major și esențial care trebuie luat în considerare la efectuarea testării DB. Datorită poziționării aplicației în fluxul arhitectural, ar putea exista puține probleme cu sincronizarea datelor sau a bazei de date. Prin urmare, în timp ce efectuați testarea, acest lucru trebuie luat în considerare, deoarece acest lucru poate depăși potențialul defecte invalide sau bug-uri.

Exemplul nr. 1:

Proiectul „A” are arhitectură integrată în care aplicația particulară folosește date din alte surse de date eterogene. Prin urmare, integritatea acestor date cu locația de destinație trebuie făcută împreună cu validările pentru următoarele:

• Validarea cheii străine primare
• Coloana valorează integritatea
• Valori nule pentru orice coloane

Ce este testarea ETL?

Testarea ETL este un tip special de testare pe care clientul dorește să o facă pentru prognozarea și analiza afacerii sale. Acesta este utilizat în principal în scopuri de raportare. De exemplu, dacă clienții trebuie să fi raportat clienții care folosesc sau preferă produsul în funcție de ziua în care cumpără, trebuie să facă uz de rapoartele ETL.

Post analiză și raportare , aceste date sunt datele stocate la un depozit de date în care trebuie mutate vechile date istorice de afaceri.

cum să rulați fișiere .torrent

Aceasta este o testare pe mai multe niveluri, deoarece datele de la sursă sunt transformate în mai multe medii înainte de a ajunge la locația finală destinată.

Exemplul nr. 2:

Vom lua în considerare un grup „A” care face afaceri cu clienții cu amănuntul printr-o piață de cumpărături unde clientul poate achiziționa orice articole de uz casnic necesare pentru supraviețuirea lor de zi cu zi. Aici toți clienții care vizitează au un cod unic de membru cu care pot câștiga puncte de fiecare dată când vin să cumpere lucruri de pe piața de cumpărături.

Regulamentele furnizate de grup spun că punctele câștigate expiră în fiecare an. Și, în funcție de utilizarea acestora, calitatea de membru poate fi actualizată la un membru de grad superior sau retrogradat la un membru de nivel inferior comparativ cu nota curentă.

După 5 ani de înființare a pieței de cumpărături, acum conducerea caută să își extindă afacerea împreună cu veniturile.

Prin urmare, au solicitat puține rapoarte de afaceri pentru a-și putea promova clienții.

În testarea bazei de date, efectuăm următoarele:

# 1) Validări pe tabelele țintă care sunt create cu coloane cu calcule logice așa cum este descris în foaia de mapare logică și în documentul de rutare a datelor.

#Două) Manipulări precum inserarea, actualizarea și ștergerea datelor despre clienți pot fi efectuate pe orice aplicație POS a utilizatorului final într-un sistem integrat împreună cu baza de date back-end, astfel încât aceleași modificări să fie reflectate în sistemul final.

# 3) Testarea DB trebuie să se asigure că nu există date despre clienți care au fost interpretate greșit sau chiar trunchiate. Acest lucru ar putea duce la probleme grave, cum ar fi maparea incorectă a datelor clienților cu loialitatea acestora

În testarea ETL verificăm următoarele:

# 1) Presupunând că există 100 de clienți în sursă, veți verifica dacă toți acești clienți împreună cu datele lor din cele 100 de rânduri au fost mutate din sistemul sursă în țintă. Aceasta este cunoscută sub numele de verificare a Verificarea completitudinii datelor.

#Două) Verificarea dacă datele clientului au fost manipulate și demonstrate corect în cele 100 de rânduri. Aceasta se numește pur și simplu verificarea Verificarea exactității datelor .

# 3) Rapoarte pentru clienții care au câștigat puncte peste valorile x într-o anumită perioadă.

Studiu comparativ al testării ETL și DB

Testarea ETL și DB au câteva dintre aspectele care diferă în ele, ceea ce este mai esențial să fie înțeles înainte de a le efectua. Acest lucru ne ajută să înțelegem valorile și semnificația testării și modul în care ajută afacerea.

Următorul este un formular tabelar care descrie comportamentul de bază al ambelor formate de testare.

De ce ar trebui afacerea să meargă pentru ETL?

O mulțime de nevoi de afaceri sunt disponibile pentru a lua în considerare testarea ETL. Fiecare afacere trebuie să aibă misiunea sa unică și linia de activitate. Toată afacerea are ciclul său de viață al produsului, care ia forma generală:

Este foarte clar că orice produs nou intră pe piață cu o creștere imensă a vânzărilor și până la o etapă numită scadență și, ulterior, scade în vânzări. Această schimbare treptată asistă la o scădere definitivă a creșterii afacerii. Prin urmare, este mai important să analizăm nevoile clienților pentru creșterea afacerii și alți factori necesari pentru a face organizația mai profitabilă.

Deci, în realitate, clienții doresc să analizeze datele istorice și să vină cu câteva rapoarte în mod strategic.

Planificarea testului ETL

Unul dintre pașii principali în testarea ETL este planificarea testului care urmează să fie executat. Va fi similar cu Planul de testare pentru testarea sistemului care se efectuează de obicei, cu excepția câtorva atribute precum cerințe și cazuri de testare.

Aici cerințele nu sunt altceva decât a foaie de cartografiere care va avea un fel de mapare între date în diferite baze de date. Deoarece suntem conștienți de faptul că testarea ETL are loc pe mai multe niveluri, există diferite mapări necesare pentru validarea acestui lucru.

ce este un fișier .bin

De cele mai multe ori datele sunt capturate din bazele de date sursă nu sunt direct. Toate datele sursă vor avea vizualizarea tabelelor de unde pot fi utilizate datele.

Exemplu: Următorul este un exemplu de modul în care pot fi furnizate mapări. Cele două coloane VIEW_NAME și TABLE_NAME pot fi utilizate pentru a reprezenta vizualizările pentru citirea datelor din sursă și respectiv din tabel în mediul ETL.

Este recomandabil să menținem convenția de denumire care ne poate ajuta în timp ce planificăm automatizarea. Notarea generică care poate fi utilizată este doar prefixarea numelui mediului.

Cel mai semnificativ lucru în ETL este despre identificarea datelor esențiale și a tabelelor de la sursă. Următorul pas esențial este maparea tabelelor de la sursă la mediul ETL.

Următorul este un exemplu al modului în care maparea dintre tabele din diferite medii poate fi legată de scopul ETL.

Maparea de mai sus presupune datele de la tabelul sursă la tabelul de etapizare. Și de atunci înainte la mesele din EDW și apoi la OLAP care este mediul final de raportare. Prin urmare, în orice moment, sincronizarea datelor este foarte importantă de dragul ETL.

Nevoi critice de ETL

După cum înțelegem, ETL este nevoia de prognozare, raportare și analiză a afacerii pentru a capta nevoile clienților într-un mod mai succesiv. Acest lucru va permite companiei să aibă cerințe mai mari decât în ​​trecut.

Iată câteva dintre nevoile critice fără de care testarea ETL nu poate fi realizată:

1. Identificarea datelor și tabelelor : Acest lucru este important, deoarece pot exista multe alte date irelevante și inutile care pot fi de cea mai mică importanță atunci când prognozează și analizează nevoile clienților. Prin urmare, datele relevante și tabelele trebuie selectate înainte de începerea funcționării ETL.
2. Foaie de cartografiere : Aceasta este una dintre nevoile critice în timp ce facem lucrări ETL. Cartarea tabelului potrivit de la sursă la destinație este obligatorie și orice probleme sau date incorecte din această foaie ar putea afecta întregul livrabil ETL.
3. Modele și date de tabel, tip coloană : Acesta este următorul pas major atunci când se ia în considerare maparea tabelelor sursă în tabelele destinate. Tipul de coloană trebuie să se potrivească cu tabelele din ambele locuri etc.
4. Acces la baza de date : Principalul lucru este accesul la baza de date în care se desfășoară ETL. Orice restricții privind accesul vor avea un impact echivalent.

Raportare și testare ETL

Raportarea în ETL este mai importantă deoarece explică și direcționează clienții de care are nevoie clientul. Prin aceasta, ei pot prognoza și analiza nevoile exacte ale clienților

Exemplul nr. 3:

O companie care produce țesături de mătase a dorit să analizeze vânzările lor anuale. La examinarea vânzărilor lor anuale, au constatat că în lunile august și septembrie a existat o scădere extraordinară a vânzărilor prin utilizarea raportului pe care l-au generat.

Prin urmare, au decis să lanseze oferta promoțională, precum schimbul, reducerile etc., care le-au sporit vânzările.

Probleme de bază în testarea ETL

În timpul efectuării testelor ETL pot exista o serie de probleme, cum ar fi următoarele:

• Fie accesul la tabelele sursă, fie vizualizările nu vor fi valide.
• Este posibil ca numele coloanei și tipul de date de la sursă la următorul strat să nu se potrivească.
• Este posibil ca un număr de înregistrări de la tabelul sursă la tabelul destinat să nu se potrivească.

Și ar putea fi mult mai multe.

Urmează un eșantion de foaie de mapare în care sunt prezente coloane precum VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE și TRANSFORMATION LOGIC.

Primele 3 coloane reprezintă detaliile bazei de date sursă, iar următoarele 3 sunt detaliile pentru baza de date imediat precedentă. Ultima coloană este foarte importantă. Logica transformării este modul în care datele din sursă sunt citite și stocate în baza de date destinată. Acest lucru depinde de nevoile de afaceri și ETL.

Puncte de reținut în timpul planificării și executării testului ETL

Cel mai important lucru în testarea ETL este încărcarea datelor pe baza criteriilor de extracție din baza de date sursă. Atunci când acest criteriu este nevalid sau învechit, atunci nu vor exista date în tabel pentru efectuarea testării ETL care să aducă într-adevăr mai multe probleme.

Următoarele sunt câteva dintre punctele care trebuie luate în considerare în timpul planificării și executării testelor ETL:

# 1) Datele sunt extrase din sursele de date eterogene
#Două) Manipularea proceselor ETL în mediul integrat care au diferite:

• SGBD
• TU
• Hardware
• Protocoale de comunicare

# 3) Necesitatea de a avea o foaie logică de cartografiere a datelor înainte ca datele fizice să poată fi transformate
# 4) Înțelegerea și examinarea surselor de date
# 5) Sarcina inițială și sarcina incrementală
# 6) Coloane de audit
# 7) Încărcarea faptelor și a dimensiunilor

cum se creează un program de calculator pentru începători

Instrumente ETL și utilizarea lor semnificativă

Instrumentele ETL sunt utilizate în principiu pentru a construi și converti logica transformării prin preluarea datelor de la sursă la alta aplicând logica transformării. De asemenea, puteți să mapați schemele de la sursă la destinație care apare în moduri unice, să transformați și să curățați datele înainte de a putea fi mutate la destinație, împreună cu încărcarea la destinație într-un mod eficient.

Acest lucru poate reduce semnificativ eforturile manuale, deoarece se poate face maparea care este utilizată pentru aproape toate validările și verificările ETL.

Instrumente ETL :

1. Informatică - PowerCenter - este unul dintre instrumentele ETL populare care este introdus de către Informatica Corporation. Aceasta are o bază de clienți foarte bună care acoperă zone largi. Componentele majore ale instrumentului sunt instrumentele sale pentru clienți și instrumentele de depozitare și serverele. Pentru a afla mai multe despre instrument, vă rugăm să faceți clic pe Aici
2. IBM - Infosphere Information Server - IBM, care este lider de piață în ceea ce privește tehnologia computerelor, a dezvoltat serverul de informații Infosphere care este utilizat pentru integrarea și gestionarea informațiilor în anul 2008. Pentru a afla mai multe despre instrument, faceți clic pe Aici
3. Oracle - Integrator de date - Oracle Corporation și-a dezvoltat instrumentul ETL în numele Oracle - Data Integrator. Sprijinul lor crescând pentru clienți i-a făcut să își actualizeze instrumentele ETL în diferite versiuni. Pentru a afla mai multe despre instrument, vă rugăm să faceți clic pe Aici

Mai multe exemple de utilizare a testării ETL:

Luând în considerare unele companii aeriene care doresc să lanseze promoții și oferte pentru a atrage clienții în mod strategic. În primul rând, vor încerca să înțeleagă cerințele și nevoile specificațiilor clientului. Pentru a realiza acest lucru, ei vor solicita datele istorice, de preferință, datele din ultimii doi ani. Folosind datele, aceștia vor analiza și vor pregăti câteva rapoarte care vor fi utile în înțelegerea nevoilor clienților.

Rapoartele pot fi de următorul tip:

1. Clienții din regiunea A care călătoresc în regiunea B la anumite date
2. Clienții cu criteriu specific de vârstă călătoresc în orașul XX

Și pot exista multe alte rapoarte.

Analiza acestor rapoarte îi va ajuta pe clienți să identifice tipul de promoții și oferte care vor aduce beneficii clienților și, în același timp, pot beneficia întreprinderile în care acest lucru poate deveni o situație Win-Win. Acest lucru poate fi realizat cu ușurință prin teste și rapoarte ETL.

În paralel, segmentul IT se confruntă cu o problemă serioasă a DB care a fost observată, care a oprit mai multe servicii, la rândul său, având potențialul de a provoca impacturi în afaceri. La anchetă, s-a identificat că unele date nevalide au corupt câteva baze de date care trebuiau corectate manual.

În primul caz, vor fi necesare rapoarte și teste ETL.

În timp ce ultimul caz este cazul în care testarea DB trebuie făcută în mod corespunzător pentru a depăși problemele cu date nevalide.

Concluzie

Sper că tutorialul de mai sus a oferit o imagine de ansamblu simplă și clară a ceea ce este testarea ETL și de ce trebuie făcut împreună cu impactul sau beneficiile pe care le produc. Acest lucru nu se oprește aici, dar se poate extinde pentru a prevedea creșterea în afaceri.

Despre autor: Acest tutorial este scris de Nagarajan. Este lider de testare cu peste 6 ani de experiență în testarea software-ului în diverse domenii funcționale, cum ar fi bancar, linii aeriene și telecomunicații, atât în ​​ceea ce privește manualul, cât și automatizarea.

Vă rugăm să ne anunțați gândurile / întrebările dvs. în comentariile de mai jos.

Lectură recomandată

• Întrebări și răspunsuri la interviuri de testare ETL
• Tutorial de testare a depozitului de date ETL (ghid complet)
• Top 10 instrumente de testare ETL în 2021
• Cum se efectuează testarea ETL folosind instrumentul Informatica PowerCenter
• 31 Întrebări și răspunsuri de top pentru testarea bazei de date
• 40+ Cele mai bune instrumente de testare a bazei de date - Soluții populare de testare a datelor
• Ghid complet de testare a bazei de date (de ce, ce și cum se testează datele)
• Testarea bazei de date cu seleniu (folosind WebDriver și API JDBC)