Cum se efectuează testarea ETL folosind instrumentul Informatica PowerCenter

how perform etl testing using informatica powercenter tool

Este un fapt cunoscut că Testarea ETL este unul dintre aspectele cruciale ale oricărui Business Intelligence Aplicație bazată pe (BI). Pentru a obține asigurarea calității și acceptarea pentru a începe să lucreze în afaceri, aplicația BI ar trebui să fie testată bine în prealabil.

Obiectivul principal al testării ETL este să se asigure că ESTE xtract, T transforma & L Funcționalitatea oad funcționează conform cerințelor companiei și este sincronizată cu standardele de performanță.

Înainte de a intra în testarea ETL cu Tehnica de calcul , este esențial să știm ce sunt ETL și Informatica.

Ce veți învăța:

• Ce veți învăța în acest tutorial ETL:
• Instrument de testare Informatica PowerCenter ETL:
• Înțelegerea testării ETL specifice Informatica:
• Clasificarea testării ETL în Informatica:
• Avantajele utilizării Informatica ca instrument ETL:
• Câteva sfaturi utile pentru a vă ajuta în testarea ETL Informatica:
• Concluzie:
• Lectură recomandată

Ce veți învăța în acest tutorial ETL:

• Bazele testării ETL, Informatica și ETL.
• Înțelegerea testării ETL specifice Informatica.
• Clasificarea testelor ETL în Informatica.
• Exemple de cazuri de testare pentru testarea Informatica ETL.
• Avantajele utilizării Informatica ca fișier Instrument ETL .
• Sfaturi și trucuri pentru a vă ajuta la testare.

În calcul, Extragere, Transformare, Încărcare (ETL) se referă la un proces în utilizarea bazei de date și în special în stocarea datelor care efectuează:

• Extragerea datelor - Extrage date din surse de date omogene sau eterogene.
• Transformarea datelor - Formatează datele în tipul necesar.
• Încărcare date - Mutați și stocați datele într-o locație permanentă pentru utilizare pe termen lung.

Instrument de testare Informatica PowerCenter ETL:

Informatica PowerCenter este un instrument ETL puternic de la Informatica Corporation. Este o platformă unică, unificată de integrare a datelor de întreprindere pentru accesarea, descoperirea și integrarea datelor din practic orice sistem de afaceri, în orice

Este o platformă unică, integrată de integrare a datelor de întreprindere pentru accesarea, descoperirea și integrarea datelor din practic orice sistem de afaceri, în orice format și furnizarea acestor date în întreaga întreprindere la orice viteză. Prin Informatica PowerCenter , creăm fluxuri de lucru care efectuează operațiuni ETL de la un capăt la altul.

Descărcați și instalați Informatica PowerCenter:

Pentru a instala și configura Informatica PowerCenter 9.x utilizați linkul de mai jos, care conține instrucțiuni pas cu pas:
=> Ghid de instalare și configurare Informatica PowerCenter 9

Înțelegerea testării ETL specifice Informatica:

Testerii ETL au adesea întrebări pertinente despre ce să testeze în Informatica și cât de mult este nevoie de acoperire pentru test?

Permiteți-mi să vă fac un tur despre cum să efectuați testarea ETL specifică pentru Informatica.

Principalele aspecte care ar trebui acoperite în mod esențial în testarea ETL Informatica sunt:

• Testarea funcționalității fluxului de lucru Informatica și a componentelor sale; toate transformările utilizate în mapările subiacente.
• Pentru a verifica caracterul complet al datelor (adică asigurarea faptului că datele proiectate sunt încărcate în țintă fără trunchiere și pierderi de date),
• Verificarea dacă datele sunt încărcate la țintă în limitele de timp estimate (adică evaluarea performanței fluxului de lucru),
• Asigurându-vă că fluxul de lucru nu permite încărcarea datelor nevalide sau nedorite în țintă.

Clasificarea testării ETL în Informatica:

Pentru o mai bună înțelegere și ușurință a testerului, testarea ETL în Informatica poate fi împărțită în două părți principale -

diferența dintre testarea alfa și beta

# 1) Testare la nivel înalt
# 2) Testare detaliată

În primul rând, la testarea la nivel înalt:

• Puteți verifica dacă fluxul de lucru Informatica și obiectele conexe sunt valabile sau nu.
• Verificați dacă fluxul de lucru se finalizează cu succes la rulare.
• Confirmați dacă toate sesiunile / sarcinile necesare sunt executate în fluxul de lucru.
• Validați dacă datele sunt încărcate în directorul țintă dorit și cu numele de fișier așteptat (în cazul în care fluxul de lucru creează un fișier) etc.

Pe scurt, puteți spune că testarea la nivel înalt include toate verificările de bază ale sănătății.

Venind la următoarea parte, adică testare detaliată în Informatica , veți merge în profunzime pentru a valida dacă logica implementată în Informatica funcționează conform așteptărilor în ceea ce privește rezultatele și performanța acesteia.

• Trebuie să faceți validările datelor de ieșire la nivel de câmp, ceea ce va confirma că fiecare transformare funcționează bine
• Verificați dacă numărul înregistrărilor la fiecare nivel de procesare și, în final, dacă ținta este așa cum era de așteptat.
• Monitorizați temeinic elemente precum calificatorul sursă și ținta în statisticile sursă / țintă ale sesiunii
• Asigurați-vă că durata de rulare a fluxului de lucru Informatica este la egalitate cu timpul de rulare estimat.

Pentru a rezuma, putem spune că testarea detaliată include o validare riguroasă a fluxului de lucru Informatica și a fluxului de date aferent.

Să luăm un exemplu aici:

Avem un fișier plat care conține date despre diferite produse. Stochează detalii precum numele produsului, descrierea acestuia, categoria, data expirării, prețul etc.

Cerința mea este să preiau fiecare înregistrare de produs din fișier, să generez un ID de produs unic corespunzător fiecărei înregistrări și să îl încărc în tabelul de baze de date țintă. De asemenea, trebuie să suprim acele produse care fie aparțin categoriei „C” sau a căror dată de expirare este mai mică decât data curentă.

Spuneți, fișierul meu plat (sursa) arată astfel:

(Notă:Faceți clic pe orice imagine pentru vizualizare mărită)

Pe baza cerințelor mele menționate mai sus, tabelul bazei mele de date (Țintă) ar trebui să arate astfel:

Numele tabelului: Tbl_Product

Acum, să spunem, am dezvoltat un flux de lucru Informatica pentru a obține soluția pentru cerințele mele ETL.

Cartografierea informatică de bază va citi datele din fișierul plat, va transmite datele printr-o transformare a routerului care va elimina rândurile care au fie categoria de produse ca „C”, fie data de expirare, apoi voi folosi o generație de secvență pentru a crea cheia primară unică valorile pentru coloana Prod_ID din Tabelul de produse.

În cele din urmă, înregistrările vor fi încărcate în tabelul Produs, care este ținta pentru maparea mea Informatica.

Exemple:

Mai jos sunt exemplele de cazuri de testare pentru scenariul explicat mai sus.

Puteți utiliza aceste cazuri de testare ca șablon în proiectul dvs. de testare Informatica și puteți adăuga / elimina cazuri de testare similare, în funcție de funcționalitatea fluxului de lucru.

# 1) ID-ul cazului de testare: T001

Scopul cazului de testare: Validați fluxul de lucru - (workflow_name)

Procedura de testare:

• Accesați managerul fluxului de lucru
• Deschideți fluxul de lucru
• Meniul Fluxuri de lucru-> faceți clic pe validare

Valoare de intrare / date de testare: Sursele și țintele sunt disponibile și conectate
Surse: (numele tuturor instanțelor sursă)
Mappings: (numele tuturor mapărilor)
Ținte: (numele tuturor instanțelor țintă)
Sesiune: (numele tuturor sesiunilor)

Rezultate asteptate: Mesaj în bara de stare a managerului de flux de lucru: „Workflow (workflow_name) este valid“

ce alți furnizori de e-mail sunt acolo

Rezultate actuale: Mesaj în bara de stare a managerului de flux de lucru: „Workflow (workflow_name) este valid“

Observații:Trece

Comentarii tester:

# 2) ID-ul cazului de testare: T002

Scopul cazului de testare: Pentru a vă asigura că fluxul de lucru rulează cu succes

Procedura de testare:

• Accesați managerul fluxului de lucru
• Deschideți fluxul de lucru
• Faceți clic dreapta în proiectantul fluxului de lucru și selectați Începeți fluxul de lucru
• Verificați starea în Workflow Monitor

Valoare de intrare / date de testare: La fel ca datele de testare pentru T001

Rezultate asteptate: Mesaj în fereastra de ieșire în Manager flux de lucru: Actualizare sarcină: (nume flux_de lucru) (reușit)

Rezultate actuale: Mesaj în fereastra de ieșire în Manager flux de lucru: Actualizare sarcină: (nume flux_de lucru) (reușit)

Observații:Trece

Comentarii tester: Fluxul de lucru a reușit

Notă: Puteți vedea cu ușurință starea de rulare a fluxului de lucru (eșuată / reușită) în monitorul fluxului de lucru, așa cum se arată în exemplul de mai jos. Odată ce fluxul de lucru va fi finalizat, starea se va reflecta automat în monitorul fluxului de lucru.

În captura de ecran de mai sus, puteți vedea ora de începere și ora de sfârșit a fluxului de lucru, precum și starea succesă.

# 3) ID-ul cazului de testare: T003

Scopul cazului de testare: Pentru a valida dacă numărul dorit de înregistrări se încarcă către țintă

Procedura de testare: Odată ce fluxul de lucru a rulat cu succes, accesați tabelul țintă din baza de date
Verificați numărul de rânduri din tabelul bazei de date țintă

Valoare de intrare / date de testare: 5 rânduri în fișierul sursă
Țintă: tabel de baze de date - (Tbl_Product)
Interogare pentru a rula în serverul SQL: Selectați numărul (1) din (Tbl_Product)

Rezultate asteptate: 3 rânduri selectate

Rezultate actuale: 3 rânduri selectate

Observații:Trece

Comentarii tester:

# 4) ID-ul cazului de testare: T004

Scopul cazului de testare: Pentru a verifica dacă generatorul de secvențe din maparea Informatica funcționează bine pentru popularea (primary_key_column_name ex. Coloana Prod_ID)

Procedura de testare: Odată ce fluxul de lucru a rulat cu succes, accesați tabelul țintă din baza de date
Verificați secvența unică generată în coloana Prod_ID

Valoare de intrare / date de testare: valoarea pentru Prod_ID lăsată necompletată pentru fiecare rând din fișierul sursă
Generatorul de secvențe mapat la coloana Prod_ID din mapare
Valoarea de pornire a generatorului de secvențe setată ca 1001
Țintă: tabelul bazei de date- (Tbl_Product) deschis în SQL Server

Rezultate asteptate: Valoare de la 1001 la 1003 populată pe fiecare rând pentru coloana Prod_ID

Rezultate actuale: Valoare de la 1001 la 1003 populată pe fiecare rând pentru coloana Prod_ID

Observații:Trece

Comentarii tester:

# 5) ID-ul cazului de testare: T005

cel mai bun downloader de muzică mp3 pentru computer

Scopul cazului de testare: Pentru a valida dacă transformarea routerului funcționează bine pentru a suprima înregistrările în cazul în care categoria de produse este „C” sau produsul a expirat.

Procedura de testare: Odată ce fluxul de lucru a rulat cu succes, accesați tabelul țintă din baza de date
Rulați interogarea pe tabela țintă pentru a verifica dacă înregistrările dorite au fost eliminate.

Valoare de intrare / date de testare: 5 rânduri în fișierul sursă
Țintă: tabel de baze de date - (Tbl_Product)
Interogare pentru a rula în serverul SQL: Selectați * din Produs unde Prod_category = „C” sau Prod_expiry_date< sysdate ;

Rezultate asteptate: nu au fost selectate rânduri

Rezultate actuale: nu au fost selectate rânduri

Observații:Trece

Comentarii tester: (dacă există)

# 6) ID-ul cazului de testare: T006

Scopul cazului de testare: Pentru a verifica performanța fluxului de lucru înregistrând timpul de execuție al fluxului de lucru.

Procedura de testare:

• Deschideți monitorul fluxului de lucru și continuați rularea care a fost făcută ca parte a T001.
• Înregistrați ora de început și ora de încheiere a fluxului de lucru.
• Calculați timpul total de execuție scăzând ora de început din ora de încheiere.

Valoare de intrare / date de testare: Fluxul de lucru a rulat cu succes
Ora de începere a fluxului de lucru în monitor
Ora de încheiere a fluxului de lucru în monitor.

Rezultate asteptate: 2 min 30 sec

Rezultate actuale: 2 min 15 sec

Observații:Trece

Comentarii tester: Considerând testul drept „Trecere” în cazul în care durata efectivă de rulare este de +/- 10% din durata de rulare așteptată.

# 7) ID-ul cazului de testare: T007

Scopul cazului de testare: Pentru a valida datele la nivelul coloanei tabelului țintă pentru a vă asigura că nu există pierderi de date.

Procedura de testare: Odată ce fluxul de lucru a rulat cu succes, accesați SQL Server.
Rulați interogarea pe tabelul țintă pentru a verifica dacă nu există pierderi de date.

Valoare de intrare / date de testare: Fluxul de lucru a rulat cu succes
Un eșantion de înregistrare din fișierul plat sursă.
Interogare SQL: Selectați Top 1 * din Tbl_Patient;

Rezultate asteptate:
S-a întors 1 rând

Rezultate actuale:
S-a întors 1 rând.

Observații:Trece

Comentarii tester: Considerând testul drept „Trecere” în cazul în care durata efectivă de rulare este de +/- 10% din durata de rulare așteptată.

Avantajele utilizării Informatica ca instrument ETL:

Informatica este un instrument ETL popular și de succes, deoarece:

• Are o rată ridicată de succes „live live” (aproape 100%)
• Informatica are capacitatea de a permite integrarea Lean.
• Este un instrument cu preț moderat în comparație cu alte instrumente ETL.
• Vine cu programator intern de joburi. Deci, nu este nevoie să utilizați planificatorul terță parte separat, așa cum fac alte instrumente ETL.
• Formarea ușoară și disponibilitatea instrumentelor au făcut ca Informatica să devină mai populară.

Câteva sfaturi utile pentru a vă ajuta în testarea ETL Informatica:

• Generați datele de test înainte de a executa scenariile de testare.
• Datele de testare trebuie să fie sincronizate cu cazul de testare pentru care sunt utilizate.
• Asigurați-vă că ați acoperit toate cele 3 scenarii - nu sunt trimise date, nu sunt trimise date nevalide și datele valide sunt trimise ca intrare în fluxul de lucru Informatica.
• Asigurați-vă că testați că toate datele necesare sunt încărcate pentru a viza complet. Pentru aceasta, puteți utiliza un caz de testare - T003 descris mai sus ca eșantion.
• Este foarte important să testați că fluxul de lucru efectuează corect toate transformările de date conform regulilor de afaceri.
• Aș sugera că pentru fiecare transformare aplicată în maparea dvs. Informatica, ar trebui să aveți o listă de verificare pentru a verifica datele de ieșire împotriva acesteia. În acest fel, puteți raporta cu ușurință erorile dacă orice transformare nu funcționează bine.

Concluzie:

Deci, am văzut în detaliu, câteva dintre exemplele de cazuri de testare care pot fi utilizate ca șablon pentru a acoperi testarea ETL în Informatica. După cum am menționat mai devreme, puteți adăuga / elimina / modifica aceste cazuri de testare în funcție de scenariul pe care îl aveți în proiect.

După cum am menționat mai devreme, puteți adăuga / elimina / modifica aceste cazuri de testare în funcție de scenariul pe care îl aveți în proiect.

Informatica PowerCenter este o bază pentru orice activitate de integrare a datelor.

Puteți efectua cu ușurință testarea automată fără script a datelor copiate în testare, dezvoltare sau mediu de producție, și acesta este motivul pentru care PowerCenter este cel mai popular instrument ETL în zilele noastre.

Lectură recomandată => Testarea ETL vs. DB - O privire mai atentă asupra nevoii de testare ETL

Despre autor: Acesta este un articol invitat de Priya K. Are o experiență de peste 4 ani în dezvoltarea și sprijinirea aplicațiilor ETL Informatica.

Simțiți-vă liber să postați întrebările dvs. / comentarii despre acest instrument ETL.

Lectură recomandată

• Cele mai bune instrumente de testare software 2021 (Instrumente de automatizare a testelor de calitate)
• Cum se efectuează testarea backend
• Întrebări și răspunsuri la interviuri de testare ETL
• Tutorial de testare a depozitului de date ETL (ghid complet)
• Descărcare eBook Descărcare Primer
• Testarea ETL vs. DB - O privire mai atentă asupra necesității de testare ETL, a planificării și a instrumentelor ETL
• Testarea încărcării folosind LoadUI - Un instrument de testare a încărcării gratuit și open source
• Top 10 instrumente de testare ETL în 2021