8 key performance indicators
Acest articol explică 8 indicatori cheie de performanță pentru lansări de calitate cu ajutorul soluției de test end-to-end Panaya Test Dynamix:
Nu este un secret faptul că managerii de calitate software se confruntă cu o presiune crescândă pentru a furniza software de înaltă calitate la o viteză record.
Întrebarea pe care toți ne-o punem adesea este - „cum ne măsurăm succesul” în termeni de calitate a software-ului?
Viteza pe piață este un calcul mult mai simplu, dar măsurarea performanței noastre în furnizarea de software de înaltă calitate depinde de o multitudine de factori, cum ar fi metodologia proiectului (cascadă, hibrid, agil), complexitatea software-ului, nivelul tehnic datoria implicată, numărul de interfețe și multe altele.
Pe scurt, numărul de variabile care se joacă într-un nivel acceptabil de defecte de severitate mare nu trebuie subestimat. Prin urmare, pentru a supraviețui pe această piață, trebuie să evoluăm continuu, atât în opiniile noastre, cât și în bastoanele noastre de măsurare.
Acesta este motivul pentru care am dezvoltat această listă cu cei mai buni 8 indicatori de performanță pe care ar trebui să îi adăugați la Scorecard-ul de calitate și să începeți urmărirea pentru a reduce riscul de lansare, pentru a îmbunătăți calitatea și pentru a vă măsura succesul imediat.
Ce veți învăța:
- Indicatori cheie de performanță pentru lansări de calitate
- # 1) Eficacitatea detectării defectelor (DDE, procentul de detectare a defectelor AKA)
- # 2) Defecte la nivel de sistem (SWD)
- # 3) Finalizarea cerințelor
- # 4) Finalizarea dezvoltării
- # 5) Acoperirea planului de testare
- # 6) Analiza riscului de schimbare
- # 7) Risc de execuție a testului
- # 8) Executarea defectelor
- Ce altceva ar trebui să știți despre această soluție
- Concluzie
- Lectură recomandată
Indicatori cheie de performanță pentru lansări de calitate
# 1) Eficacitatea detectării defectelor (DDE, procentul de detectare a defectelor AKA)
Aceasta este o măsură a ta testarea de regresie generală eficacitate. Acesta este calculat ca un raport al defectelor constatate anterior și după eliberare de către clienții dvs.
Defectele găsite după eliberare sunt de obicei cunoscute sub numele de „Incidente” și sunt conectate într-un sistem de asistență, întrucât defectele constatate în timpul fazelor de testare ( De exemplu. , Unitate, sistem, regresie sau UAT) sunt identificate înainte de lansare și documentate cu instrumente precum Panaya Test Dynamix .
Pentru a calcula corect acest KPI, trebuie să clasificați întotdeauna versiunea software în care a fost identificat fiecare defect, înainte de a fi lansat în mediul dvs. de producție.
Formula folosită adesea pentru DDE:
Numărul de defecte identificate în versiunea software lansată /
Numărul de defecte în lansarea software-ului + Defecte scăpate identificate de utilizatorii finali (De exemplu., Incidente)
Iată o ilustrație simplă:
Să presupunem că 95 de defecte au fost găsite în timpul ciclului de testare de regresie în ultimul pachet SAP Service lunar și că 25 de defecte au fost înregistrate după lansare. DDE ar fi calculat ca 95 împărțit la (95 + 25) = 79%.
Rețineți că DDE ar trebui monitorizat cu o diagramă liniară care începe de la 100% în ziua următoare lansării în producție. Și pe măsură ce utilizatorii finali interni și clienții încep să lucreze cu cel mai recent pachet de servicii SAP ca exemplu, ei vor înregistra inevitabil câteva incidente.
Din experiența mea, o „frenezie de hrănire” apare în prima săptămână, la 2 zile după ce un pachet de service a intrat în mediul productiv. Atunci veți observa o scădere rapidă de la 100% la aproximativ 95% pe măsură ce incidentele sunt înregistrate. Dacă compania dvs. are o cadență lunară de lansare Service Pack, atunci măsurați DDE pentru o perioadă de 30 de zile pe fiecare Service Pack.
Pe de altă parte, dacă compania dvs. desfășoară doar patru (4) cicluri majore de lansare pe an, măsurați-o timp de 90 de zile pentru a vedea cum scade în această perioadă de timp.
Ce este considerat un „bun DDE”?
Seamănă mult cu valorile tensiunii arteriale pe care fiecare organizație și persoană le dezvoltă în timp.
Deși comunitatea medicală definește tensiunea arterială „optimă” la 120/80 - este firesc să observăm o creștere a tensiunii arteriale sistolice pe măsură ce îmbătrânim. Cu DDE, practicienii din industrie și liderii de gânduri au știut că spun că 90% este lăudabil în majoritatea industriilor.
Cu toate acestea, am văzut organizațiile obținând> 95% DDE în mod consecvent, trecând la stânga cu instrumente de simulare a impactului schimbării, cum ar fi Analiza impactului Panaya .
# 2) Defecte la nivel de sistem (SWD)
Ați întâlnit vreodată mai multe defecte care sunt asociate cu aceleași obiecte? Sigur, ai avea. Este un fenomen comun pe care îl întâlnesc mulți manageri de teste.
Dintr-o dată, vedeți o creștere imensă a numărului de bug-uri raportate într-un ciclu UAT. Din fericire, pun pariu că sunteți de tipul care monitorizează defectele la fiecare 15 minute și „leagă” manual duplicatele împreună sau citește fiecare descriere pentru a discerne singur cauza principală, nu? Îndoielnic.
Deci, care sunt opțiunile dvs. pentru a gestiona inevitabila dramă a „inflației defecte?”
Drama care apare în acel apel de recapitulare de noapte cu conducerea de la sediul central despre „De ce o astfel de creștere bruscă a defectelor astăzi?” (Pauză ... Respirație profundă înainte de a răspunde) ... „Sunt în proces de a lucra cu clienții noștri funcționali pentru a efectua o analiză manuală a cauzei rădăcinii.
Dar credem că multe dintre probleme se referă la o problemă comună, dar care nu a fost încă identificată ”, sună familiar?
Sugestia mea este să începeți urmărirea a ceea ce apelează Panaya „Defecte la nivel de sistem” . Urmărirea manuală durează pentru totdeauna - credeți-mă, am încercat de multe ori. Este, de asemenea, dureros să faci acest lucru în timp ce folosești instrumentele ALM vechi, în care tot ce ai rămas este abilitatea de a lega defectele între ele și de a adăuga un comentariu.
Uau, asta chiar a ajutat! (simți sarcasmul?). Dar, dacă nu aveți de ales în ceea ce privește instrumentele acum, va trebui să lăsați deoparte timpul pentru a urmări corect defectele la nivel de sistem pentru a le „explica” în mod clar? de ce linia de tendință a erorilor se deplasează în sus spre sfârșitul unui ciclu de testare, mai degrabă decât în jos.
întrebare și răspuns la interviu de asistență tehnică
Dacă aveți o șansă, verificați Panaya Test Dynamix, acesta are SWD încorporat în motorul însuși, care calculează automat SWD pentru dvs. din mers.
Pânza de păianjen - Aflându-se în „Cockpit-ul de risc” al acestei platforme, aceasta este o reprezentare puternică, dar simplă, a celor 6 indicatori cheie de performanță suplimentari care completează cei mai importanți indicatori de performanță pe care ar trebui să îi urmărească fiecare manager de calitate, testare și lansare.
# 3) Finalizarea cerințelor
Managerii de asigurare a calității înțeleg riscul la un nivel mai profund, care poate fi realizat numai cu un cod sau o vizibilitate la nivel de transport completată la fiecare cerință. Acest lucru necesită setul corect de instrumente.
Instrumentul Panaya va răspunde nevoilor organizațiilor SAP care caută sugestii inteligente pentru teste unitare și analize de risc pe baza activității de transport.
Acest nivel de urmărire este disponibil în cadrul Panaya lansează Dynamix (RDx) .
# 4) Finalizarea dezvoltării
Trăim într-o eră în care clienții sunt regele și acest lucru conduce strategia de transformare digitală a fiecărei organizații. În zilele noastre, nu ne putem permite să fim liniștiți în gândirea noastră sau în abordarea noastră organizațională în ceea ce privește asigurarea și livrarea calității software-ului.
Modelele noastre tradiționale ALM de altădată nu au fost concepute pentru modelul de livrare continuă de astăzi. Pentru a combate acest vechi mod de gândire, managerii de QA și de testare trebuie să se integreze în acțiunea de dezvoltare a aplicațiilor, ceea ce înseamnă a avea un impuls asupra livrării poveștilor utilizatorilor.
Nu este suficient să „stai și să aștepți” ca povestea unui utilizator să ajungă la starea finalizată. Mai degrabă trebuie să urmărim evoluția unei povești de utilizatori, să participăm la întâlnirile Scrum zilnice și să vorbim deschis despre riscurile care se manifestă, cu modificări importante aduse aplicației supuse testului.
# 5) Acoperirea planului de testare
Acesta este unul dintre KPI-urile mele preferate de urmărit, deoarece nu sunt retrogradat doar la urmărirea sistemului, integrării, regresiei și acoperirii UAT.
În adevăratul spirit al deplasării spre stânga, am început să vă sfătuiesc despre importanța urmăririi acoperirii testelor unitare. Sună nebunesc, nu? Nu este, mai ales dacă aveți instrumentele potrivite pentru a face mai ușoară execuția testelor unitare, dar ușurează chiar și captarea rezultatelor reale (dovezi).
Cu capacitatea integrată de înregistrare și redare a testului Panaya Test Dynamix, participarea dvs. la testarea unitară va crește. Veți putea nu numai să afișați cu mândrie o Matrice de trasabilitate a cerințelor care să prezinte o acoperire de la capăt la cap, ci și să prezentați cu ușurință rezultatele efective către departamentul dvs. de audit, de la unitate până la testarea de regresie.
# 6) Analiza riscului de schimbare
Un risc este inerent oricărei modificări pe care o facem unei aplicații supuse testului, dar nu știm întotdeauna dacă testăm lucrurile corecte.
Multe organizații au propria lor definiție a ceea ce înseamnă „risc de schimbare” pentru ei. În „Cockpit-ul de risc” al lansării Panasonic’s Dynamix (RDx), puteți elimina ghiciile din urmărirea modificărilor cu o analiză de impact pentru proiectul dvs. sau următoarea versiune.
RDx calculează în mod sistematic riscul pentru fiecare cerință și vă ține la curent cu modul în care se schimbă pe măsură ce mergeți mai departe în ciclul de viață al livrării.
# 7) Risc de execuție a testului
Este prea obișnuit ca toate organizațiile să urmărească KPI-urile, cum ar fi testele autorizate, testele trecute, testele automate și testele executate, dar ce se întâmplă cu urmărirea pașilor efectivi executați în cadrul fiecăruia dintre teste?
Ai observat vreodată că multe dintre platforme populare ALM nu oferiți capabilități de raportare prealabile pentru a urmări progresul execuției „pasului” testului? Când aveți multe „transferuri” diferite care apar pe o Ciclul UAT , este logic să urmăriți riscul și starea de execuție a testului, nu numai la nivelul testului, ci și la nivelul procesului de afaceri.
Panaya Test Dynamix face asta doar, de la început.
# 8) Executarea defectelor
Defectele de urmărire au, de asemenea, o conotație negativă.
În plus față de urmărirea defectelor active, a defectelor remediate pe zi defecte respinse și a defectelor grave, vă sugerăm, de asemenea, să monitorizați rezolvarea defectelor, deoarece acestea se referă la cerințele incluse.
Multe organizații nu adoptă o viziune bazată pe cerințe asupra rezolvării defectelor.
De ce această soluție pentru testare?
Cu o trasabilitate end-to-end integrată atât în Release Dynamix, cât și în Panaya Test Dynamix, organizația dvs. poate urmări fluxul de lucru al rezoluției defectelor de la început până la sfârșit la nivelul cerințelor.
Acest lucru este util în special pentru managerii de lansare, calitate și testare care caută o vedere de pasăre a unui proiect sau a unui ciclu de lansare.
Panaya accelerează procesul de testare pentru utilizatorii IT tehnici și de afaceri, reducând astfel efortul global de testare cu 30-50%:
- Managerii: Alerte în timp real pentru testare și defecte și prevenirea blocajelor.
- Utilizatori de afaceri: Documentare automată a probelor și defectelor testate.
- Analiști funcționali: Automatizarea activităților de testare repetitive.
- Testeri profesioniști: Îmbunătățește perfect capturarea cunoștințelor de afaceri.
- Rezolvarea defectelor: Reduce înainte și înapoi cu testerele.
Ce altceva ar trebui să știți despre această soluție
# 1) Panaya Test Dynamix este o soluție SaaS ceea ce înseamnă că obțineți o integrare perfectă, actualizări frecvente și nedureroase, precum și monitorizarea instrumentelor de automatizare la fața locului.
# 2) Instrumente de colaborare încorporate eficientizați ciclurile de testare cu notificări și instrumente de comunicare încorporate.
Transmiterea automată a pașilor de testare către următorul utilizator elimină timpul inactiv, ameliorează blocajele de sarcină și asigură fluxuri de lucru optime.
# 3) Gestionarea inteligentă a defectelor permite utilizatorilor să monitorizeze central defectele, rezolvarea acestora și procesele de afaceri afectate de acestea.
Atunci când este găsit un defect, identifică automat toate celelalte teste afectate de acesta și blochează sau trimite notificări către testeri până când defectul principal este rezolvat. Defectul rezolvat este închis automat, eliminând restanțele de defecte.
# 4) Cu o abordare centrată pe procesele de afaceri pentru UAT și SIT, experții subiect funcțional și dispersați geografic validează ciclurile UAT pe baza proceselor reale de afaceri (aplicații ambalate).
# 5) Testarea conectorilor de automatizare furnizați o integrare completă a Panaya Test Dynamix cu instrumentele de automatizare existente pentru cicluri de regresie eficiente într-un timp și efort minim, cu funcții de urmărire și monitorizare holistică.
# 6) Testarea automatizării dovezilor automatizează testarea manuală gestionată în mod tradițional în Excel și Word.
Economisește timp documentând fără efort fiecare execuție a testului - inclusiv dovezi de testare și o evidență a pașilor pentru reproducerea testelor, reducând în același timp înainte și înapoi între dezvoltatori și testeri. Documentarea este gata de audit , asigură respectarea tuturor standardelor de calitate interne și externe.
# 7) Testare autonomăSM pentru SAP permite crearea și întreținerea cazurilor de testare zero-touch, astfel încât să nu mai aveți nevoie să vă ocupați de durerile asociate cu capturarea cunoștințelor de afaceri și procesul de creare și întreținere a scripturilor proiectate manual.
Scripturile sunt personalizabile în timp ce învățarea automată oferă validare și sugestii bazate pe analiza mulțimii.
# 8) Captarea automată a cunoștințelor de afaceri - Omega creează automat cazuri de testare din viața reală pe baza activităților utilizatorilor de afaceri capturate fără probleme în producție utilizând algoritmi de învățare automată (SAP).
Concluzie
Managerii de calitate a software-ului și toate părțile interesate relevante își pot îndeplini testele KPI pentru a stimula mai multe inovații, reducând în același timp eforturile cu 30-50%, fără a compromite domeniul de aplicare sau calitatea utilizând Panaya.
instrumente de generare a datelor de testare open source
Standardizează procesul de testare și măsoară succesul, întrucât toate părțile interesate adoptă aceeași metodologie de testare pentru a obține vizibilitate în timp real pe toate ciclurile de testare, inclusiv UAT pe scară largă.
Pentru mai multe informații, puteți explora Panaya Test Dynamix .
Spuneți-ne părerile / întrebările dvs. în comentariile de mai jos.
Lectură recomandată
- Care sunt atributele de calitate?
- Performanță MongoDB: performanță de blocare, erori de pagină și profil de baze de date
- Diferența dintre asigurarea calității și controlul calității (QA vs QC)
- Falsul Dumnezeu al Calității versus Oamenii Adevărați - Cine este responsabil pentru calitatea software-ului?
- Georgia Tech își standardizează testarea performanței pe RadView WebLOAD
- HTTP vs HTTPS: o comparație aprofundată a caracteristicilor și performanței
- Diferența dintre planul de testare a performanței și strategia de testare a performanței
- Cum se efectuează testarea manuală a performanței?