8 key performance indicators
In dit artikel worden 8 Key Performance Indicators voor kwaliteitsreleases uitgelegd met behulp van Panaya Test Dynamix end-to-end testoplossing:
Het is geen geheim dat de Software Quality Managers onder toenemende druk staan om met een recordsnelheid hoogwaardige software te leveren.
De vraag die we allemaal vaak stellen is: “hoe meten we ons succes” in termen van softwarekwaliteit?
Speed-to-market is een veel eenvoudigere berekening, maar het meten van onze prestaties bij het leveren van hoogwaardige software hangt af van een groot aantal factoren, zoals de projectmethodologie (waterval, hybride, agile), de complexiteit van de software, het technische niveau. schulden, het aantal interfaces en nog veel meer.
In een notendop, het aantal variabelen dat speelt op een acceptabel niveau van zeer ernstige defecten mag niet worden onderschat. Om op deze markt te kunnen overleven, moeten we daarom voortdurend evolueren, zowel in onze meningen als in onze maatstaven.
Dat is de reden waarom ik deze lijst met top 8 KPI's heb opgesteld die u aan uw kwaliteitsscorekaart moet toevoegen, en begin met het bijhouden om het release-risico te verkleinen, de kwaliteit te verbeteren en uw succes meteen te meten.
Wat je leert:
- Key Performance Indicators voor kwaliteitsreleases
- Wat moet u nog meer weten over deze oplossing?
- Gevolgtrekking
- Aanbevolen literatuur
Key Performance Indicators voor kwaliteitsreleases
# 1) Effectiviteit van defectdetectie (DDE, AKA defectdetectiepercentage)
Dit is een maat voor uw algemene regressietesten effectiviteit. Het wordt berekend als een verhouding van defecten die vóór en na vrijgave door uw klanten zijn gevonden.
Defecten die worden aangetroffen nadat u de release heeft uitgevoerd, worden doorgaans 'Incidenten' en worden aangemeld in een helpdesksysteem terwijl de defecten die tijdens de testfasen zijn gevonden ( Bijv. , Eenheid, Systeem, Regressie of UAT) worden voorafgaand aan de release geïdentificeerd en gedocumenteerd met de tools zoals Panaya Test Dynamix
Om deze KPI goed te kunnen berekenen, moet u altijd de softwareversie categoriseren waarin elk defect werd geïdentificeerd, voordat u het in uw productieomgeving vrijgeeft.
De formule die vaak wordt gebruikt voor DDE:
Aantal geconstateerde defecten in softwareversie release /
Aantal defecten in softwareversie + ontsnapte defecten geïdentificeerd door eindgebruikers (Bijv., Incidenten)
Hier is een eenvoudige illustratie:
Stel dat er 95 defecten zijn gevonden tijdens uw regressietestcyclus op dat laatste maandelijkse SAP Service Pack en dat er 25 defecten zijn geregistreerd na de release. De DDE wordt berekend als 95 gedeeld door (95 + 25) = 79%.
Houd er rekening mee dat de DDE moet worden bewaakt met een lijndiagram dat begint bij 100% op de dag nadat deze voor productie is vrijgegeven. En als uw interne eindgebruikers en klanten beginnen te werken met uw nieuwste SAP-servicepack als voorbeeld, zullen ze onvermijdelijk een paar incidenten registreren.
Het is mijn ervaring dat er binnen de eerste week twee dagen nadat een Service Pack in de productieve omgeving is terechtgekomen, een 'voederwaanzin' optreedt. Dat is het moment waarop u een snelle daling van 100% naar ongeveer 95% opmerkt wanneer incidenten worden geregistreerd. Als uw bedrijf een maandelijkse release-cadans van Service Pack heeft, meet dan DDE gedurende een periode van 30 dagen op elk Service Pack.
Aan de andere kant, als uw bedrijf slechts vier (4) grote releasecycli per jaar uitvoert, meet het dan 90 dagen om te zien hoe het in die periode afneemt.
Wat wordt beschouwd als een 'goede DDE'?
Het lijkt veel op de bloeddrukmetingen die elke organisatie en persoon in de loop van de tijd evolueert.
Hoewel de medische gemeenschap de 'optimale' bloeddrukmeting definieert als 120/80, is het normaal dat de systolische bloeddruk stijgt naarmate we ouder worden. Bij DDE is het bekend dat praktijkmensen en opinieleiders zeggen dat 90% lovenswaardig is in de meeste bedrijfstakken.
Ik heb echter gezien dat organisaties op een consistente basis> 95% DDE behalen door naar links te gaan met simulatietools voor veranderingsimpact, zoals Panaya's impactanalyse
# 2) Systeembrede defecten (SWD)
Bent u ooit meerdere defecten tegengekomen die verband houden met dezelfde objecten? Dat zou je zeker hebben gedaan. Het is een veel voorkomend verschijnsel dat veel testmanagers tegenkomen.
Plots zie je een enorme stijging in het aantal bugs dat wordt gerapporteerd in een UAT-cyclus. Gelukkig wed ik dat u van het type bent dat defecten elke 15 minuten controleert en handmatig de duplicaten aan elkaar koppelt of elke afzonderlijke beschrijving doorleest om de oorzaak zelf te achterhalen, toch? Twijfelachtig.
Dus, wat zijn uw opties om het onvermijdelijke drama van 'defecte inflatie' te beheersen?
Het drama dat volgt op dat nachtelijke samenvattingsgesprek met de leiding van het hoofdkantoor over 'Waarom zo'n plotselinge toename van defecten vandaag?' (Pauze…. Diep inademen alvorens te reageren)… 'Ik ben bezig met het werken met onze Functional Leads om een handmatige hoofdoorzaakanalyse uit te voeren.
Maar we denken dat veel van de problemen verband houden met een veelvoorkomend probleem, maar dat is nog niet geïdentificeerd '', klinkt het bekend?
Mijn suggestie is dat je begint te volgen wat Panaya noemt 'Systeembrede defecten' Dit handmatig bijhouden duurt een eeuwigheid - geloof me, ik heb het al vaak geprobeerd. Het is ook pijnlijk om te doen bij het gebruik van verouderde ALM-tools, waarbij u alleen nog de mogelijkheid hebt om de defecten aan elkaar te koppelen en een opmerking toe te voegen.
Wauw, dat heeft echt geholpen! (voel het sarcasme?). Maar als u nu geen keuze heeft in tools, moet u tijd vrijmaken om systeembrede defecten op de juiste manier op te sporen en duidelijk 'weg te redeneren'? waarom de bug-trendlijn naar het einde van een testcyclus gaat in plaats van naar beneden.
Als je de kans krijgt, bekijk dan Panaya Test Dynamix, het heeft SWD ingebouwd in de engine zelf die automatisch SWD voor je berekent.
Het spinnenweb - Binnen de ‘Risk Cockpit’ van dit platform, is dit een krachtige maar eenvoudige weergave van de 6 aanvullende key performance indicators die de belangrijkste KPI's afronden die elke kwaliteits-, test- en releasemanager zou moeten volgen.
# 3) Voltooiing van vereisten
QA-managers begrijpen het risico op een dieper niveau dat alleen kan worden gerealiseerd met een code of zichtbaarheid op transportniveau die is opgerold voor elke vereiste. Hiervoor is de juiste set tools nodig.
Panaya-tool beantwoordt aan de behoeften van door SAP beheerde organisaties die op zoek zijn naar intelligente suggesties voor unit-tests en risicoanalyse op basis van transportactiviteiten.
Dit niveau van tracking is beschikbaar binnen Panaya Release Dynamix (RDx)
# 4) Voltooiing van de ontwikkeling
We leven in een tijdperk waarin klanten de koning zijn en dit drijft de digitale transformatiestrategie van elke organisatie. In deze tijd kunnen we het ons niet veroorloven om stil te staan bij ons denken of onze organisatorische benadering van de kwaliteitsborging en levering van software.
Onze traditionele ALM-modellen van weleer zijn niet ontworpen voor het continue leveringsmodel van vandaag. Om deze oude manier van denken te bestrijden, moeten QA- en testmanagers zich inbedden in de actie van applicatieontwikkeling, wat betekent dat ze een impuls moeten hebben aan de levering van user stories.
Het is niet genoeg om te 'zitten en wachten' totdat een gebruikersverhaal de status 'Klaar' heeft bereikt. We moeten eerder de evolutie van een gebruikersverhaal volgen, dagelijkse Scrum-vergaderingen bijwonen en openlijk praten over de risico's die zich voordoen bij belangrijke wijzigingen die worden aangebracht in de te testen applicatie.
# 5) Dekking van het testplan
Dit is een van mijn favoriete KPI's om bij te houden, omdat ik niet alleen ben gedegradeerd tot het volgen van het systeem, integratie, regressie en UAT-dekking.
In de ware geest van naar links schuiven, ben ik begonnen te adviseren over het belang van het volgen van de dekking van het testen van eenheden. Klinkt gek, toch? Dat is het niet, vooral als u over de juiste tools beschikt om de uitvoering van unit-tests alleen gemakkelijk te maken, maar zelfs het vastleggen van de feitelijke resultaten (bewijs) gemakkelijker maakt.
Met Panaya Test Dynamix's ingebouwde mogelijkheid om op te nemen en af te spelen, zal uw deelname aan het testen van eenheden omhoogschieten. U kunt niet alleen met trots een Vereisten-traceerbaarheidsmatrix laten zien die een end-to-end-dekking laat zien, maar u zult ook gemakkelijk de daadwerkelijke resultaten laten zien aan uw auditafdeling, van unit tot regressietest.
# 6) Risicoanalyse wijzigen
Een risico is inherent aan elke wijziging die we aanbrengen in een te testen applicatie, maar we weten niet altijd of we de juiste dingen testen.
Veel organisaties hebben hun eigen definitie van wat ‘veranderingsrisico’ voor hen betekent. Binnen de ‘Risk Cockpit’ van Panaya's Release Dynamix (RDx), kunt u het giswerk uit het bijhouden van de wijzigingen halen met een impactanalyse voor uw project of volgende release.
RDx berekent systematisch het risico voor elke vereiste en houdt u op de hoogte van hoe deze verandert naarmate u verder komt in de leveringscyclus.
# 7) Risico op uitvoering van tests
Het is te gewoon voor alle organisaties om KPI's bij te houden, zoals geschreven tests, geslaagde tests, geautomatiseerde tests en uitgevoerde tests, maar hoe zit het met het volgen van de feitelijke stappen die binnen elk van de tests worden uitgevoerd?
Is het je ooit opgevallen dat veel van de populaire ALM-platforms geen kant-en-klare rapportagemogelijkheden bieden om de voortgang van de testuitvoering bij te houden? Als er veel verschillende ‘overdrachten’ optreden bij een UAT-cyclus is het zinvol om het risico en de status van testuitvoering te volgen, niet alleen op testniveau maar ook op bedrijfsprocesniveau.
Panaya Test Dynamix doet dat gewoon, out-of-the-box.
# 8) Uitvoering van gebreken
Trackingdefecten hebben inherent ook een negatieve connotatie.
hoe torrent-bestanden op Android te openen
Naast het opsporen van actieve defecten, defecten die per dag worden afgewezen defecten en ernstige defecten, raden we ook aan om de oplossing van defecten te controleren, aangezien deze betrekking hebben op scoped-in vereisten.
Veel organisaties hebben geen op eisen gebaseerde kijk op het oplossen van defecten.
Waarom deze oplossing voor testen?
Met een end-to-end traceerbaarheid die is ingebouwd in zowel de Release Dynamix als de Panaya Test Dynamix, kan uw organisatie de workflow van het oplossen van defecten van begin tot eind volgen op het niveau van de vereisten.
Dit is met name handig voor release-, kwaliteits- en testmanagers die een project of releasecyclus in vogelvlucht willen bekijken.
Panaya versnelt het testproces voor technische IT- en zakelijke gebruikers, waardoor de algehele testinspanning met 30-50% wordt verminderd:
- Managers: Real-time alerts voor testen en defecten en het voorkomen van bottlenecks.
- Zakelijke gebruikers: Geautomatiseerde documentatie van testbewijs en defecten.
- Functionele analisten: Automatisering van repetitieve testactiviteiten.
- Professionele testers: Verbetert naadloos het vastleggen van bedrijfskennis.
- Foutoplossers: Vermindert heen en weer met de testers.
Wat moet u nog meer weten over deze oplossing?
# 1) Panaya Test Dynamix is een SaaS-oplossing wat betekent dat u een naadloze integratie, frequente en pijnloze upgrades krijgt, evenals monitoring van on-premise automatiseringstools.
# 2) Ingebouwde samenwerkingstools stroomlijn testcycli met ingebouwde meldingen en communicatietools.
Automatische overdracht van teststappen aan de volgende gebruiker elimineert inactieve tijd, verlicht knelpunten in de werklast en zorgt voor optimale workflows.
# 3) Slim defectbeheer stelt gebruikers in staat om defecten, hun oplossing en de bedrijfsprocessen die erdoor worden beïnvloed centraal te bewaken.
Wanneer een defect wordt gevonden, identificeert het automatisch alle andere tests die erdoor worden beïnvloed en blokkeert of stuurt het meldingen naar testers totdat het belangrijkste defect is opgelost. Het opgeloste defect wordt automatisch gesloten door het wegwerken van een defectachterstand.
# 4) Met een bedrijfsprocesgerichte benadering van UAT en SIT, functieoverschrijdende en geografisch verspreide materiedeskundigen valideren UAT-cycli op basis van de feitelijke bedrijfsprocessen (pakketapplicaties).
# 5) Test automatiseringsconnectoren bieden een volledige integratie van Panaya Test Dynamix met de bestaande automatiseringstools voor effectieve regressiecycli in een minimum aan tijd en moeite met holistische tracking- en bewakingsmogelijkheden.
# 6) Test de automatisering van bewijzen automatiseert handmatige tests die traditioneel worden beheerd in Excel en Word.
Bespaart tijd door moeiteloos elke testuitvoering te documenteren - inclusief testbewijs en een registratie van stappen voor testreproductie, terwijl het heen en weer tussen ontwikkelaars en testers wordt verminderd. Documentatie is klaar voor audits , zorgt voor naleving van alle interne en externe kwaliteitsnormen.
# 7) Autonoom testenSM voor SAP maakt het maken en onderhouden van testcases zonder aanrakingen mogelijk, zodat u niet langer hoeft te werken met de pijn die gepaard gaat met het vastleggen van bedrijfskennis en het proces van het maken en onderhouden van handmatig ontworpen scripts.
Scripts kunnen worden aangepast, terwijl machine learning validatie en suggesties biedt op basis van crowd-analyse.
# 8) Geautomatiseerde verzameling van zakelijke kennis - Omega creëert automatisch real-life testcases op basis van activiteiten van zakelijke gebruikers die naadloos zijn vastgelegd in de productie met behulp van machine learning-algoritmen (SAP).
Gevolgtrekking
De softwarekwaliteitsmanagers en alle relevante belanghebbenden kunnen aan hun test-KPI's voldoen om meer innovatie te stimuleren en tegelijkertijd de inspanningen met 30-50% te verminderen, zonder in te leveren op de reikwijdte of kwaliteit met Panaya.
Standaardiseert het testproces en meet het succes, aangezien alle belanghebbenden dezelfde testmethodologie toepassen om realtime zichtbaarheid te krijgen over alle testcycli, inclusief grootschalige UAT.
Voor meer informatie kunt u verkennen Panaya Test Dynamix
Laat ons uw mening / vragen weten in onderstaande opmerkingen.
Aanbevolen literatuur
- Wat zijn de kwaliteitskenmerken?
- MongoDB-prestaties: vergrendelingsprestaties, paginafouten en databaseprofilering
- Verschil tussen kwaliteitsborging en kwaliteitscontrole (QA versus QC)
- Fake God van kwaliteit versus echte mensen - Wie is verantwoordelijk voor softwarekwaliteit?
- Georgia Tech standaardiseert zijn prestatietests op RadView WebLOAD
- HTTP versus HTTPS: een diepgaande vergelijking van functies en prestaties
- Verschil tussen prestatietestplan en prestatieteststrategie
- Hoe voer ik handmatige prestatietests uit?