Artifact: Souhrnný report za testování

Main Description

Monitorování testování prostupuje skrze celý proces testování a shromažďuje informace o probíhajících aktivitách testování a o stupni naplnění výstupních kritérií testování. Po ukončení provádění testů je třeba výsledky testování zhodnotit proti cílům testování a výstupním kritériím definovaným plánem testování a následně je shrnout do souhrnného reportu za testování.

Souhrnný report za testování je dle [ISTQB, 2012c, s. 47] definován jako „dokument, který shrnuje aktivity a výsledky testování. Zároveň zahrnuje vyhodnocení odpovídajících položek testování proti výstupním kritériím“. Dle standardu IEEE 829 ještě také může obsahovat různá doporučení založená na zjištěných výsledcích [2008, s. 64].

Za vytváření souhrnného reportu za testování je primárně zodpovědný test manažer. Test analytici a testeři přispívají shromažďováním informací o vývoji metrik z nástrojů pro řízení testování a pomáhají při vyhodnocování celkového pokrytí požadavků a rizik testy. Na základě informací dodaných test analytiky a testery vytváří test manažer souhrnný report, který následně předává mimo testovací tým projektovému manažerovi a případně dalším na projektu zainteresovaným stranám.

Dle standardu IEEE 829 souhrnný report za testování zahrnuje informace, které zachycuje následující tabulka.

Položky souhrnného reportu za testování, zdroj: [IEEE, 2008, 64-66; SQE, 2001d]

Položky souhrnného reportu za testování	Popis
Souhrnný přehled o testování	Souhrnné vyhodnocení testovaných položek. Identifikuje otestované položky a případné rozdíly oproti položkám specifikovaným v plánu testování, včetně informací o verzi, resp. release dané položky. Dále uvádí informace o prostředí, na kterém testování probíhalo, a o jeho přesném nastavení a vlivu na testování, opět včetně rozdílů oproti testovacímu prostředí specifikovaném v plánu testování. Také zde mohou být uvedeny odkazy na další dokumenty a materiály, které podporují tento report.
Shrnutí výsledků testování	Identifikuje všechny vyřešené defekty a shrnuje způsob jejich řešení, popř. se odkazuje na místo, kde jsou tyto informace k dispozici. Dále identifikuje všechny nevyřešené defekty. Pokud je řešení některých defektů odloženo, vysvětluje nebo odkazuje na postup, jak s nimi bude naloženo. Kromě rozlišení defektu podle stavu je vhodné defekty také kategorizovat dle závažnosti a priority.
Shrnutí aktivit testování	Shrnuje hlavní události a aktivity testování a k nim odpovídající získané metriky. Reportuje změny proběhlých aktivit oproti plánovaným aktivitám a obzvláště tam, kde objem skutečného úsilí a času na testování přesáhl plánované úsilí a čas, uvádí důvody pro tyto změny, včetně možných dopadů na následující projekty a aktivity testovacího týmu.
Odchylky	Odchylky testovacích položek oproti jejich specifikacím a odchylky proti testovací dokumentaci (například změny v testech proti plánu testování, nebo testy, které nebyly provedeny). Soustředí se především na oblasti, které mohou vyvolat znepokojení při akceptaci výsledků testování. Zároveň jsou specifikovány důvody pro každou odchylku nebo skupinu odchylek nebo je uveden odkaz na místo, kde jsou tyto důvody zaznamenány.
Komplexní vyhodnocení	Vyhodnocuje úplnost procesu testování směrem k definovaným cílům testování a výstupním kritériím specifikovaným v plánu testování. Cíle a výstupní kritéria testování jsou vyhodnocovány na základě získaných hodnot metrik, jako je například počet plánovaných testovacích případů, které skončily úspěšně či neúspěšně nebo pokrytí požadavků a rizik provedenými testy. Dále uvádí, jak bylo testování účinné, jaké byly v procesu testování slabiny a zejména co bylo příčinou odchylek a neočekávaných trendů.
Odůvodnění rozhodnutí	Specifikuje problémy, které byly projednávány před učiněním rozhodnutí a zdůvodňuje, jak se došlo k výsledku daného rozhodnutí.
Závěry a doporučení	Specifikují celkové zhodnocení každé testované položky, včetně jejich omezení. Hodnocení by mělo být objektivní, založené na výsledcích testování a na jasně definovaných výstupních kritériích pro danou položku testování. Ve vyhodnocení mohou být zahrnuty také odhady pravděpodobnosti selhání a seznamy vypuštěných, nedokončených nebo jen částečně dokončených funkcí či vlastností dané položky. Navrhuje, zda testované položky mohou být nasazeny do produkce ihned, nebo jakmile nudou vyřešeny určité defekty, nebo až po kompletní revizi.

Pro podporu vytváření souhrnných reportů za testování je možné, podobně jako při vytváření průběžných reportů, využít možnosti automatického generování reportů v nástroji IBM Rational Quality Manager.

Impact of not having	Pokud nejsou vytvářeny souhrnné reporty za testování, test manažer nemá žádný důkaz o naplnění cílů a výstupních kritérií testování. Testování se z pohledu ostatních členů projektového týmu a na projektu zainteresovaných stran jeví jako černá díra. Neví se, co bylo otestováno, jaké defekty byly či nebyly vyřešeny a proč, jaké jsou příčiny případného překročení časového limitu na testování, atd. Souhrnné reporty za testování jsou důležité i pro testovací tým. V případě, kdy projekt bude v budoucnu předmětem změnových požadavků a nebyl by k dispozici souhrnný report z posledního testování, testovací tým nemůže plynule navázat na výsledky předchozího testování a musí nejdříve složitě zjišťovat, v jakém stavu byl daný produkt nasazen na produkci.
Reasons for not needing	Souhrnné reporty za testování je třeba vytvářet vždy. Míra detailu souhrnného reportu závisí na projektu a organizaci. Nezbytné je, aby souhrnný report prokázal naplnění cílů a výstupních kritérií testování. Ostatní informace mohou být zredukovány nebo na ně může být z reportu odkázáno.
Representation Options	Forma souhrnného reportu závisí na potřebách zainteresovaných stran projektu a na specifikách projektu a organizace. Pro podporu vytváření souhrnných reportů za testování je vhodné využít předdefinovaných reportů v IBM Rational Quality Manager, nebo si nadefinovat vlastní šablonu pro report.