Een vergelijking tussen ATF van ServiceNow en Tosca (en wanneer je wat gebruikt)
De keuze is gemaakt. Om de kwaliteit te borgen en de tijd voor regressietesten in te korten is testautomatisering binnen mijn ServiceNow project een must. Maar hoe nu verder? In deze blog neem ik je mee in de afweging, op basis van mijn eigen praktijkervaring.
Je komt al snel uit op twee smaken:
ATF (Automated Test Framework), dit is de interne testtool van ServiceNow, of een generieke tool zoals Tosca.
Beide hebben hun kracht, maar ook hun beperkingen. In deze blog deel ik mijn praktijkervaring en hoe ik tot mijn keuze kwam voor zowel unit-, systeem- als ketentesten.
Wat valt er te testen in ServiceNow?
Wanneer een test faalt, wil je duidelijke feedback ontvangen waar iets mis gaat. ServiceNow ondersteunt daarin al met een standaard gelaagdheid. Deze zijn gekoppeld aan verschillende testtypes die zich richten op verschillende onderdelen, zoals:
De testtool die je kiest, moet dus passen bij wat je wilt testen.
ATF - native kracht met grenzen
De kracht van ATF zit hem in het snel opzetten van systeemtests binnen de ServiceNow UI. Als unieke vaardigheid biedt het de mogelijkheid om alle gegenereerde testdata (aanvragen, goedkeuringen etc.) na de testuitvoering te verwijderen. Wanneer de ambitie van het team gericht is op ServiceNow zijn er geen bijkomende licentiekosten voor het gebruik van ATF en training past binnen het certificeringsprogramma. Andere voordelen en beperkingen zijn:
Voordelen:
- Automatische rollback van testdata
- Eenvoudig mapping van velden en UI-elementen
- Direct geïntegreerd in ServiceNow
- Neemt securitycontext en rollen mee
Beperkingen:
- Beperkt overzicht bij veel testcases (onderhouden wordt snel een uitdaging)
- Niet geschikt voor ketentests met externe systemen
- Weinig ondersteuning voor testdata-driven testen
Tosca - flexibel, krachtig, maar zwaarder
Tosca is krachtig, zeker als je meerdere applicaties beheert. Dankzij modulaire opbouw en data-driven testen is onderhoud eenvoudiger. Samenwerking tussen teams makkelijker voor beheer en kennisdeling. Maar: de opstart vergt wel meer tijd.
Voordelen:
- Modulaire en overzichtelijke testcases
- Testdata-driven testen
- Ketentesten over systemen heen
- Centrale view over meerdere applicaties
Beperkingen:
- Meer setup en integratie nodig
- Mappen van ServiceNow-elementen vragen initieel meer inspanning
- Geen rollback van testdata.
Mijn afwegingen
Als testcoördinator van een team met één dedicated tester en ServiceNow gespecialiseerde ontwikkelaars is het voor mij belangrijk dat er snel een uitgebreide set aan tests gemaakt worden die ook eenvoudig onderhoudbaar zijn. Heeft het de voorkeur wanneer de ontwikkelaars bij kunnen dragen aan het maken en onderhouden van de tests, maar niet noodzakelijk. Ik heb de beschikking over andere teams die al Tosca gebruiken en ondersteunen met het integreren hiervan. Ook vormen de integraties met andere applicaties een hoog risico dat gedekt moet worden.
ServiceNow laat zich niet eenvoudig testen op unittest niveau. Althans, niet geautomatiseerd. Via API calls is snel en zonder afhankelijkheid van de GUI een begin situatie te creëren om een specifiek systeemonderdeel te testen. Bijvoorbeeld het klaarzetten van een goedgekeurde aanvraag om taken te valideren. Hierin blinkt er niet één specifiek uit, dus:
Er is geen “beste keuze”, maar wel een “beste keuze voor jou”
Bovenstaande toont natuurlijk slechts een beperkt deel van de aspecten die van invloed zijn geweest op mijn keuze. Om aan te tonen dat de beste keuze afhankelijk is van de situatie. ATF en Tosca vullen elkaar aan, maar proberen elkaar niet te zijn. Beide hebben een eigen doelgroep.
Vraag jezelf af:
- Waar zit de meeste foutgevoeligheid?
- Wie onderhoudt de tests?
- Test je alleen in ServiceNow, of is het onderdeel van een keten?
De beste keuze is degene die past bij je context, je team én je technische landschap.
Ik denk graag met je mee.
