TestInnsikt er SOCOs plattform for analyser innen testfaget. Fra høsten 2022 samlet vi inn godt over 200 tilbakemeldinger på vår spørreundersøkelse om testdata. Temaet er aktuelt da testdata gjerne oppfattes som utfordrende. På ukens SOCO Frokostseminar fikk de fremmøtte høre mer om hovedpunktene fra funnene, i tillegg til noen praktiske råd baserte på prosjekterfaringer.
Presentasjon (PDF) Testinnsikt 2023 & Testdata SOCO Frokostseminar 09.02.2023
Syntetiske testdata brukes mer enn forventet
Eline Furu Skjelbred presenterte hovedfunnene fra analysen av undersøkelsen, og pekte på to viktige aspekter som vi ønsket svar på i år:
- Hva bruker vi mest av syntetiske, anonymiserte og produksjonsdata?
- Anonymiserer vi dataene godt nok?
Noe overraskende viser funnene at bruken av syntetiske testdata er betydelig på alle testnivåer. Hele 80 % svarer at de ville ha valgt syntetiske testdata ved oppstart av nytt prosjekt. Selv om ikke undersøkelsen direkte spurte om ressurser og kompetanse som kreves for bruk av syntetiske testdata, er det nok rimelig å anta at dette er faktorer som spiller inn.
Selv om bruken av syntetiske testdata er større enn vår opprinnelige hypotese skulle tilsi, så er anonymisering fortsatt brukt. Et viktig hensyn da er at anonymiseringen er så god at det ikke er mulig å spore seg tilbake til de reelle personopplysningene. Her viser funnene at det fortsatt finnes smutthull som åpner for at en tilbakesporing er mulig.
Likte at Testinnsikt bygger på hypoteser! Gjør resultatet spisset!
Tilbakemelding fra publikum
Releasetakt og automatisering
Hvordan henger syntetiske testdata sammen med releasetakt, sektor og testautomatisering? Vi hadde forventet at en hyppig releasetakt, det vil si ukentlig eller oftere, i større grad betyr bruk av syntetiske testdata. Funnene viser at det er en svært begrenset sammenheng mellom de to, og Testinnsikt-gjengen var overrasket at releasetakten ikke hadde en større betydelig for valg av løsning for testdata
Testdata påvirker testautomatiseringen, hvor knotete testdata gir lavere testdekning enn det som er ønsket. Hovedgrunnene til dette er avhengigheter til eksterne og/eller at testdatene endrer seg ofte.
Vi kan også fastslå at testdata fortsatt er en tidstyv. Dette gjelder spesielt de som må skape dem manuelt, men også de som bruker automatiske metoder angir at de gjerne skulle brukt mindre tid på dette.
Produksjonsdata ut av testmiljøene
På frokostseminaret delte Cecilie Haugstvedt fra sine erfaringer med testdata. Ett av hovedpoengene hennes var at produksjonsdata som inneholder persondata bør komme seg ut av testmiljøene en gang for alle selv om de sparer oss tid og penger. Grunnen til at det er problematisk å bruke produksjonsdata er at testmiljøene ikke er tilgangsstyrt tilsvarende produksjonsmiljøene.
En annen årsak er at produksjonsdata heller ikke alltid er gode testdata for å teste ny funksjonalitet eller hindre feil. De egner seg egentlig best til å reprodusere feil fra produksjon.
Ulike testdata egner seg til ulike testformål
Cecilie pekte også på hvordan ulike testdata egner seg gitt ulike formål. Mens produksjonsdata gir fordeler når det kommer til realisme, kostnader og integrasjoner, så er anonymiserte testdata best for realismen, men ikke så gode med tanke på personvernet. Automatisk genererte syntetiske testdata gir personvern, realisme og kostnadseffektivitet. For de som kan anledning til å benytte seg av Tenor Testdata, vil de i tillegg også dra nytte av fordelene for å teste integrasjoner.
