Den norske Dataforenings årlige konferanse for software testing er et populært møtested for oss testere, hvor vi får innblikk i nye trender, teknologier og holder oss faglig oppdaterte. Årets tema var «Menneske + Maskin = Testimator», om hvordan fremtiden for testingen nå påvirkes av teknologisk nyvinning. Som vanlig stilte mange fra SOCO.
Gøy på stand
Som Platinum partner til Testdagen hadde SOCO egen stand. Mange nye og gamle venner tok innom for en hyggelig prat, og mange kunne få med seg litt varmt popcorn. Hans Arne Jacobsen, som også var eminent sporansvarlig på AI & QA-sporet, hadde også tatt med seg en retrogaming konsoll. Stor suksess hos nye, og spesielt eldre, gamere!
Gjengen fra SOCO Testinnsikt sto for det faglige innslaget på standen, med mange og varierte lokkemidler for å få besvarelser til årets spørreundersøkelse. Årets undersøkelse vil gå i dybden på hvordan vi tester AI nå. De som svarte på undersøkelsen, kunne nyte vår egen energi-drikk!
Testautomatisering med kunstig intelligens
Foredraget «Test smarter not harder. Automation with AI» var helt i tråd med konferansens tema. Vår egen Pazilia Jurat og Ramile Parhat fra Norsk Helsenett satte søkelys på hvordan vi kan jobbe sammen med ny teknologi innen LLM (språkmodeller innen kunstig intelligens) og Model Context Protocol i testautomatiseringen. Sistnevnte kalles MCP, og gjør at ulike modeller og AI-tjenester kan snakke mer sømløst sammen.
Pazilia trakk frem hvordan utviklingen nå har gjort det mulig for en tester å støtte seg på kunstig intelligens i arbeidet med testautomatisering. Som testere må vi kunne både testfaget og teknologien for å automatisere når vi bruker kunstig intelligens. De nye verktøyene, som for eksempel Playwright MCP, gir oss mulighet til å bruke «promptene» (det du spør en assistent, f.eks. ChapGPT. om svar på) til å generere tester. Selv om det fortsatt er mange fallgruver, påpekte Pazilia at teknologien vil bli stadig smartere.
Ramile ga en introduksjon til MCP og viste frem eksempler på hvordan prompter kan se ut. Slike regler kan brukes både for POM locators og for Playwirght MCP. Ved hjelp av verktøyene Perplexity, Copilot, Playwright MCP og VisualStudio Code viste hun frem hvordan tester kan genereres og kjøres. Her kom samspillet mellom testutvikler og AI tydelig frem, hvordan testutvikleren setter opp reglene og bedømmer utfallet. Den som er ansvarlig for testautomatiseringen må sjekke at genereringen er som forutsatt og at produktet faktisk lar seg bruke.
Ingen tvil om at det må et slikt samspill til fremover!
Mange spørsmål om fremtiden
På Q&A-sesjonen med Kjetil Gjelsten og Audun Urke var også temaet kunstig intelligens.
Blant egenskapene med AI som kan bistå oss med til testingen pekte de på testplaner, test cases og testdata – i tillegg til verktøy som nå bruker AI til å generere og fikse tester. LLM’ene kan gi oss en bedre teknologiforståelse og nyttige visualiseringer, og for de som enten koder, eller vil forstå kode, kan AI være til hjelp. Det er derimot flere ting som bekymrer med bruk av AI i testing, og som mange erfarer kan de gjerne hallusinere. Modellene kan gi svar som er biased eller mangelfulle, og ikke minst bekymrer det at den ikke er konsistent (ikke- deterministisk). Vi trenger med andre ord mye mer kunnskap for å bygge tillit, kanskje må vi vite mer om hvordan modellene vekter svarene sine, velger ut data og hvilke valg de eventuelt gjør annerledes ved neste prompt. Vi trenger mer data og undersøkelser: blir kostnader lavere, time-to-market kortere, brukerne mer fornøyde, feilene færre og feilrettingstiden virkelig lavere? Noen av disse spørsmålene ønsker årets TestInnsikt å gå i dybden på, så appellen gikk ut til de som har nyttige erfaringer å dele!
Takk til alle som tok turen innom standen, og takk til arrangørene for en flott Testdagen ODIN 2025!
