Det ble fullt men ekstra trivelig i våre nye lokaler denne uken da vi samlet oss for urpremieren på SOCO Early night. Vi rigget om og fikk plass til 60 ivrig deltakere. Teknologileder Thommy Bommen fra Gnist og vår egen Audun Urke delte av sin kunnskap og erfaringer knyttet til bruk av generativ AI. Begge var tidlig ute med å utforske kunstig intelligens og de ulike verktøyene som har dukket opp de siste årene.
Felles for både Audun og Thommy er at veien inn i KI startet med et ønske om å rett og slett leke seg med verktøyene. Deretter har det gått fra humor, gjennom en utforskende og nysgjerrig tilnærming, til en mer praktisk bruk av kunstig intelligens i hverdagen.
Gode formuleringer gir mange muligheter
Generativ AI, det vil si en form for kunstig intelligens, generer nytt innhold basert på tilgjengelige data. I dag finnes finnes det en rekke verktøy som skaper både bilde, lyd, film og tekst. Thommy viste i sin presentasjon spennet og utviklingen de siste årene, og spesielt hvordan skillet mellom ekte og maskingenerert materiale sakte viskes ut. Ved hjelp av spesifikke beskrivelser, med klare og godt formulerte setninger, er det tilnærmet umulig å se hva som er laget av et menneske eller hva som er generert av en maskin.
Generativ AI er ikke til å stole på, men kan hjelpe deg i form av dialog og innspill
Thommy Bommen, Gnist
Samtidig påpekte Thommy at generativ AI ikke er bedre enn dataen den er basert på. Vi vet at både kjønn, nasjonalitet og utdannelse påvirker datagrunnlaget siden kildene bak verktøyene kan være skjevfordelte. Likeså vil flere av verktøyene lære av de som bruker dem, og dermed også påvirke hvordan de utvikles videre.
Som Thommy også nevnte er det noen etiske vurderinger man bør ta stilling til. Hvor går grensen for eksempel i et arbeid man har skapt i samarbeid med generativ AI? Er din meget godt formulerte setning et godt nok innskudd til å si at du selv har gjort jobben? På den andre siden kan verktøy som ChatGPT og andre tekstgeneratorer hjelpe med både oversettelser, formuleringer og samle store mengder av relevant informasjon.
Innspill til nye tester
I del to av SOCO Early night utfordret Audun Urke demo-spøkelset og gjennomførte en vellykket demonstrasjon av ChatGPT, versjon 4. Audun benytter den betalte versjonen som ikke bare gir tilgang uten ventetid, men som også har avanserte innstillinger som opplasting og nedlasting av filer.
ChatGPT er uberegnelig – du får aldri samme svar to ganger!
Audun Urke, SOCO
I løpet av demoen fikk vi se både hvordan ChatGPT hentet, og ikke hentet, informasjon fra Audun sine filer. Ved å laste opp en fil gir vi ChatGPT mye relevant informasjon som grunnlag for analysene og svarene vi ønsker oss. Dessverre sier ikke verktøyet hvilke data det enten ikke kan eller ønsker å gi i svaret sitt, som betyr at vi aldri kan stole på om svarene er komplette eller korrekte. Viktig informasjon kan være utelatt uten at vi vet det.
Flere eksempler viste tydelig hvor viktig det er å være bevist på hvordan man kommuniserer med ChatGPT. Tydelige og presise spørsmål gir ofte bedre og relevante svar, hvor ordvalg, syntaks og kontekst er med på å bestemme hvor godt svaret blir. Begrepet «teststrategi» pleier å være ganske entydig i meningen for oss testere, men verktøyet viste at betydningen bak slett ikke stemte med våre forventninger. I slike tilfeller kan vi ved å gi ChatGPT mer kontekst få bedre svar fra dialogen, selv om demoen viste at det slett ikke skjer alltid! Dermed var det tydelig at vi trenger en måte å verifisere svarene på. Vi må enten ha nok kunnskap om emnet til å selv kunne vurdere svaret, eventuelt ha andre måter å få verifisert det på. Som testere liker vi å gjenskape resultater, noe verktøey ennå ikke er spesielt dyktig til siden de samme spørsmålene som regel gir ulike svar. Publikum fikk se at ChatGPT serverer faktafeil og antagelser med bombastisk sikkerhet!
Audun pekte på hvordan ChatGPT er nyttig i å samle og presentere store mengder informasjon. De som er flinke i å stille spørsmålene vil kunne få mye god testkunnskap servert på en oversiktlig måte. Spesielt fokus ble lagt på hvordan verktøyet kan hjelpe både testeren og teamet til å foreslå relevante tester. Du trenger ikke å kunne mange testteknikker på fingerspissene så lenge du vet hvordan du bør formulere deg og hvilken informasjon du gir ChatGPT som grunnlag. Om vi ber ChatGPT om å ta utgangspunkt i akseptansekriterier eller i en Java-klasse, så vil dette kunne gi oss flere forslag til testtilfeller. Dette er spesielt nyttig når vi enten trenger innspill til flere relevante tester, forstå kompleks kode og hjelpe med å bygge en felles forståelse i teamet.
Videre fordypning
Se gjennom Thommys presentasjon i den vedlagte filen.
Om du er nysgjerrig og ønsker å lese mer om generativ AI har vi samlet noen lenker:
- Hvordan være smarte ved bruk av AI (Stochastic Parrots)
- Hugging face community
- Transformer – en arkitektur for neurale nettverk basert på oppmerksomhet (Attention is all you need)
