TVNorge glemte å teste appen!

Lørdag 25. mars hadde Lost in Time premiere. TVNorge sin store interaktive satsning. De snublet og datt på hoppkanten på grunn av manglende testing. Hva burde de gjort?

Vi har testet og testet og testet. Men det er ikke mulig å teste for det trøkket som blir.

Dette sa mediesjef Hanne McBride i Discovery Norway til Dagbladet dagen etter.

Etter hva jeg kan se er det selskapet The Future Group som har utviklet løsningen for TVNorge. Isåfall har TVNorge fått dårlig rådgivning fra leverandøren sin. Det er klart det er mulig å teste for trykket en slik løsning kan oppleve, og selvfølgelig skal man stressteste!

Stresstesting blir ganske ofte utelatt av en eller to grunner:

  • Ikke budsjettert med, rett og slett glemt!
  • Prosjektet sklir ut på tid og det blir nedprioritert for å nå en markedsmessig deadline.
  • Kostnadskutt, stresstest i denne skalaen er dyrt, samtidig som som styringsgruppa ofte ikke har kompetanse nok til å se verdien/risikoen.

Videre forteller Hanne McBride at:

Det er en serverfeil hos Oracle som såvidt jeg er blitt informert om, bare gjelder deres leveranse til oss.

Dette tolker jeg slik at det er servertjenestene til selve appen som ikke tålte trykket. At dette ikke er stresstestet på skikkelig måte, spesielt med tanke på hvor høyt lista TVNorge har lagt for seg selv med kulturministeren på «verdenslasnsering» og greier, det er som sagt dessverre ikke spesielt overraskende, men likevel skuffende.

Som ikke det er nok, så avslører Hanne McBride til VG at de heller ikke monitorerer hvor mange som bruker appen eller hvor mange som har problemer:

Vi har ikke oversikt over hvor mange seere som har spilt og hvor mange som ikke har kunnet spille.

Jeg grøsser ved tanken på om vi hadde gått i samme felle da en av mine største kunder lanserte en app ved nyttår i år. Allerede seks måneder før lansering engasjerte kunden meg og mine kollegaer til å stressteste og monitorere appen, nettopp for å unngå en slik fadese som TVNorge nå opplever.

Kunden la lista høyere enn vi trodde på, de ønsket å stressteste for 1 million samtidige brukere. Jeg tror vi endte opp med å stressteste 500.000 samtidige brukere! Vi stresstestet omtrent alle endepunkter appen kunne ha. Dette synliggjorde flere forbedringsområder som ble fikset i god tid før lansering.

Løsningen vi brukte for stresstesting heter Apica. Denne brukes blant annet av spillprodusenten Activision og underholdningsleverandøren SF Bio.

I tillegg overvåket vi alt fra selve appen til databasen til butikksystemene med en løsning kalt AppDynamics. AppDynamics har kunder som for eksempel HBO, Tivo og Roku. Siden vi startet med monitorering samtidig som stresstestingen så bygget vi opp en erfaringsbank med hva som kunne gå galt, hvilke symptomer å se etter og hvem som skulle få SMS for å rette opp.

De første ukene etter lansering satt alle leverandørene (for det er mange leverandører i ett slikt app-prosjekt) i ett såkalt War Room, der alle fra prosjektledere til utviklere satt og fulgte med på de samme monitorene som viste bruksmønster og helsestatus for alle deler av tjenesten. På den måten løste vi alle problemer som oppstod på svært kort tid, som regel før sluttbrukerne merket noe til det.

Hvis en server hos en av leverandørene strevde, så viste vi om det iløpet av minutter. Om en bestemt telefonmodell gav brukerne problemer etter en app-oppdatering, så viste vi det også iløpet av minutter, og ikke minst, vi visste hvor mange brukere som opplevde en god brukeropplevelse og hvor mange som ikke gjorde det.

Så beklager TVNorge, men unnskyldningen om at det ikke var mulig å teste eller ha oversikt, den holder ikke. Det er fullt mulig, dere og deres leverandører har bare nedprioritert det. Nå betaler dere prisen…

Oppdatering 3/4-17: Selv med bare halvparten så mange seere så klarte ikke løsningen til TVNorge å levere i program nummer to. Nå står hele satsningen foran en uviss skjebne. Ifølge Kampanje settes satsningen på en midlertidig pause, kan hele programmet skrinlegges på grunn av manglende testing og overvåking?

En kommentar om “TVNorge glemte å teste appen!”

Legg igjen en kommentar