Nets har innrømmet at det var en programmeringsfeil hos dem som medførte at DNBs betalingsapp Vipps fikk store problemer i forrige uke.
En feilslått endring i et grensesnitt gjorde at appen gikk ned for telling onsdag klokken 15.10. Det gikk flere dager før noen skjønte hva som hadde skjedd, langt mindre kunne fikse feilen.
– Endringen skjedde i Nettaksept, som er et av systemene Nets leverer til bankene, men som også alle nettbutikker bruker. Det er en tjeneste de har svært mange kunder på, utdyper Liv Fiksdahl, DNBs konserndirektør for IT og Operations til digi.no.
Hun betegner hendelsen som en feilprogrammering hos Nets.
Stiller spørsmål ved kodeendring midt på dagen
– Endringen førte til at grensesnittet ga oss et ugyldig felt, som førte til en «exception». Med 1,5 millioner brukere på Vipps fikk dette store konsekvenser. Det vi stiller spørsmål ved er at de kan gjøre en sånn endring midt på dagen. Selv sørger vi for å gjøre endringer på tider av døgnet da kundene ikke er så avhengige av tjenestene. Vi hadde håpet at også Nets tilpasset endringstidspunkt litt til brukerne også. Ellers er dette en endring de på ingen måte har meldt til oss.
Fiksdahl forteller at Nets deltok i problemhåndteringen allerede onsdag kveld.
– De var inne med en tekniker som på ingen måte verken fortalte oss at de hadde gjort endringer, eller fortalte at de (selv) var en del av problemet.
Flere døgn etter at Vipps tok kvelden, nærmere bestemt fredag kveld klokken 23 foretok Nets en såkalt roll-back av koden. De tok opp en tidligere versjon av programvaren, uten feilen.
– Fredag hadde vi klart å ta opp de viktigste tjenestene i Vipps, så som innlogging, chat og betaling, men vi torde ikke å ta opp flere tjenester – så lenge vi ikke kjente rotårsaken. Når vi fant den og Nets rullet tilbake sin endring, fungerte ting som normalt. Gjennom natten kunne vi da ta opp de øvrige tjenestene i Vipps, så vi var klare til lørdag morgen.
- Les også: Robot rømte fra russisk laboratorium
Skru fra hverandre koden
I praksis mener DNB at informasjonen og bistanden de fikk fra Nets førte arbeidet med å gjenopprette tjenesten ut på et skikkelig blindspor.
Til slutt måtte vi skru fra hverandre koden vår, rett og slett
Liv Fiksdahl
– Det er klart når vi ikke finner feilen i løpet av onsdag, torsdag og natt til fredag. Til slutt måtte vi skru fra hverandre koden vår, rett og slett, sier Fiksdahl.
Først i denne prosessen ble feilen avdekket. Ifølge DNB var det innleid bistand fra det indiske konsulentselskapet Tata Consultency Services (TCS) i samarbeid med bankens egne folk, som reddet dagen.
– Det var TCS som har applikasjonsdriften for Vipps som fant denne feilen. Da hadde vi på forhånd gått gjennom alle endringer, alle grensesnitt, nettverk, brannmurer, lastbalanserer, etc. etc, sier Fiksdahl.
Underveis har ikke bare DNB, Nets og TCS bistått, men også underleverandører. Fiksdahl sier hun har regnet på hvor mange mennesker og timer som har vært involvert. Først ønsket hun ikke å dele anslaget, før hun til slutt likevel sier:
– Vi har brukt 1000 timer, tenker jeg.
Er det aktuelt å fakturere Nets for dette ekstraarbeidet?
– Nei, jeg tror ikke at vi gjør det. Men jeg har vært uttrykksfull med dem om at vi må se forbedringer på en del prosesser. Samtidig må jeg si at Vipps er en tjeneste som har vært på lufta i ett år. I denne perioden har vi klart å gå fra null til 1,5 millioner brukere. Det har skjedd så fort. Applikasjonen krever egentlig en helt annen setup og robustifisering enn når vi startet med den. Skal vi komme med noe formildende overfor Nets, så har de vel ikke hatt kunnskap og forståelse nok hos seg rundt hva Vipps krever.
– Nets er jo profesjonelle
Er ikke feil i et grensesnitt egentlig en filleting som DNB og Nets burde ha funnet ut av langt raskere?
– Ikke når du får nei på henvendelsen og får med teknisk personell som avkrefter at det kan være noe der. Da går du videre med feilsøkingen. Hadde de sagt at det var foretatt en endring i grensesnittet ville vi stoppet og gått videre med det sporet. Vi har jo en veldig tillit til tjenestene de leverer til oss. Nets er jo profesjonelle.
Er det en tillit som nå har fått en knekk?
– Menneskelige feil og sånne ting kan skje hos alle. De sier det er en menneskelig feil. Det er vel både menneskelige feil og prosessfeil. At det gjør dette på dagtid, ikke melder ifra til oss, samt at de også svarer negativt til oss når det skjer en hendelse. Det er forbedringspotensial her, kan du si.
Hva slags lærdom tar dere i DNB av dette?
– Etter alle sånne hendelser har vi en evaluering. Hva som kunne vært gjort annerledes, prosesser, hvordan vi håndterte selve hendelsen er alle del av en slik evaluering som vi gjør denne uken.
Skryter av indisk partner
NRK skrev onsdag i forrige uke at Arbeidstilsynet gransker Vipps-prosjektets bruk av indiske IT-konsulenter, med påstand om svært lange arbeidsdager på opptil 14-16 timer, hele uken igjennom. Det var samme dag Vipps fikk problemer.
DNB avviser at det er noen sammenheng, men hvordan har de opplevd samarbeidet med Tata når krisen inntraff?
Fiksdahl betegner de innleide konsulentene som flinke. Hun er rett og slett styrket i sin tro på at outsourcingen ikke bare er fornuftig, men avgjørende for banken.
– Vår opplevelse er at de er veldig pliktoppfyllende innen compliance og det å holde seg innenfor regler og vilkår. Samtidig opplever vi en leverandør med et inderlig ønske om å bidra når vi kommer over noe sånt. Det er avgjørende for oss å ha globale aktører i ryggen hvis vi skal kunne hevde oss innen kampen om betalingsformidling og forholde oss til konkurransen. De (Tata) har akkurat likt stort eierskap til Vipps som vi har når det gjelder arbeidet. De er med på workshops og dugnader for å finne løsninger. Det er ivrige og flinke folk, sier hun.
Selv om det nå er klart at rotårsaken lå hos Nets; I hvilken grad er du fornøyd med at det tar flere dager før DNB finner ut av det og får løst problemet. Er det holdbart?
– Veldig lite fornøyd. Jeg er den første til å beklage det. Derfor gjør vi nå et grundig arbeid med evalueringen.
DNB ønsker seg et kontantløst samfunn
Til slutt kan vi ikke unngå å utfordre konserndirektøren i DNB, som tross alt er den banken i Norge som sterkest har tatt til orde for avskaffelse av cash.
Ledelsen står samlet bak et forslag om at Norge bør bli et kontantløst samfunn, noe VG slo opp i januar.
Hvordan ser de på akkurat det forslaget, i lys av den siste tiden problemer med betalingstjenesten sin?
– Det vi har sagt hos oss er at det er bra kundene har flere alternativer. Det er ingen tvil om at det går i retning av at betaling skjer elektronisk. Samtidig har jeg forståelse for at enkelte grupper av kundene våre strever med det. Vi må jo legge til rette et tilbud for dem også. Men på bakgrunn av hendelsen her tenker jeg ikke at vi går i feil retning. Derimot er det viktig at betalingsløsningene er robuste, avslutter konserndirektør for IT og Operations i DNB, Liv Fiksdahl.
Mandag denne uken kunne DNB markere at de har bikket 2 millioner registrerte brukere av Vipps. De oppgir at tjenesten aktivt benyttes av 1,5 millioner brukere.
Men de har også konkurrenter.
Konkurrent opplevde rekord forrige uke
Blant disse er for eksempel Sparebank 1 sin satsing Mcash, som oppgir å ha 330.000 aktive brukere. Antall nedlastninger er nesten det dobbelte, men det er de ikke så opptatt av.
– Vi har rekordmange transaksjoner på vennebetaling i forrige uke. I perioden opplevde vi nye brukere og økt aktivitet, sier administrerende direktør Elisabeth Haug i Mcash når digi.no spør om de kan ha tjent på konkurrentens nedetid.
Så mener hun at nedetid er en ærlig sak for en digital tjeneste. Det kan skje alle.
– Men dette viser tydelig at engasjementet knyttet til mobilbetalingstjenester er høyt. Vi tror at dette markedet er veldig uforløst. Sist uke viser at det fortsatt er mulig å lykkes med flere apper, både for vennebetaling og mobilbetaling generelt, sier Mcash-direktøren.
Danske Bank er en annen aktør med sin MobilePay, som de oppgir har 250.000 nedlastninger. I likhet med de andre merker også de en positiv brukervekst.
Hvorvidt dette skyldes rivalens driftsutfordringer er mer vanskelig å si. Selv peker de på at de har lansert flere nye tjenester lansert den siste tiden, deriblant mulighet for betaling i NSBs app og nettbetaling.
– Dette har økt antall nedlastninger, og vi tror det er årsaken til at vi har en positiv utvikling, fremfor at vår konkurrent har hatt problemer, sier leder av MobilePay i Norge, Knut Anders Wangen.
