Undersøkelsen ble gjennomført av International Data Corp (IDC) på oppdrag fra Mercury Interactive. IDC har gått nøye gjennom tre ulike tilfeller, der utgifter og inntekter er analysert over treårsperioden 1999 til 2001. Det er ikke gjort forsøk på å sammenlikne med konkurrerende testverktøy.
Mercury skal ifølge IDC ha en markedsandel på 50 prosent innen det globale markedet for det de kaller "automated software quality", definert som "verktøy som primært retter seg mot å sikre kvaliteten i distribuerte applikasjoner".
Slike hjelpemidler brukes både til å kvalitetskontrollere applikasjoner, og til å dimensjonere den helhetlige infrastrukturen slik at applikasjonen tåler brukertallet og bruksmønsteret man kan forvente - eller håpe på - i det virkelige liv. Driver man en eller annen form for e-butikk, kan man ikke overleve dersom nettstedet kneler når etterspørselen er størst.
Vi kan GARANTERT doble ytelsen på nettstedet ditt
Testing øker nettstedytelse med 400 prosent
To av organisasjonene er navngitt: fondsforvalteren Oppenheimer Funds med en IT-avdeling på 400 årsverk og en forvaltningskapital på 130 milliarder dollar, der inntjeningen vesentlig bygger på IT-baserte tjenester til kundene; KBkids.com, e-butikken til KB Toys, den største konkurrenten til ToysRus med en omsetning på to milliarder dollar i året; og en ikke navngitt forsikringsgigant med 35.000 ansatte.
Oppenheimer erfarte at WinRunner ga vesentlige fordeler i raskere utvikling av kvalitetssikrede distribuerte applikasjoner. Verktøyet kostet 16.000 dollar i lisens og bruk, og ga 230.000 dollar i netto fordel. En annen type lisensavtale og større utlegg til opplæring hadde økt kostnadene til 27.000 dollar. Det reduserer investeringslønnsomhet fra 1427 prosent til 865 prosent. LoadRunner ble brukt til omfattende tester opptil fire ganger i året gjennom treårsperioden. I stedet for å innkalle 250 medarbeidere i helgen til å belaste applikasjonen så mye som mulig, kunne fem til åtte IT-folk emulere belastninger på opptil flere tusen brukere. Den samlede utgiften var 211.000 dollar - det ga 2.949.000 dollar igjen, eller 1398 prosent.
I forsikringsselskapet ga WinRunner 1838 prosent igjen. En beregningsmodell med maksimale lisens- og opplæringsutgifter reduserte dette til 312 prosent. For LoadRunner ble fordelen beregnet til bare 123 prosent over treårsperioden. IDC peker på at selv med negativ nettobesparelse ville investeringen måtte betraktes som lønnsom, siden selskapet ellers kunne risikert en rekke langt større utgifter som følge av upålitelige tjenester.
KBkids hadde det typiske problemet at mesteparten av årsomsetningen skjedde de siste fire-fem ukene før jul, og at e-butikken måtte være forberedt på store svingninger i antallet samtidige brukere.
Nettstedet ble lansert i juni 1999 og er et av USAs fem største e-butikker. En realistisk belastningstest krevde emulering av flere hundre tusen samtidige brukere, noe KBkids' forholdsvis beskjedne IT-avdeling ikke ønsket å gjennomføre på egen hånd. Følgelig valgte man ActiveTest-tjenesten fra Mercury.
Situasjonen var spesielt akutt foran jula 2000, da man så for seg store investeringer i maskinvare. Testingen med ActiveTest kostet 35.000 dollar for selve tjenesten, 5000 dollar i ekstrakostnader til internettilbyderen og 450 timer i egen innsats, anslått til 33.750 dollar. Summen er 73.750 dollar.
Testingen fikk KBkids til å gjennomføre mindre justeringer i infrastrukturen, og viste at det ikke var behov for den planlagte investeringen på 150.000 dollar i nye webservere. Som tilleggsfordel anfører IDC vissheten om at infrastrukturen var riktig dimensjonert og tunet, og ny innsikt i organisasjonen for hvordan sette sammen en hensiktsmessig og balansert infrastruktur.
Rent tallmessig representerer disse tre tilfellene en gjennomsnittlig "ROI" (return on investment) på 434 prosent.
Hele IDC-rapporten, Gaining Return on Investment Through Mercury Interactive's Software Testing Products and Services, er lagt ut på Mercurys nettsted i pdf-format.
