Forrester Research har tatt for seg åtte applikasjonstjenere og sammenliknet dem med tanke på ni kriterier. Rangeringen er laget ut fra åtte av de ni kriteriene: Kostnadskriteriet er utelatt, slik at sammenlikningen blir utelukkende ut fra teknologi, med tillegg av et kriterium for "vendor strength", altså i hvilken utstrekning man kan anta at leverandøren vil være i stand til å følge opp kundeforholdet over tid.
De åtte applikasjonstjenerne i undersøkelsen, ordnet etter snittkarakter i testen, er:
- Oracle 9iAS
- BEA WebLogic 6.1
- IBM WebSphere 4.0
- iPlanet 6.0 (i dag en del av SunONE)
- Sybase EAServer 4.1
- Microsoft Windows 2000 Advanced Server med .Net Framework
- Macromedia JRun 4.0
- Macromedia ColdFusion 5.0
Åpen kildekodevare som JBoss og Tomcat er ikke med i sammenlikningen.
De åtte tellende kriteriene i sammenlikningen er:
- Ytelse, vesentlig ut fra arkitektoniske betraktninger rundt cache, belastningsfordeling, håndtering av tråder og liknende
- Pålitelighet, med vekt på sesjonsstyring, feiltoleranse, logging, ytelsesovervåkning og varsling av systemansvarlig
- Sikkerhet, blant annet kryptering av samband og data, brukerautentisering, styring av tilgang til filsystemer og databaser, forhold til ulike katalogtjenester
- Integrasjon, det vil si tilgang til databasedrivere, støtte til komponentteknologier som Java 2EE og Microsoft COM, og generell evne til å koples til datakilder og bedriftssystemer
- Administrasjon, altså drift og utlegging. Støtte til tredjeparts verktøy som OpenView og Tivoli kommer inn her
- Utvikling, både for å bygge og teste applikasjoner.
- Java kompatibilitet, omfatter håndteringen av de siste standardene for J2EE, J2SE og J2ME
- Leverandørens markedsposisjon, det vil si evnen til å følge opp kundeforholdet over tid, arbeid med partnere, internasjonal tilstedeværelse og så videre.
Sammenlikningen innebærer at Forrester gir Oracle en solid teknologiattest. Oracle vurderes ikke under gjennomsnittet på noe kriterium, unntatt kostnader. 9iAS får best eller nesten best poengsum i kriterier som ytelse, sikkerhet, integrasjon, ytelse, utvikling og Java-kompatibilitet.
Den vesentlige innvendingen mot Oracle 9iAS er at driftsverktøyene er umodne og at det ikke gis støtte for verktøy fra tredjepart. Videre må toppkarakterene innen integrasjon og utviklingsverktøy vurderes ut fra at de ligger på henholdsvis 3,7 og 3,6 i en skala fra null til 5,0, mens toppkarakterene i den andre kriteriene varierer fra 4,4 til 5,0, unntatt pålitelighet der Oracle ligger på 3,7 mens den beste konkurrenten får 4,0. Alle leverandørene vurderes altså å ha et betydelig forbedringspotensial innen integrasjon og utviklingsverktøy.
Det har ennå ikke lykkes å fravriste verken Forrester eller Microsoft detaljene i vurderingen av Microsoft. Det er likevel klart at testen er laget slik at den favoriserer Java-leiren. Microsoft er ikke opptatt av Java. Det innebærer at Java-kompatibiliteten til selskapets produkt antakelig er satt til null. Når det gjelder integrasjon, teller også J2EE-kompatibilitet her, slik at Microsofts integrasjonskarakter i utgangspunktet er betydelig nedsatt. digi.no kommer tilbake til dette når tallene er tilgjengelige.
Én av de internasjonalt kjente ekspertene på området, David Chappell, sier til digi.no at Forrester-testen gjenspeiler Oracles faktiske teknologiske overlegenhet.
- Men teknologisk overlegenhet er sjeldent avgjørende på markedet. Å ha det beste produktet er ikke ensbetydende med å vinne fram. Når det gjelder markedsandeler står striden mellom IBM og BEA, mens Microsoft utfordrer med utgangspunkt i styrken til Windows. Jeg tror ikke Oracle vil lykkes i dette markedet, sier Chappel.
Markedsdirektør Harald Løvvik mener imidlertid at Chappell tar feil.
- De siste tallene fra IDC tyder på at Oracle øker, og ligger nå på rundt 12 prosent, mens IBM og BEA er jevnbyrdige på 24 prosent hver. I Norge er vi definitivt i ferd med å etablere oss, med flere store kontrakter de siste månedene, sier Løvvik til digi.no.
Forrester mener Oracle har 13.000 kunder på sin applikasjonstjener, og peker på den store støtten produktet har i Oracles organisasjon. 12.000 ingeniører arbeider med å implementere produktet hos kunder. Den internasjonalt orienterte supportorganisasjonen tilbyr støtte døgnet rundt i 50 språk, med en samlet bemanning på 3000 årsverk. Det er avsatt 900 årsverk til å utvikle produktet.