Søkemotoren Cuil ble lansert med brask og bram tidligere i sommer. Google-konkurrenten satset hardt på å tilby et større datagrunnlag enn markedslederen, og hevdet at de med 120 milliarder indekserte nettsider slår søkegiganten med tregangeren.
Nå viser det seg at utfordreren kan ha begått en nybegynnertabbe.
Ifølge TechCrunch kan Cuils indekseringsagent ha tatt altfor hardt i når den har drevet innhøsting av data fra nettsider den skal indeksere.
Les også:
- [20.09.2010] Takk og farvel til Cuil
- [28.07.2008] Ny søketjeneste «lik Google ganger tre»
En rekke nettadministratorer melder at en indekseringsagent som identifiserer seg som «Twiceler» har herjet med nettstedene deres.
Denne søkeroboten skal ha slukt enorme mengder båndbredde, og den skal heller ikke ha tatt hensyn til kommandoer fra robots.txt.
Sistnevnte er en tekstfil på nettstedets rotnivå, som har til hensikt å fortelle søkemotorer hvordan den skal gå frem. Den gjør det for eksempel mulig å fortelle Google hvilke kataloger som skal, eller ikke skal, indekseres. Metoden er avhengig av tillit, ettersom ikke alle søkemotorer bryr seg om kommandoene.
Måten Cuil indekserer nettsider på oppfattes som «amatørmessig» av nettadministratorer, skriver TechCrunch.
Teknologibloggen forteller om brukere som skal ha opplevd å få nettsidene overfalt av Twiceler. Disse hevder at agenten ser ut til å treffe nettsteder helt tilfeldig, og fortsetter å gjette og generere tilfeldige URL-er i et forsøk på å finne nettsider. Ved å gjøre dette skal hele nettsteder ha knelt sammen, eller blitt så trege at de ikke fungerer som de skal.
Oppgitte nettsideeiere har kontaktet Cuil for å høre hvorfor søkeagenten deres genererer så mye trafikk. Driftsingeniør James Akers i selskapet svarte følgende:
- Twiceler er en eksperimentell søkeagent som vi utvikler for vår nye søkemotor. Vi er opptatt av at den tar hensyn til robots.txt, og at den ikke indekserer nettsteder som ikke ønsker det.
Akers hevder også at Cuil har oppdaget flere søkeagenter som kaller seg Twiceler, men som seiler under falsk flagg. Eiere av nettsteder som plages bør konsultere oversikten over selskapets IP-adresser for å avgjøre om det virkelig er Cuil som skaper problemer.
Les også:
- [20.09.2010] Takk og farvel til Cuil
- [28.07.2008] Ny søketjeneste «lik Google ganger tre»
