Stadig flere leverandører av store filer, blant annet programvareleverandører, ser nytten av å distribuere filene ved hjelp av P2P-teknologier (Peer-to-Peer), først og fremst BitTorrent. Dette gjør at programvareselskapene kan levere filer til mange kunder på samme tid, uten å måtte investere i svært kraftige servere og Internett-forbindelser, fordi de som laster ned, også bidrar ved å sende biter av filen til andre som laster ned.
- På en måte har løftet om P2P vært sterkere enn realiteten, sier David G. Andersen, en universitetslektor i informatikk ved Carnegie Mellon, i en pressemelding.
- Ved å skape mange flere kilder for datafilene, reduserer P2P flaskehalsene for dataoverføring. Men de fleste Internett-leverandørene tilbyr langt mer båndbredde for nedlasting enn det de gjør for opplasting av data, en ubalanse som bidrar til langsom P2P-basert dataoverføring. I tillegg vil mange P2P-brukere selv begrense opplastingskapasiteten i P2P-klienten for å unngå at nettverket blir helt bunnet opp av opplasting til andre mennesker.
Med dette som utgangspunkt har Andersen, sammen med Michael Kaminsky ved Intel Research Pittsburgh og studenten Himabindu Pucha ved Purdue University, designet et system hvor P2P-baserte fildelingstjenester ikke bare deler identiske filer, men også filer som ligner på hverandre.
Teknikken kalles Similarity-Enhanced Transfer (SET) og skal kunne øke antallet nedlastningskilder ved å se om filen en bruker ønsker å laste ned, inneholder deler som også finnes igjen i andre, lignende filer.
Ifølge forskerne vet ingen i hvor stor grad det er likheter mellom filene som lagres på datamaskiner rundt om i verden, men analyser har vist at de filene som oftest deles, inneholder et antall tilsvarende elementer. Blant annet kan det skje at forskjellen på musikkfiler kun ligger i den integrerte informasjonen om tittel og artist, mens de øvrige delene av filene er identiske. Ulike versjoner av programvarepakker har også ofte mye felles.
Forskerne mener at man kan oppnå betydelig økt nedlastingshastighet ved å dra nytte av slike fordeler. Hvis en amerikansk PC-bruker for eksempel ønsker å laste ned en tyskspråklig utgave av en populær film, vil vedkommende med dagens systemer stort sett måtte hente filmfilen fra kilder i Tyskland og andre tyskspråklige land. Men hvis brukeren også kan laste ned biter fra lignende filer, vil mye av dataene også kunne hentes fra en engelskspråklig utgave av filen, som da vil være tilgjengelig hos blant annet amerikanske kilder. Dermed vil kun lyddelen av filmen måtte hentes fra tyske kilder.
Hvor mye SET vil kunne øke nedlastingshastigheten, avhenger ifølge forskerne av en rekke faktorer, blant annet størrelsen og populariteten til filen. De oppgir at forbedringen i noen tilfeller vil kunne være bare 5 prosent, mens den i andre tilfeller vil gi så mye som fem ganger raskere nedlasting.
- Dette er en teknikk som jeg ønsker at folk vil stjele, sier Andersen. For selv om han og kollegene håper å kunne implementere SET i en tjeneste for deling av programvare eller akademiske publikasjoner, har de ingen planer om å starte opp egne tjenester for deling av musikk eller film.
- Men teknikken vil gjøre P2P-overføring raskere og mer effektivt, og utviklere bør gripe fatt i ideen og bruke den i sine egne systemer, sier Andersen.
SET fungerer i utgangspunktet på samme måte som BitTorrent. Så snart nedlastingen av en datafil settes i gang, blir kildefilen delt opp i mindre biter. SET deler for eksempel en fil på én gigabyte opp i 64.000 biter, hver på 16 kilobytes. Ulike biter lastes ned samtidig fra flere kilder som har den identiske filen, og så settes bitene sammen til én eneste fil hos mottakeren.
Men mens denne nedlastingsprosessen foregår, fortsetter SET å søke etter tilsvarende filer ved hjelp av en prosess som kalles "handprinting". Den er inspirert av teknikker som benyttes for å sette sammen søkeresultater eller å oppdage spam. Deretter benyttes en samplingsteknikk for å se om ikke-identiske filer inneholder like biter som den ønskede filen. Finner metoden slike biter, vil disse bli lastet ned.
Forskerne har utført tester basert på virkelig filer lastet ned fra dagens P2P-nettverk. I disse testene har man oppnådd 71 prosent forbedret nedlastingstid på en vanlig MP3-fil. Man oppnådde 30 prosent forbedret tid ved nedlasting av en 55 MB stor filmtrailer hvor det fantes andre trailere med 47 prosent av det samme innholdet.
SET er beskrevet i detalj i dokumenter som er gjort tilgjengelige på denne siden.
