06. mai 2024, 15:51Redaksjonen
Apple krymper språkmodeller med minimalt tap av ytelse
Apple skal ha klart å dramatisk redusere størrelsen på visse typer språkmodeller, uten at det går vesentlig ut over kvaliteten på resultatet.
I forskningsrapporten som er publisert kommer det frem at kvaliteten bare gikk ned med omtrent 4 prosent, mens størrelsen ble redusert med 88 prosent, helt ned til 1,2 MB.
Det er imidlertid et aber:
Reduksjonen av størrelsen skal oppnås ved å bruke dynamiske beregninger heller enn å benytte faste beregninger i et lag, som er mer vanlig nå. Samtidig skal beregningstiden visstnok øke med rundt 50 prosent, takket være det økte behovet for datakraft når man gjør det på denne måten.