HTML5 bringer med seg støtte for lyd- og videoavspilling uten bruk av plugins. Alle nettleserleverandører støtter dette, selv om Microsoft ikke før på plass dette før i Internet Explorer 9.
De fleste eksemplene på bruk av lyd- og videofunksjonaliteten så langt, har dreid seg om ren avspilling, kanskje med enklere navigeringskontroller og undertekster for video.
Nå ser det ut til at arbeidet med å lage mer avanserte løsninger har kommet et godt stykke på vei, ikke minst når det gjelder mulighetene for å manipulere og analysere lyd. En del av dette ble vist fram under WWW2010-konferansen som ble arrangert i Raleigh, North Carolina, i forrige uke.
David Humphrey, professor ved Seneca College i Toronto, Canada, men også bidragsyter til Mozillas Firefox, oppsummerer en del av disse teknikkene i dette blogginnlegget.
Mye av det er basert på det kommende Audio Data API-et, som foreløpig bare finnes i noen utvalgte testversjoner av Firefox. De kan lastes ned fra denne siden.
Blant demoene på hva som er mulig bruke dette til, er denne synthesizeren.
En annen demo viser at JavaScript er raskt nok til å gjøre sanntidsanalyse av lyd og til å skape synkronisert 3D-grafikk ved hjelp av WebGL. Også WebGL, som tilbyr maskinvareakselert 3D-grafikk i nettleseren, er noe som er i ferd med å bli implementert i de fleste nettlesere.
En variant hvor lyden analyseres og visualiseres på ulike måter som 2D-grafikk, kan testes på denne siden.
En siste demo utnytter i tillegg multitouch-støtte, som også skal komme i Firefox. Videoen nedenfor viser hvordan dette tar seg ut.
Det er ikke klart hvilke planer Mozilla egentlig har for Audio Data API-et, verken når det gjelder tidsplan, videreutvikling eller standardisering underlagt W3C.
