Ogni volta che lo spider visita un sito web, legge ed estrapola i contenuti e punta all’archiviazione delle pagine nel database del motore di ricerca. Vi sono quindi due attività: la lettura e l’archiviazione. È evidente che l’obiettivo del motore di ricerca, considerata l’enorme mole di informazioni da gestire e archiviare, sia alla continua ricerca di ottimizzare spazi e risorse hardware. Una pagina eccessivamente pesante rischia di porsi in “cattiva luce” rispetto alle richieste dello spider, il quale adotterà un comportamento volto ad una sua limitazione d’attività.
Inoltre, di per sè il codice HTML pesa pochi KB; gli oggetti che fanno aumentare in maniera indiscriminata il peso delle pagine sono fondamentalmente le immagini (jpg, png, etc.) non ottimizzate per il web, le animazioni Flash ricche di effetti visivi, effetti “poco utili” su testi e oggetti in Javascript, fogli di stile interni, etc. Per essere certi di rientrare nei paramenti degli spider, si consiglia di mantenere il peso delle pagine molto basso, al massimo poche decine di KB (e comunque sempre sotto i 100KB).