Come recentemente ricordato dagli autori del Webmaster Central Blog di Mountain View, tradizionalmente i motori di ricerca tenderebbero ad individuare in modo più semplice i contenuti testuali "grezzi" veicolati tramite l'HTTP response body, motivo per il quale vi sarebbe una certa differenza tra ciò che vedono i crawlers e quanto viene restituito dai browser e dall'esecuzione di applicazioni JavaScript.
Tale modalità di accesso risulterebbe però penalizzante in un panorama nel quale i browser starebbero cercando di offrire un supporto sempre più elevato per i contenuti proposti tramite JavaScript, motivo per il quale il sistema per l'indicizzazione di Google sarebbe stato implementato per interpretare nel miglior modo possibile gli output prodotti attraverso questa tecnologia.
Sostanzialmente, il tentativo degli sviluppatori di Big G sarebbe attualmente quello di permettere al proprio motore di accedere ad un rendering paragonabile a quello visualizzabile attraverso i browser, ciò al fine di non escludere dall'indice contenuti rilevanti per quanto generati tramite scripting lato client; per ottenere tale risultato sarebbe però necessaria una maggiore collaborazione da parte dei Webmasters.
Da qui il suggerimento di non bloccare tramite robots.txt risorse JavaScript o CSS presenti in file separati, questo per consentire al Bot di Mountain View di effettuare un'indicizzazione più completa e di accedere ai contenuti con una modalità prossima a quella di un comune utente; ciò avrebbe ancora più valore nel caso dei dispositivi mobili, dove sono in genere proprio le risorse esterne utilizzate a rivelare l'ottimizzazione delle pagine per la navigazione in mobilità.
Un altro criterio rilevante riguarderebbe la capacità dei Web server di gestire le richieste per le risorse provenienti dai crawlers; contestualmente, risulterebbe ancora oggi una buona pratica quella di consentire comunque l'accesso ai contenuti più rilevanti anche per coloro che utilizzano browser in grado di garantire un minor supporto per l'esecuzione di JavaScript. In ogni caso, l'utilizzo di applicazioni particolarmente complesse potrebbe finire per nascondere contenuti indicizzabili invece di fornirne di nuovi.