Spider o Crawler di un motore di ricerca: cos’è ed a cosa serve

Ogni motore di ricerca ne ha un crawler o spider ed è un insieme di codici (script) che gli permette di scansionare ed indicizzare tutti i siti web presenti online. 

In molti lo chiamano Spider, altri lo chiamano Crawler, altri ancora Web Crawler ma il suo nome completo è Web Crawler Spider ed è possibile definirlo come il cervello di un motore di ricerca.

È un elemento fondamentale che oggi ci permette di navigare online e di trovare tutto in pochi secondi.

Spider non è altro che un bot internet che ogni tot di tempo esegue una scansione totale del World Wide Web.

Lo scopo di questo bot non è solo quello di eseguire le scansioni ma di creare un indice completo con tutti i link e siti web presenti online, potremmo quasi definirla una mappa.

Questo software con tecnologia avanzata permette ad ogni motore di ricerca, Google ad esempio, di aggiornare il suo database. Il Crawler funziona molto semplicemente esegue una scansione generale, copia ogni pagina web che incontra e l’archivia, in questo modo il motore di ricerca può poi catalogarla per determinate parole chiave e argomenti trattati.

Eseguendo questa operazione il motore di ricerca è in grado poi di rispondere con precisione alle domande o alle ricerche eseguite da qualsiasi utente che navighi nel web.

La lista che viene generata dallo spider è chiamata crawl frontier ed ogni link al suo interno viene regolarmente rivisitato per poterlo monitorare ed eventualmente registrare aggiornamenti e modifiche eseguite nel tempo.

Ogni volta che avviene e vi è presente una modifica, URL viene inserito nella lista. Quindi la lista è continuamente aggiornata e ricca di contenuti utili, ecco perché viene chiamata rete.

Michele Sabatini
Informazioni su Michele Sabatini

Ciao! Sono un Consulente SEO da 7 anni ormai per professione, amo tutto quello che riguarda il mondo del Digital e lo studio dei dati. Realizzo siti web con ogni tipologia di CMS, per questo è nata l'esigenza di creare questo portale: recensire nel miglior modo possibile servizi di hosting e strumenti di marketing online, così da poterti aiutare sotto ogni punto di vista.

Articoli Correlati

ZA (Zoom Authority): cos’è e come si calcola?

ZA è l’acronimo di Zoom Authority ed è un punteggio che viene assegnato dallo strumento Seozoom ad ogni sito web Read more

Sitemap.xml: cos’è e come si usa nella SEO

La Sitemap.xml è un file che al suo interno contiene tutti gli URL di un determinato sito web, questi URL Read more

Impression: cosa sono e quando si usano nel digital marketing

Impression un termine particolarmente utilizzato nel marketing pubblicitario online, con questo termine si va ad indicare quante volte viene visualizzato Read more

Bounce Rate: cos’è, significato e quando si usa

Bounce Rate anche conosciuta come Frequenza di Rimbalzo è la metrica che ci permette di avere un chiaro monitoraggio e Read more