La definizione generica di crawler
Il crawler (in gergo SEO chiamato anche “spider” o “web crawler”) è definibile come un software in grado di procedere all’analisi automatica dei documenti presenti all’interno di un database.
Nell’ambito dei motori di ricerca il crawler è “generalmente” quel software che svolge un lavoro di scansione e riproduzione dei documenti accessibili, ad esempio resi pubblici su internet.
La definizione SEO di “crawler”
Nel contesto della SEO, il web crawler di un motore di ricerca è definito come quel bot utilizzato dai motori di ricerca per esplorare il web. Il suo compito principale è scansionare le pagine accessibili.