Come funzionano i motori di ricerca

Un motore di ricerca lavora in tre fasi: scansiona le pagine del web, le archivia nel suo indice e, a ogni ricerca, sceglie e ordina quelle più utili. Capire queste fasi serve a capire perché una pagina compare, perché non compare e su cosa lavora la SEO.

In questa guida vediamo cosa succede in ciascuna fase, con Google come esempio principale, come cambia il quadro con i motori basati sull'AI e quali motori si usano davvero in Italia e nel mondo.

Cos'è un motore di ricerca#

Un motore di ricerca è un sistema che raccoglie pagine web, le organizza e le restituisce in risposta a una domanda. Ha tre componenti: i crawler, programmi che visitano le pagine; l'indice, l'archivio in cui le pagine vengono catalogate; gli algoritmi, che a ogni ricerca decidono quali pagine mostrare e in che ordine.

Le dimensioni sono difficili da immaginare. Google scrive che il suo indice contiene centinaia di miliardi di pagine e supera abbondantemente i 100 milioni di gigabyte, e funziona come l'indice alla fine di un libro: ogni parola ha la sua voce, con le pagine in cui compare. E il processo è automatico: Google precisa che non accetta pagamenti per scansionare un sito più spesso o per posizionarlo meglio nei risultati organici.

Le tre fasi: scansione, indicizzazione, ranking#

Non tutte le pagine superano tutte e tre le fasi. Google lo dice chiaramente: anche un sito che segue tutte le sue indicazioni non ha la garanzia di essere scansionato, indicizzato o mostrato.

1. La scansione: come il motore trova le pagine#

Non esiste un registro centrale di tutte le pagine del web. Il motore le scopre soprattutto in due modi: seguendo i link da pagine che conosce già e leggendo le sitemap, gli elenchi di URL che i siti gli segnalano. Poi un crawler (per Google è Googlebot) scarica la pagina, ne estrae i link e ricomincia.

Oggi molte pagine costruiscono i contenuti con JavaScript. Per questo Googlebot fa anche il rendering: esegue il codice con una versione recente di Chrome e vede la pagina più o meno come la vede una persona, compresi i contenuti caricati in un secondo momento.

Il crawler non scansiona tutto e non sempre:

• salta le pagine bloccate dal robots.txt e quelle dietro un login;
• rallenta se il server risponde lento o con errori, per non sovraccaricarlo;
• ripassa più spesso sulle pagine che cambiano spesso e su quelle considerate importanti.

Google chiama "budget di scansione" l'insieme di URL che può e vuole scansionare su un sito: dipende dalla capacità del server e dall'interesse per i contenuti. Riguarda soprattutto i siti grandi, indicativamente oltre un milione di pagine, o oltre 10.000 pagine che cambiano ogni giorno. Per un sito di poche centinaia di pagine di solito non è un problema.

2. L'indicizzazione: come il motore capisce e archivia#

Scaricata la pagina, il motore cerca di capire di cosa parla: analizza il testo, il title, le intestazioni, gli attributi alt, le immagini, i video e i dati strutturati. Poi affronta un problema che pochi immaginano: i duplicati. Lo stesso contenuto può stare su più indirizzi (con e senza www, con parametri, in versioni stampabili), e il motore li raggruppa e ne sceglie uno come canonico, quello che potrà comparire nei risultati.

Infine archivia la pagina nell'indice insieme a una serie di segnali: lingua, paese a cui si rivolge, usabilità, freschezza. Non tutto entra: pagine quasi vuote, duplicati, pagine con il tag noindex o giudicate poco utili restano fuori. Come controllare quali pagine del tuo sito sono dentro e perché alcune restano fuori, con Search Console, lo spiego nella guida su come indicizzare il sito.

3. Il ranking: come il motore sceglie cosa mostrare#

Quando qualcuno cerca, il motore non scorre il web: interroga l'indice, trova le pagine che corrispondono e le ordina. Google scrive che la pertinenza dipende da centinaia di fattori, che raggruppa in cinque aree: il significato della ricerca, la pertinenza dei contenuti, la loro qualità, l'usabilità delle pagine e il contesto di chi cerca. Il vecchio numero di "oltre 200 fattori" circola da anni ma non va preso alla lettera.

Il contesto pesa più di quanto si pensi. La stessa ricerca dà risultati diversi a seconda di:

• luogo: "pizzeria" mostra locali vicini a chi cerca;
• lingua e paese;
• dispositivo;
• cronologia e impostazioni, se l'utente le ha attivate.

Il risultato finale è la SERP, che oggi non è solo un elenco di link: insieme ai risultati organici può contenere annunci, mappe, immagini, video, risposte dirette e, per alcune ricerche, una panoramica generata con l'AI. I sistemi che lavorano dietro, dal PageRank all'intelligenza artificiale, sono raccontati in come funziona Google davvero.

E i motori basati sull'AI?#

Le risposte generate non sostituiscono le tre fasi, ci si appoggiano. Google spiega che le sue funzioni di AI generativa, come AI Overview e AI Mode, si basano sui sistemi di ranking e qualità della Ricerca: per comparire tra le fonti una pagina deve essere indicizzata e idonea a mostrare uno snippet, e non servono file speciali. Anche gli assistenti come ChatGPT, per rispondere con informazioni aggiornate, devono poter leggere le pagine: per la ricerca di ChatGPT conta il crawler OAI-SearchBot, come spiego nella guida a GPTBot e i bot di OpenAI.

Cambia soprattutto l'ultimo passaggio: invece di un elenco di link, chi cerca riceve una risposta che cita poche fonti. Come farsi scegliere tra quelle fonti è il tema della GEO.

Cosa vuol dire per il tuo sito#

Ogni fase ha i suoi problemi tipici. Ecco una mappa per capire dove si blocca un sito:

L'ordine conta: è inutile riscrivere i testi di una pagina che Google non riesce a scansionare. Le basi per lavorare su tutte e tre le fasi sono nella guida a cos'è la SEO, e la scelta delle ricerche giuste in quella sulle parole chiave.

I motori di ricerca più usati#

I dati sono di StatCounter, che li calcola sulle visite ai siti che usano il suo servizio di statistiche: sono stime, utili per le proporzioni. Il messaggio per chi ha un sito italiano è semplice: Google viene prima di tutto, ma Bing non è zero, e con Bing Webmaster Tools controllarlo costa pochi minuti.

Una menzione per Ecosia, nato in Germania nel 2009: dichiara di destinare il 100% dei profitti ad azioni per il clima, soprattutto alla riforestazione, e di aver fatto piantare e proteggere oltre 18 milioni di alberi nel solo 2024.

Vuoi sapere in quale delle tre fasi si blocca il tuo sito? Richiedi l'audit SEO gratuito: controllo a mano scansione, indicizzazione e posizionamento e ti mando le 5 cose da sistemare per prime, entro 2 giorni lavorativi.