Come rendersi visibili nei motori di ricerca di tipo Crawler Based

I motori di ricerca detti “automatici” o “crawler-based” navigano il web e catalogano il materiale raccolto senza interventi umani. Questo significa che, conoscendo gli algoritmi di attribuzione della rilevanza alle singole pagine web, è possibile realizzare siti che acquistino una buona posizione nelle pagine di risposta alle interrogazioni degli utenti.

Come registrarsi in Google
Il motore di ricerca Google riveste in Internet una forte importanza, per il fatto che molti altri servizi (ad esempio Yahoo e Netscape) fanno uso dei suoi risultati. A questo si aggiunge il fatto che molti utenti lo utilizzano direttamente per effettuare ricerche in Internet.

Il miglior modo per essere ben posizionati in Google (così come nella maggior parte degli altri crawler) è costruire link verso il proprio sito. I motori automatici “seguono” i link, quindi se esistono link rilevanto che puntano verso il proprio sito, sarà più probabile che questo venga trovato e ben indicizzato.

E’ importante rilevare il fatto che se si riesce ad essere ben posizionati nei motori di ricecra human-based (detti anche directory), allora Google e gli altri crawler quasi certamente leggeranno l’indirizzo del sito e lo ingloberanno nel loro elenco. A prescindere dalle possibilità di essere trovati dai crawler, è comunque possibile compilare la pagina www.google.com/addurl.html per segnalare a Google il sito da indicizzare.

Non esiste garanzia che Google aggiunga al proprio elenco l’indirizzo web così segnalato. E’ tuttavia consigliato iscrivere sia la propria homepage che alcune altre pagine web interne al sito.
Operazioni aggiuntive non sono necessarie, ne consigliate. La ragione per la quale è consigliabile segnalare qualche pagina aggiuntiva oltre la homepage è che in caso il crawler abbia problemi nel raggiungere la prima, potrà comunque “agganciare” il sito in una pagina interna e quindi navigarlo in tutte le direzioni.

Servizi di registrazione a pagamento permettono di abbreviare i tempi per comparire negli elenchi di Google, che di norma si aggirano sul mese.

Come registrarsi in Inktomi
Così come Google, anche Inktomi è un importante motore di tipo crawler-based, perchè fornisce i propri risultati ad altri servizi quali MSN Search, AOL Search e HotBot.

Anche in questo caso, la costruzione di link verso il proprio sito è un ottimo modo per riuscire ad entrare in elenco. Stesse considerazioni valgono per la compilazione della pagina http://hotbot.lycos.com/addurl.asp per la segnalazione di un indirizzo. A differenza di Google tuttavia, l’acquisizione di nuovi URL non viene gestita da Inktomi stesso, bensì da partner esterni quali HotBot.

La tecniche di segnalare sia la homepage sia alcune pagine interne è valida anche in questo caso per gli stessi motivi visti per Google. Il tempo di attesa medio per la registrazione è anche in questo caso di circa un mese (ammesso che le pagine indicate vengano accettate).

Se si desidera la garanzia che il proprio sito venga indicizzato da Inktomi è necessario usufruire dei servizi a pagamento del motore. In questo modo inoltre si ha il vantaggio di ridurre il tempo di inclusione da circa un mese a due giorni.
La pagina indicizzata verrà riesaminata regolarmente per un anno. Dopo questo periodo, se non viene rinnovato il servizio a pagamento, la pagina può uscire dall’elenco di Inktomi. Se tuttavia le tecniche che garantiscono una buona valutazione del sito sono state ben impiegate, la possibilità che questo avvenga è molto ridotta.
Il servizio di indicizzazione a pagamento non viene gestito direttamente da Inktomi, bensì da società partner. Nel caso si decida di indicizzare più pagine, i costi del servizio divengono maggiormente competitivi (esiste una particolare formula, chiamata “Index Connect”, adeguata per chi desidera indicizzare migliaia di pagine differenti).

Come registrarsi in AltaVista
AltaVista è un importante motore di ricerca di tipo crawler-based, sebbene la sua popolarità sia diminuita nell’ultimo periodo. Analogamente a quanto visto per i precedenti motori, la creazione di link verso il proprio sito è un ottimo metodo per raggiungere una buona valutazione. Anche AltaVista è dotato di una pagina apposita per la segnalazione, all’indirizzo web addurl.altavista.com/sites/addurl/newurl

E’ consigliabile indicare anche in questo motore alcune pagine interne oltre alla homepage. Senza aderire ai servizi a pagamento, anche con AltaVista non si ha garanzia di essere inseriti in elenco e si deve comunque attendere un mese e oltre prima dell’indicizzazione.
Il tempo si riduce ad una o due settimane grazie al suo servizio di indicizzazione a pagamento (AltaVista Express Inclusion). Il costo è pari a $39 e garantisce l’inserimento in elenco, la rivisitazione periodica della pagina per un periodo di sei mesi. Così come per Inktomi, terminata la validità del servizio a pagamento, non c’è garanzia che la pagina rimanga in elenco, anche se la probabilità che il motore la elimini è molto bassa.
Nel caso si richieda l’indicizzazione a pagamento di più pagine, il costo unitario si riduce. Anche per AltaVista esiste un servizio a pagamento rivolto a chi abbia migliaia di pagine da indicizzare.

Come registrarsi in Excite
Excite ha visto diminuire fortemente la sua popolarità nell’ultimo periodo, così come accaduto ad Altavista. Nonostante questo, benchè non si intravedano rosee prospettive per il suo futuro, il motore continua ad attrarre un buon numero di utenti.
Le caratteristiche di questo motore crawler-based sono analoghe a quelle esaminate per i precedenti. L’unica eccezione sta ne fatto che Excite non ha un servizio registrazione rapida a pagamento.