PHP - Come funziona il bot di google?

Ciao ragazzi, come da titolo, dovrei creare un motore di ricerca simile a google, ovviamente non voglio combatterlo poichè è praticamente impossibile.. Come posso fare a crearlo?

Devi creare un programma che gira e visita tutti i siti web di tutto il mondo, stabilisce i risultati più importanti, cerca tutti i link, ...

Insomma all'inizio potrebbe sembrare semplice, ma non lo è affatto.

Tranquillo, so che sarebbe un programmone, ma in che linguaggio sarebeb da fare?

Python, Ruby... ma penso qualsiasi linguaggio potenzialmente può fare quello che chiedi. Sceglierei quei due perchè sono multipiattaforma, hanno le regex e sono facili da imparare. Ma ripeto... tanti altri andrebbero bene comunque.

Si quoto piero.

L'idea di un crawler, e quella di tenere una pagina web, con tantissimi link,
che man mano li visita tutti e poi puoi scegliere quali garbano di più alle tue esigenze,
tipo verificare il Rank di una pagina,
o se contiene un qualche keyword che vuoi escludere.

in'oltre, in alcuni siti, nella root dell'host e presente un file robots.txt, i bot hanno la facoltà di leggere il contenuto di quel file e indirizzarsi automaticamente nei link presenti in quei file. ma non è obbligatorio.

difatti quando non trovano questo file, continuano ugualmente la loro ricerca.

tipo se provi a scaricare il cms NukeEvolution, hai anche la possibilità di decidere quali pagine impostare nel robots.txt.

cmq non è un passeggiata, servono tantissimi algoritmi e tanta matematica.
comunque sia, Buona Fortuna

E quanto già detto è il minimo: il lavoro grosso consiste nel trasformare uno studio avanzato di analisi del testo in un software capace di comprendere le tematiche di un argomento, di isolare le keyword sensate e di capire la pertinenza del documento con la ricerca effettuata.

Almeno, se vogliamo emulare google in minima parte