Un manuale di migrazione di crawler web paralleli

Le dimensioni di Internet sono grandi e sono cresciute enormemente; i motori di ricerca sono gli strumenti per la navigazione e la ricerca nei siti web. I motori di ricerca mantengono gli indici dei documenti web e forniscono servizi di ricerca scaricando continuamente le pagine web per elaborarle. Questo processo di scaricamento delle pagine web è noto come web crawling. In questo libro viene proposta un'architettura per una migrazione efficace dell'approccio di web crawling parallelo con una strategia di crawling incrementale e specifica del dominio. I principali vantaggi del web crawler parallelo sono che la parte di analisi del processo di crawling viene eseguita localmente nel luogo in cui si trovano i dati, anziché all'interno del repository del motore di ricerca web. Questo riduce significativamente il carico e il traffico di rete, migliorando le prestazioni, l'efficacia e l'efficienza del processo di crawling. Un altro vantaggio della migrazione di un crawler parallelo è che, con l'aumento delle dimensioni del web, diventa necessario parallelizzare un processo di crawling, per terminare il download delle pagine web in tempi relativamente più brevi. Il crawling specifico del dominio produrrà pagine di alta qualità.