Um Manual de Rastejador Paralelo Migrador da Web

O tamanho da Internet é grande e tinha crescido enormemente, os motores de busca são as ferramentas para a navegação e pesquisa de sítios web. Os motores de busca mantêm índices para documentos da web e proporcionam facilidades de pesquisa descarregando continuamente páginas da web para processamento. Este processo de descarregar páginas web é conhecido como "web crawling". Neste livro Arquitectura para uma abordagem eficaz de migração paralela de rastejamento da web com estratégia de rastejamento incremental e específico de domínio é proposta. As principais vantagens do rastreamento paralelo da web são que a parte de análise do processo de rastreamento é feita localmente na residência dos dados e não no interior do repositório do motor de busca da web. Isto reduz significativamente a carga e o tráfego na rede, o que por sua vez melhora o desempenho, eficácia e eficiência do processo de rastejamento. A outra vantagem da migração de rastejadores paralelos é que o tamanho da teia cresce, torna-se necessário paralelizar um processo de rastejamento, de modo a terminar o descarregamento de páginas web em tempo comparativamente mais curto. O rastejamento específico de um domínio irá produzir páginas de alta qualidade.