Un manual de migración de rastreadores web paralelos

El tamaño de Internet es grande y ha crecido enormemente, los motores de búsqueda son las herramientas para la navegación y búsqueda de sitios web. Los motores de búsqueda mantienen índices de documentos web y ofrecen facilidades de búsqueda descargando continuamente páginas web para su procesamiento. Este proceso de descarga de páginas web se conoce como rastreo web. En este libro se propone una arquitectura para la migración efectiva de un enfoque de rastreo web paralelo con una estrategia de rastreo incremental y específica del dominio. Las principales ventajas del rastreo web paralelo son que la parte de análisis del proceso de rastreo se realiza localmente en la residencia de los datos en lugar de dentro del repositorio del motor de búsqueda web. Esto reduce significativamente la carga y el tráfico de la red, lo que a su vez mejora el rendimiento, la eficacia y la eficiencia del proceso de rastreo. Otra de las ventajas de migrar a un rastreador paralelo es que, a medida que aumenta el tamaño de la web, se hace necesario paralelizar el proceso de rastreo para terminar de descargar las páginas web en un tiempo comparativamente menor. El rastreo de dominios específicos producirá páginas de alta calidad.