Rukowodstwo po migracii parallel'nogo web-kraulera

Razmer Interneta welik, i on sil'no razrossq, poiskowye sistemy qwlqütsq instrumentami dlq nawigacii i poiska po web-sajtam. Poiskowye sistemy wedut indexy web-dokumentow i predostawlqüt wozmozhnosti poiska, postoqnno zagruzhaq web-stranicy dlq obrabotki. Jetot process zagruzki web-stranic izwesten kak web-krouling. V ätoj knige predlagaetsq arhitektura dlq äffektiwnoj migracii parallel'nogo web-kraulinga s uchetom specifiki domena i strategii inkremental'nogo kraulinga. Osnownye preimuschestwa parallel'nogo web-kraulera zaklüchaütsq w tom, chto analiticheskaq chast' processa kraulinga wypolnqetsq lokal'no w meste nahozhdeniq dannyh, a ne w hranilische poiskowoj sistemy. Jeto znachitel'no snizhaet nagruzku na set' i trafik, chto, w swoü ochered', powyshaet proizwoditel'nost', äffektiwnost' i rezul'tatiwnost' processa kraulinga. Esche odnim preimuschestwom migracii parallel'nogo kraulera qwlqetsq to, chto s rostom razmera Interneta woznikaet neobhodimost' w rasparalleliwanii processa kraulinga, chtoby zawershit' zagruzku web-stranic za srawnitel'no men'shee wremq. Polzanie po konkretnym domenam pozwolit poluchit' wysokokachestwennye stranicy.