Smart Web Crawler - Effektiver rekursiver Ressourcen-Grabber für das Web

Dieses Buch wurde mit Visual ASP .Net 2010 und MS-SQL Server 2008 entwickelt. Die verwendete Programmiersprache ist VB.NET. Das Projekt umfasst Einstellungen für verschiedene Optionen wie die Suche nach Webseiten und extrahiert die Mail-IDs, Web-URLs, Telefonnummern, Songs Download-Links und Tags wie Überschrift Tags. Die Tiefenstufe ist so gewählt, dass nicht nur die angegebenen Webseiten, sondern auch die mit dieser Webseite verknüpften Seiten durchsucht werden und der Inhalt extrahiert wird. Es wird ein Multi-Threading-Ansatz verwendet, so dass jede Seite von einem separaten Thread durchsucht wird, was zu einem schnelleren Prozess beiträgt. In dem vorgeschlagenen System können mehrere Webseiten in derselben oder einer anderen Website mit einer intelligenten Suche durchsucht werden, so dass die Ressource einer Webseite mit der Verwendung von Tiefen entnommen wird. Die intelligente Suche wird mit einem fortschrittlichen Extraktionsverfahren, dem so genannten regulären Ausdruck, durchgeführt, so dass jede Art von Information extrahiert werden kann. Das Muster \d{6} liefert zum Beispiel die indischen Pincodes.