Smart Web Crawler - Agarrador de Recursos Recursivo Eficaz para a Web

Este livro foi concebido utilizando Visual ASP .Net 2010 e MS-SQL Server 2008. A linguagem de codificação utilizada é VB.NET. O projecto envolve configurações para várias opções tais como pesquisar as páginas web e extrair os ids de correio, URLs da web, números de telefone, ligações para download de canções e tags tais como etiquetas de cabeçalho. O nível de profundidade é dado para que não só a partir das páginas web dadas, mas também as páginas ligadas a esta página web sejam pesquisadas e o conteúdo seja extraído. A abordagem multi-tarefa é utilizada para que cada página seja pesquisada por um fio separado e isto ajuda a um processo mais rápido. No sistema proposto, várias páginas web podem ser pesquisadas no mesmo sítio web ou em sítios web diferentes com uma pesquisa inteligente, pelo que se retira o recurso de uma página web com o uso de profundidade. A pesquisa inteligente é realizada utilizando uma extracção avançada chamada expressão regular e assim qualquer tipo de informação pode ser extraída. Por exemplo, o padrão \d{6} recupera os Pincodes indianos.