Vision-basierte Deep-Web-Datenextraktion für Web-Dokument-Clustering

Der VDEC-Ansatz besteht aus zwei Phasen: 1) Vision-basierte Webdatenextraktion und 2) Clustering von Webdokumenten. In Phase 1 werden die Webseiteninformationen in verschiedene Chunks segmentiert, aus denen überschüssiges Rauschen und doppelte Chunks mit Hilfe von drei Parametern wie Hyperlink-Anteil, Rauschwert und Kosinusähnlichkeit entfernt werden. Um die relevanten Chunks zu identifizieren, werden drei Parameter wie die Relevanz des Titelworts, die auf der Häufigkeit von Schlüsselwörtern basierende Chunk-Auswahl und Positionsmerkmale verwendet, und dann wird aus diesen Hauptchunks eine Reihe von Schlüsselwörtern extrahiert. Schließlich werden die extrahierten Schlüsselwörter mit Hilfe von Fuzzy C-Means Clustering (FCM) einem Webdokumentencluster unterzogen. Die vorgeschlagene visuelle Datenextraktion für das Deep Web wurde implementiert und mit einem synthetischen Datensatz getestet. Die Ergebnisse werden mit zwei existierenden Algorithmen verglichen, zum einen mit dem Vision-based Data Record Extraction (ViDE) und zum anderen mit dem Mining Data Region (MDR) Algorithmus. Aus den experimentellen Ergebnissen, die auf zwei verschiedenen synthetischen Datensätzen durchgeführt wurden, geht hervor, dass die vorgeschlagene VDEC-Methode stabile und gute Ergebnisse von etwa 99,2 % und 99,1 % Genauigkeit in beiden Datensätzen mit verschiedenen Schwellenwerten erzielen kann.