Der Webcrawler ist ein Programm, das automatisch das Web durchläuft, indem es die Seiten herunterlädt und den Links von Seite zu Seite folgt. Ein allgemeiner Zweck von Web Crawler ist es, jede Webseite herunterzuladen, auf die über die Links zugegriffen werden kann. Dieser Prozess wird als Web-Crawling oder Spinnen bezeichnet. Viele Seiten, insbesondere Suchmaschinen, nutzen Spidering als Mittel zur Bereitstellung aktueller Daten. Webcrawler werden hauptsächlich verwendet, um eine Kopie aller besuchten Seiten für die spätere Verarbeitung durch eine Suchmaschine zu erstellen, die die heruntergeladenen Seiten indiziert, um schnelle Suchvorgänge zu ermöglichen. Crawler können auch zum Automatisieren von Wartungsaufgaben auf einer Website verwendet werden, z. B. zum Überprüfen von Links oder zum Überprüfen von HTML-Code. Außerdem können Crawler verwendet werden, um bestimmte Arten von Informationen von Webseiten zu sammeln, z. B. zum Sammeln von E-Mail-Adressen (in der Regel für Spam). Ein Webcrawler ist ein Bot-Typ oder Software-Agent. Im Allgemeinen beginnt es mit einer Liste von URLs zu besuchen, genannt die Samen. Wenn der Crawler diese URLs besucht, identifiziert er alle Hyperlinks auf der Seite und fügt sie der Liste der zu besuchenden URLs hinzu, die als Durchforstungsgrenze bezeichnet werden. URLs von der Grenze werden rekursiv nach einer Reihe von Politiken besucht.
VERSIONSVERLAUF
- Version 3.19 veröffentlicht auf 2012-01-15
erste Veröffentlichung
Programmdetails
- Kategorie: System-Utilities > Automatisierungstools
- Verlag: VietSpider
- Lizenz: kostenlos
- Preis: N/A
- Version: 3.19
- Plattform: windows