Die Ausgangslage
Während beim Webscraping spezifische URLs aufgerufen und der Inhalt ausgelesen wird, geht es bei Webcrawlern um das Entdecken von Webseiten.
Welche Webseiten gibt es zu gewissen Themen, wie hängen diese zusammen und wo werden sie erwähnt? – Diese Fragen lassen sich durch Webcrawler beantworten. Hierzu folgt das Programm allen URLs (Links) die gefunden werden auf einer Webseite und indexiert diese nach Parametern.
Ein „Crawler“ beendet seine Arbeit quasi nie, denn es gibt einerseits immer wieder neue Seiten im Internet andererseits werden Verlinkungen laufend geändert und aktualisiert im „Netz“.
Technische Umsetzung
Ein Webcrawler den man in das Internet rausschickt braucht einiges an Ressourcen:
- Metadaten: Definition welche Metadaten wichtig sind
- Datenbank: Grosse Datenbank als Gedächtnis für den Crawler
- Spezifikationen: Wie lange ist eine gefundene Verknüpfung gültig? Wann muss neu geprüft werden?
- Dead-End: Was tun wenn es keine Verknüpfungen zu anderen Seite mehr gibt?
Eine grosse, ständig wachsende Datenmenge muss fortlaufend kontrolliert und bereinigt werden.
#include <queue>
#include <string>
#include <unordered_set>
void crawl(const std::string& start)
{
std::queue<std::string> queue;
std::unordered_set<std::string> seen;
queue.push(start);
while (!queue.empty())
{
auto url = queue.front();
queue.pop();
if (seen.contains(url))
continue;
seen.insert(url);
auto page = fetch(url); // HTTP-Abruf
index.store(url, page.meta()); // Metadaten in die Datenbank
for (auto& link : page.links()) // gefundene Verknüpfungen
queue.push(link);
}
}
Fazit
Einen eigenen Webcrawler zu betreiben hat für die meisten Unternehmen keine direkten Vorteile, insbesondere da es bereits unzählige Plattformen für die Websuche gibt.
