Fachbeitrag · 2 Min. Lesezeit

Webcrawler – Das Internet durchsuchen

Datenbeschaffung anhand von öffentlich zugänglichen Webseiten um diese auszuwerten.

Webcrawler

Die Ausgangslage

Während beim Webscraping spezifische URLs aufgerufen und der Inhalt ausgelesen wird, geht es bei Webcrawlern um das Entdecken von Webseiten.

Welche Webseiten gibt es zu gewissen Themen, wie hängen diese zusammen und wo werden sie erwähnt? – Diese Fragen lassen sich durch Webcrawler beantworten. Hierzu folgt das Programm allen URLs (Links) die gefunden werden auf einer Webseite und indexiert diese nach Parametern.

Ein „Crawler“ beendet seine Arbeit quasi nie, denn es gibt einerseits immer wieder neue Seiten im Internet andererseits werden Verlinkungen laufend geändert und aktualisiert im „Netz“.

Technische Umsetzung

Ein Webcrawler den man in das Internet rausschickt braucht einiges an Ressourcen:

  • Metadaten: Definition welche Metadaten wichtig sind
  • Datenbank: Grosse Datenbank als Gedächtnis für den Crawler
  • Spezifikationen: Wie lange ist eine gefundene Verknüpfung gültig? Wann muss neu geprüft werden?
  • Dead-End: Was tun wenn es keine Verknüpfungen zu anderen Seite mehr gibt?

Eine grosse, ständig wachsende Datenmenge muss fortlaufend kontrolliert und bereinigt werden.

#include <queue>
#include <string>
#include <unordered_set>

void crawl(const std::string& start)
{
    std::queue<std::string> queue;
    std::unordered_set<std::string> seen;
    queue.push(start);

    while (!queue.empty())
    {
        auto url = queue.front();
        queue.pop();

        if (seen.contains(url))
            continue;
        seen.insert(url);

        auto page = fetch(url);               // HTTP-Abruf
        index.store(url, page.meta());        // Metadaten in die Datenbank

        for (auto& link : page.links())       // gefundene Verknüpfungen
            queue.push(link);
    }
}

Fazit

Einen eigenen Webcrawler zu betreiben hat für die meisten Unternehmen keine direkten Vorteile, insbesondere da es bereits unzählige Plattformen für die Websuche gibt.

Weiterlesen

Weitere Beiträge

Alle Beiträge

Spielen Sie mir den Ball zu.

Schildern Sie kurz Ihr Anliegen, den Rest übernehme ich.

Kontakt aufnehmen