Die Ausgangslage

Während beim Webcrawling das Internet erforscht und entdeckt wird, geht es bei Webscrapern um das Auslesen von Inhalten spezifischer URLs.

Firmeninterne Prozesse sind oft von externen Parametern abhängig und es ist wichtig diese so frühe wie möglich zu erkennen. Webscraping übernimmt die Aufgabe Webseiten periodisch zu überprüfen selbständig zu jeder Uhrzeit. Je nach Definition der zu überprüfenden Webseiten und deren Anzahl können einige Stunden manuelle Arbeiten automatisiert werden.

Erkennt der „Scraper“ eine Abweichung oder einen neuen Wert – beispielsweise einen Debitor, der laut Handelsregister in Liquidation ist, im ERP aber noch aktiv geführt wird – kann ein Report erstellt und per E-Mail versendet werden mit einer Zusammenfassung aller Datensätze die Abweichungen enthalten. So erhält das Team eine klare Übersicht, welche Debitoren überprüft oder gesperrt werden sollten.

Technische Umsetzung

Für eine erfolgreiche Automatisierung sind mehrere Schritte entscheidend:

• Datengrundlage: Bezug der Daten aus dem ERP-System (in diesem Beispiel UID und Status).
• Scraping-Logik: Aufruf der kantonalen Handelsregisterseiten und gezielte Suche nach den UIDs.
• Datenanalyse: Erkennung und Interpretation des Unternehmensstatus, auch bei unterschiedlichen Darstellungsformen pro Kanton.
• Abgleich: Automatischer Vergleich zwischen Handelsregister-Status und ERP-Daten.
• Reporting: Versand einer E-Mail mit allen betroffenen Debitoren sowie einem strukturierten Report (z. B. im XLSX-Format).
• Monitoring: Protokollierung der Laufzeiten, Prüfergebnisse und eventueller Fehler – für Transparenz und Nachvollziehbarkeit.

Eine Schnittstelle in ein ERP ist in der Regel nicht notwendig, die zu prüfenden Daten können manuell exportiert werden für den Webscraper. Damit ist die Sicherheit gewehrleistet und es kommt nicht zu ungewollten Zugriffen auf Ihre Daten.

Zeiten besser nutzen

Mitarbeitende müssten nicht mehr – wie in diesem Beispiel – das Handelsregister durchsuchen ob ein Debitor ggf. sich in Liquidation befindet oder nicht. Durch einen regelmässigen Report wird der Status im ERP automatisch mit den gesammelten Daten des Handelsregisters abgeglichen und bei Fehlern darauf aufmerksam gemacht. Dadurch werden Fehler aus manuellen abgleichen verringert und die Mitarbeitenden haben mehr Zeit sich um die Herausforderungen und Prüfungen anderer Daten zu kümmern.

Ein Webscraper kann auf jegliche Webseiten die öffentlich zugänglich sind zugreifen und die Daten darin auslesen. Im Schnitt braucht es vom Aufruf einer Webseite bis zur Auswertung der Daten und Ausgabe in ein Zielformat 2-3 Sekunden.

Beiträge

• 
  Webcrawler – Das Internet durchsuchen
  Die Ausgangslage Während beim Webscraping spezifische URLs aufgerufen und der Inhalt ausgelesen wird, geht es bei Webcrawlern um das Entdecken von Webseiten. Welche Webseiten gibt es zu gewissen Themen, wie hängen diese zusammen und wo… Webcrawler – Das Internet durchsuchen weiterlesen
• 
  Webscraping – Daten aus Webseiten verarbeiten
  Die Ausgangslage Während beim Webcrawling das Internet erforscht und entdeckt wird, geht es bei Webscrapern um das Auslesen von Inhalten spezifischer URLs. Firmeninterne Prozesse sind oft von externen Parametern abhängig und es ist wichtig diese… Webscraping – Daten aus Webseiten verarbeiten weiterlesen
• 
  Abgleich Daten aus verschiedenen Quellen – Effizienz durch Automatisierung
  Die Ausgangslage In zahlreichen Unternehmen gehört es zum Alltag, Daten aus unterschiedlichen Quellen zusammenzuführen. Oft werden Informationen aus externen Systemen, Stammdaten aus dem ERP und weitere Tabellen manuell kombiniert, berechnet und überprüft. Meist liegt die… Abgleich Daten aus verschiedenen Quellen – Effizienz durch Automatisierung weiterlesen