Preisbeobachtung von Wettbewerbern in der EU: Was wirklich legal ist

Die Frage die vor allen anderen kommt

Bevor mich jemand fragt was meine Crawler können, fragt er ob er sie überhaupt betreiben darf. Es ist die richtige erste Frage, und die meisten Antworten im Internet sind in eine von zwei Richtungen falsch.

Die eine Hälfte sagt Scraping ist illegal und du wirst verklagt, was Unsinn ist. Die andere Hälfte sagt öffentliche Daten sind öffentlich und du kannst machen was du willst, was ebenfalls Unsinn ist und der gefährlichere von beiden, denn das ist der Glaube der Leute tatsächlich in Schwierigkeiten bringt.

Die ehrliche Antwort lautet: die Beobachtung der öffentlichen Preise eines Wettbewerbers ist in der EU in fast jedem Fall legal der für einen kleinen oder mittleren Shop relevant ist, und die Ausnahmen sind konkret, erkennbar und drehen sich meistens darum wie du es tust, nicht ob du es tust. Das hier ist mein Versuch die Landkarte zu zeichnen.

Ein Satz zur Ordnung

Ich bin kein Anwalt und das ist keine Rechtsberatung. Ich habe aber Jahre damit verbracht diese Systeme zu bauen, die Urteile zu lesen die sie prägen und in den Besprechungen zu sitzen in denen der Anwalt eines Kunden entscheidet womit er sich wohlfühlt, und ich kann dir sagen wo die Linien verlaufen und auf welcher Seite ich meine Arbeit halte. Wenn deine Situation ungewöhnlich ist, und ich sage weiter unten wie ungewöhnlich aussieht, hol dir eine Stunde bei jemandem der IT Recht in deinem Land macht. Es ist die günstigste Stunde die du je kaufen wirst. So, das sage ich jetzt nicht mehr und komme zur Sache.

Preise sind Fakten, und Fakten gehören niemandem

Alles fängt hier an, und es lohnt sich präzise zu sein, denn das ist der Punkt den die Leute überspringen.

Das Urheberrecht schützt Werke. Eine Produktbeschreibung die jemand geschrieben hat kann ein Werk sein. Ein Produktfoto ist ein Werk. Das Layout eines Shops, seine Kategorietexte, sein Blog, all das kann geschützt sein, und ich komme darauf zurück was das für dich bedeutet.

Ein Preis ist kein Werk. Ein Lagerbestand auch nicht, eine Lieferzeit nicht, ein Produktname nicht, eine EAN nicht. Das sind Tatsachen über die Welt, und die gesamte Tradition des europäischen Urheberrechts, lange vor dem Internet, sagt dass Tatsachen frei sind. Du kannst die Tatsache dass dein Wettbewerber eine bestimmte Kaffeemaschine für 349 Euro verkauft genauso wenig besitzen wie die Tatsache dass es am Dienstag in Wien geregnet hat.

Das ist wichtig, weil es den intuitivsten Einwand sofort aus dem Weg räumt. Wenn ein Wettbewerber sagt "ihr dürft unsere Preise nicht verwenden", lautet die erste Antwort: die gehören euch nicht in dem Sinn in dem ihr das meint. Was er haben könnte ist ein Recht an der Sammlung der Preise, oder einen Vertrag mit dir darüber wie du seine Website nutzt, oder einen wettbewerbsrechtlichen Anspruch wegen deines Verhaltens. Das sind die echten Argumente und ich nehme sie eines nach dem anderen. Aber der Preis selbst, als Tatsache, ist niemandes Eigentum.

Das Datenbankrecht, und warum die eigenen Preise eines Shops meistens außerhalb liegen

Die EU hat ein eigenartiges Stück Recht das es fast nirgendwo sonst gibt. Die Datenbankrichtlinie von 1996 hat das sogenannte Sui generis Datenbankrecht geschaffen, in Deutschland als Recht des Datenbankherstellers umgesetzt. Es schützt eine Datensammlung, nicht weil die Daten kreativ wären, sondern weil jemand wesentlich in ihre Beschaffung, Überprüfung oder Darstellung investiert hat. Wer einen wesentlichen Teil einer solchen Datenbank ohne Erlaubnis entnimmt oder weiterverwendet verletzt das Recht, auch wenn jedes einzelne Element eine schlichte Tatsache ist.

Das ist das Argument nach dem Scraping Gegner zuerst greifen, und es ist schwächer als es aussieht, aus zwei Gründen.

Der erste ist ein Urteil aus dem Jahr 2004 in einem Verfahren des britischen Pferderennsportverbands gegen den Wettanbieter William Hill. Das Gericht das solche Fragen für die ganze EU entscheidet hat festgestellt dass die Investition die den Schutz verdient eine Investition in die Beschaffung vorhandener Daten sein muss, nicht in ihre Erzeugung. Ein Rennsportverband der festlegt welche Pferde in welchem Rennen laufen erzeugt diese Daten als Nebenprodukt des Sportbetriebs, und das Gericht hat gesagt das zählt nicht. Dieselbe Logik passt ziemlich genau auf einen Shop. Dein Wettbewerber hat seine Preise nicht in der Welt eingesammelt. Er hat sie festgelegt. Die Preisliste ist ein Nebenprodukt des Shopbetriebs, und nach der Begründung dieses Urteils ist die Investition in das Festlegen von Preisen nicht die Art von Investition die das Datenbankrecht belohnt. Juristen nennen das die Spin off Theorie, und sie wird nicht in jedem Mitgliedstaat mit derselben Begeisterung angewendet, aber sie ist der Ausgangspunkt.

Der zweite Grund ist das Wort wesentlich. Das Recht wird verletzt durch die Entnahme eines wesentlichen Teils der Datenbank, nach Menge oder nach Art beurteilt, oder durch die wiederholte und systematische Entnahme unwesentlicher Teile die auf dasselbe hinausläuft. Die Preise der vierzig Produkte zu beobachten mit denen du tatsächlich konkurrierst, aus einem Sortiment von sechstausend, ist nach keiner Lesart ein wesentlicher Teil. Das gesamte Sortiment stündlich zu spiegeln ist ein anderes Gespräch, und das ist die erste von vielen Stellen an denen die Antwort davon abhängt wie du es tust und nicht ob.

Es gab außerdem 2013 ein Urteil über eine spezialisierte Suchmaschine die eine Autobörse in Echtzeit abgefragt und die Ergebnisse neu präsentiert hat, und das Gericht hat darin eine Verletzung gesehen, weil die Suchmaschine der Öffentlichkeit im Grunde die ganze Datenbank durch eine andere Eingangstür angeboten hat. Das ist ein nützlicher Grenzstein. Beobachtung für die eigenen geschäftlichen Entscheidungen liegt auf der einen Seite davon. Das Sortiment eines Wettbewerbers als eigenen Dienst neu zu veröffentlichen liegt auf der anderen.

Nutzungsbedingungen: Browsewrap, Clickwrap und die Ryanair Urteile

Wenn das Datenbankrecht die Preise nicht schützt, greift ein Wettbewerber als Nächstes nach den Nutzungsbedingungen. Irgendwo auf seiner Seite, in einem Footer Link den niemand anklickt, steht ein Absatz der automatisierten Zugriff verbietet. Bindet dich das?

Die ehrliche Antwort: vielleicht, und die Rechtsprechung die uns das sagt stammt fast vollständig von einer einzigen Fluglinie.

Ryanair hat den Großteil von zwei Jahrzehnten damit verbracht jeden zu verklagen der seine Tarife ausliest, vor allem Flugvergleichsseiten und Online Reisebüros, vor Gerichten in ganz Europa. Zwei Entscheidungen sind für uns wichtig.

2015 hat der Europäische Gerichtshof in einem Ryanair Verfahren gegen eine niederländische Vergleichsseite entschieden dass der Inhaber einer Datenbank die nicht urheberrechtlich und nicht durch das Datenbankrecht geschützt ist, ihre Nutzung frei vertraglich beschränken kann. Anders gesagt: dass das Datenbankrecht die Daten nicht erfasst hindert die Nutzungsbedingungen nicht daran es zu tun. Das ist das Urteil das Scraping Gegner zitieren, und es ist real.

Aber ein Jahr davor, 2014, hatte der Bundesgerichtshof ein Ryanair Verfahren gegen einen deutschen Flugvermittler entschieden, und die Feststellung dort war dass die Nutzung einer Website entgegen ihren Bedingungen für sich allein keine unlautere Wettbewerbshandlung ist. Einen Vertrag zu brechen dem du nie klar zugestimmt hast ist nicht dasselbe wie einen Wettbewerber gezielt zu behindern. Was das Gericht als möglicherweise anders markiert hat war die Umgehung technischer Schutzmaßnahmen. Eine Sperre zu umgehen die die Seite aufgestellt hat um dich zu stoppen ist der Punkt an dem sich die Bewertung ändert.

Setzt man beides zusammen, bekommt man die Position mit der die meisten Praktiker heute arbeiten. Bedingungen können relevant sein, besonders wenn du ihnen aktiv zugestimmt hast, was Clickwrap bedeutet: du hast ein Konto angelegt, ein Kästchen angehakt, zugestimmt. Ein Footer Link den du nie gesehen hast, das ist Browsewrap, ist viel schwächer, und gerade in Deutschland und Österreich ist zweifelhaft ob der bloße Besuch einer öffentlichen Seite überhaupt einen Vertrag zustande bringt. Und selbst wo Bedingungen binden ist die Folge eine vertragliche, nicht die Feststellung dass du unlauter gehandelt hast.

Was das in der Praxis heißt sage ich gleich, aber die Kurzfassung ist: ich lege keine Konten auf Wettbewerberseiten an um sie zu crawlen, und ich crawle nichts wofür man Bedingungen akzeptieren muss um es zu sehen.

Die Linie die wirklich zählt: Logins und technische Sperren

Fast jeder Scraping Fall der für den Scraper schlecht ausgegangen ist hat eines von zwei Merkmalen. Entweder lagen die Daten hinter einem Login, oder der Scraper hat etwas ausgehebelt das dort aufgestellt war um ihn zu stoppen.

Der Login Punkt ist einfach. Wenn du dich anmelden musst um die Daten zu sehen, dann sind die Daten nicht öffentlich, du hast mit ziemlicher Sicherheit Bedingungen angeklickt, und du bist unter Auflagen im System von jemand anderem. Das deutsche Strafgesetzbuch hat in Paragraph 202a eine Vorschrift über den Zugang zu Daten die gegen unberechtigten Zugriff besonders gesichert sind, unter Überwindung dieser Sicherung. Österreich hat in Paragraph 118a ein enges Gegenstück. Großbritannien hat den Computer Misuse Act. Keine dieser Vorschriften wurde mit Preisbeobachtung im Kopf geschrieben, aber sie wurden weit geschrieben, und ein Staatsanwalt muss nicht beweisen dass du Schaden anrichten wolltest.

Der Punkt mit den technischen Sperren ist subtiler und dort streiten vernünftige Leute. Wenn eine Seite dich drosselt und du fährst zurück, bist du ein guter Bürger. Wenn sie deine IP sperrt und du rotierst durch ein Netz von Privatanschluss Proxies um die Sperre zu umgehen, hast du gerade genau das getan was das deutsche Gericht 2014 als Grenze markiert hat. Wenn sie ein CAPTCHA aufstellt und du bezahlst einen Dienst der es löst, dasselbe. Die Seite hat in der einzigen Sprache die ein Server spricht gesagt dass sie das nicht will, und du hast dich darüber hinweggesetzt.

Meine Regel ist einfach. Öffentliche Seiten, kein Login, und wenn die Seite sich wehrt höre ich auf statt fester zu drücken. Diese Regel kostet mich Daten. Sie hat noch nie einen Kunden einen Anwaltsbrief gekostet.

Unlauterer Wettbewerb: das UWG in Deutschland und Österreich

Deutschland und Österreich haben beide ein Gesetz gegen den unlauteren Wettbewerb, jeweils UWG genannt, und es ist das Gesetz das Wettbewerber tatsächlich gegeneinander einsetzen. Der relevante Begriff ist die gezielte Behinderung: Verhalten dessen Zweck oder Wirkung es ist einen Wettbewerber zu behindern statt in der Sache zu konkurrieren.

Das Ryanair Urteil von 2014 das ich erwähnt habe ist hier der Anker, und es ist beruhigend. Öffentlich verfügbare Preise zu sammeln um die eigenen geschäftlichen Entscheidungen zu treffen ist Wettbewerb in der Sache. Es ist genau das was Wettbewerb ist.

Wo das UWG greift ist wenn das Crawling selbst Schaden anrichtet. Den Server eines Wettbewerbers so hart zu belasten dass er für echte Kunden langsam wird ist Behinderung. So aggressiv zu crawlen dass er mehr Infrastruktur bezahlen muss ist Behinderung. Seine Inhalte zu sammeln und unter deinem Namen zu veröffentlichen ist ein eigener Verstoß. Und es gibt eine alte Rechtsprechungslinie zum systematischen Unterbieten eines bestimmten Wettbewerbers mit dem alleinigen Ziel ihn zu verdrängen, was Behinderung ist, egal wie du seine Preise erfahren hast.

Nichts davon betrifft die Beobachtung. Es betrifft was du damit machst und wie viel Last du verursachst. Beides hast du vollständig in der Hand.

Text und Data Mining, die DSM Richtlinie und das Opt out

2019 hat die EU die Richtlinie über das Urheberrecht im digitalen Binnenmarkt verabschiedet, die unter anderem zwei Ausnahmen für Text und Data Mining geschaffen hat. Die eine gilt für Forschungseinrichtungen und betrifft uns nicht. Die andere erlaubt jedem, Vervielfältigungen rechtmäßig zugänglicher Werke zum Zweck des Text und Data Mining anzufertigen, sofern der Rechteinhaber diese Nutzung nicht ausdrücklich vorbehalten hat, und für Online Inhalte muss der Vorbehalt maschinenlesbar erklärt werden. Deutschland hat das als Paragraph 44b Urheberrechtsgesetz umgesetzt, Österreich als Paragraph 42h.

Warum ist das wichtig wenn Preise Fakten und keine Werke sind? Weil ein Crawler in der Praxis keinen Preis isoliert abruft. Er ruft eine Seite ab, und die Seite enthält eine Produktbeschreibung, Bilder, strukturierte Daten und Kategorietexte, die alle Werke sein können. Die TDM Ausnahme ist das was das Kopieren der Seite rechtmäßig macht um die Fakten daraus zu extrahieren, vorausgesetzt du setzt dich nicht über ein Opt out hinweg.

Das Opt out ist der Punkt an dem sich in den letzten zwei Jahren am meisten bewegt hat, vor allem wegen KI Training und weniger wegen Preisbeobachtung. Seiten fügen maschinenlesbare Vorbehalte in der robots.txt und in eigenen TDM Headern hinzu, und der sich abzeichnende Konsens ist dass ein ordentlich erklärter Vorbehalt zu respektieren ist. Meine Crawler prüfen darauf und halten sich daran. Ich behalte die Kopien außerdem nur so lange wie es dauert die Fakten zu extrahieren und keine Sekunde länger, was die Ausnahme genau so vorsieht, und ich speichere oder veröffentliche die Beschreibungen und Bilder nicht.

DSGVO: wo Produktdaten aufhören und personenbezogene Daten anfangen

Ein Preis ist kein personenbezogenes Datum. Ein Produkt auch nicht, eine Kategorie nicht, ein Versandtarif nicht, ein Lagerbestand nicht. Für das meiste was ein Preismonitor sammelt ist die DSGVO schlicht nicht berührt, und wer dir etwas anderes erzählt ist entweder verwirrt oder verkauft ein Compliance Produkt.

Aber ein unvorsichtiger Crawler sammelt personenbezogene Daten ohne es zu wollen, und das passiert an drei Stellen.

Bewertungen. Eine Produktseite hat Bewertungen, die Bewertungen haben Namen, manchmal Orte, manchmal Fotos. In dem Moment in dem dein Crawler speichert "Anna M. aus Graz findet diesen Mixer laut", verarbeitest du personenbezogene Daten von jemandem der keine Ahnung hat dass es dich gibt, und die DSGVO sagt du schuldest ihr innerhalb eines Monats eine Information darüber. Das macht niemand, was bedeutet dass jeder der das tut nicht regelkonform ist. Ich sammle keine Bewertungen. Wenn ein Kunde Stimmungsbilder will, schauen wir nur auf aggregierte Sternewerte.

Einzelunternehmer. In Deutschland und Österreich wird eine riesige Zahl kleiner Shops von Einzelpersonen unter ihrem eigenen Namen betrieben. "Max Mustermann e.K." ist ein Unternehmen und gleichzeitig eine Person, und Impressum, Bankverbindung und oft die Adresse sind personenbezogene Daten. Meine Crawler rühren Impressum und Kontaktseiten nicht an und speichern über die Identität des Händlers nichts außer einem Domainnamen.

Marktplatzhändler. Auf Amazon oder eBay ist der Verkäufername an einem Angebot oft eine Person. Den Preis eines Angebots zu beobachten ist in Ordnung. Ein Profil aufzubauen wer was verkauft ist es nicht, jedenfalls nicht ohne eine Rechtsgrundlage die du benennen kannst.

Das Muster ist dasselbe wie überall in diesem Artikel: die Daten die du tatsächlich willst sind unproblematisch, und der Ärger kommt davon mehr zu sammeln als du willst, weil es auf derselben Seite stand.

Marktplätze sind ein anderes Land

Amazon, eBay, Zalando, Otto und die anderen verdienen einen eigenen Absatz, weil die Bedingungen anders sind und die Durchsetzung auch.

Jeder große Marktplatz verbietet automatisierten Zugriff in seinen Bedingungen, und anders als das Browsewrap eines kleinen Shops sind das Bedingungen die du mit ziemlicher Sicherheit akzeptiert hast, weil du dort verkaufst, und dein Händlervertrag bindet dich auch wenn du als Käufer crawlst. Amazon im Besonderen ist technisch ausgefeilt darin Crawler zu erkennen und kommerziell aggressiv darin Händlerkonten zu sperren. Ein gesperrtes Amazon Konto ist für viele meiner Kunden ein existenzielles Problem und keine Menge Preisdaten ist das wert.

Für Marktplätze gehe ich deshalb anders vor. Wo es eine offizielle API gibt, und Amazons Selling Partner API und Product Advertising API existieren genau dafür, nutze ich sie, zu ihren Bedingungen, mit den Limits die sie vorgibt. Wo es keine gibt, nutze ich einen lizenzierten Datenanbieter der seine eigene Vereinbarung mit der Plattform hat und dieses Risiko trägt. Was ich nicht tue ist im Auftrag eines Kunden einen Crawler auf einen Marktplatz zu richten und zu hoffen.

Das ist weniger eine juristische als eine kaufmännische Einschätzung. Der Marktplatz hat den ganzen Hebel und der Kunde keinen.

Alle machen es, auch die die dir sagen du sollst es nicht

Es lohnt sich einen Schritt zurückzutreten und zu sehen was der Markt tatsächlich tut, denn das rückt das Risiko ins Verhältnis.

Amazon beobachtet die Preise seiner Wettbewerber ununterbrochen und tut das seit dem ersten Tag. Es ist die gesamte Grundlage seiner Preismaschine. Jeder große Elektronikhändler in Deutschland betreibt Preisbeobachtung gegen jeden anderen, oft über dieselbe Handvoll spezialisierter Anbieter. Hersteller beobachten ihre Händler. Händler beobachten die Direktkanäle ihrer Hersteller. Vergleichsseiten existieren vollständig auf gecrawlten Daten und tun das seit zwanzig Jahren. Es gibt eine ganze Industrie von Amazon Preisverlaufs Trackern die Millionen Verbraucher nutzen.

Wäre die öffentliche Preisbeobachtung illegal, wäre der gesamte europäische Handel im Verstoß. Sie ist nicht illegal. Was in zwanzig Jahren Rechtsstreit passiert ist, größtenteils finanziert von einer Fluglinie, ist dass die Ränder definiert wurden. Öffentliche Seiten, keine Umgehung, keine Neuveröffentlichung, keine personenbezogenen Daten, kein Schaden. Innerhalb dieser Ränder arbeiten alle, und es ist ein großer Raum.

Die kartellrechtliche Falle vor der niemand warnt

Jetzt das Risiko das mich tatsächlich wach hält, und das fast kein Scraping Ratgeber erwähnt, weil es mit Scraping nichts zu tun hat.

Artikel 101 des EU Vertrags verbietet Vereinbarungen und abgestimmte Verhaltensweisen zwischen Wettbewerbern die den Wettbewerb beschränken, und Preisabstimmung ist die schwerste Kategorie. Die Bußgelder sind ein Prozentsatz des weltweiten Umsatzes. Das Bundeskartellamt und die österreichische Bundeswettbewerbsbehörde setzen das energisch durch.

Die öffentlichen Preise deiner Wettbewerber zu beobachten und darauf zu reagieren ist keine Vereinbarung. Es ist das Gegenteil einer Vereinbarung. So sieht Wettbewerb aus, und jede Wettbewerbsbehörde in Europa hat das gesagt.

Aber so geht es schief.

Die Daten teilen. Zwei Wettbewerber die beide dieselbe Beobachtung abonniert haben und sich dann darüber austauschen was sie sehen, sind von Beobachtung zu Austausch übergegangen. Wenn der Austausch es ihnen erlaubt die Züge des anderen vorwegzunehmen, ist das eine abgestimmte Verhaltensweise.

Signalisieren. Deinen Preis zu setzen um eine Botschaft zu senden statt zu verkaufen, in der Erwartung dass die Beobachtung des Wettbewerbers sie aufnimmt und reagiert, ist eine anerkannte Form stillschweigender Abstimmung. Behörden schreiben seit einem Jahrzehnt über algorithmische Kollusion, und die Sorge ist genau das: zwei Repricing Bots die lernen einander nicht mehr zu unterbieten.

Preisbindung der zweiten Hand. Das hier ist für Hersteller und Marken, und es ist der Punkt an dem die Durchsetzung tatsächlich gelandet ist. 2018 hat die Europäische Kommission gegen vier Hersteller von Unterhaltungselektronik zusammen über hundert Millionen Euro Bußgeld verhängt, weil sie mit Preisbeobachtungssoftware Händler aufgespürt hatten die unter dem empfohlenen Preis verkauften, und dann Druck gemacht hatten ihn anzuheben. Die Beobachtung war legal. Sie zur Durchsetzung eines Mindestverkaufspreises zu nutzen war es nicht. Wenn du eine Marke bist die ihre eigenen Händler beobachtet, lies diesen Absatz zweimal.

Hub and Spoke. Ein Dritter, etwa ein Beobachtungsanbieter oder ein Marktplatz, der Preisabsichten zwischen Wettbewerbern weiterreicht, kann sie alle haftbar machen, obwohl sie nie direkt miteinander gesprochen haben. Es gab einen Fall über eine Reisebuchungsplattform die allen angeschlossenen Reisebüros eine Nachricht über die Deckelung von Rabatten geschickt hat, und die Büros die nicht widersprochen haben wurden als Beteiligte eingestuft.

Die Regel die ich Kunden gebe lautet: deine Beobachtungsdaten fließen in deine Preisentscheidungen und sonst nirgendwohin. Nicht an einen Verband, nicht in eine WhatsApp Gruppe befreundeter Wettbewerber, nicht an einen Hersteller der freundlich fragt. Und deine Repricing Regeln sollten so geschrieben sein dass ein Mensch erklären kann warum jeder Preis ist wie er ist, in Begriffen deiner eigenen Kosten und Strategie, nicht in Begriffen dessen was ein Wettbewerber als Nächstes tun wird.

Anständiges Verhalten als Beweismittel

Alles in den letzten Abschnitten läuft auf Verhalten hinaus, und Verhalten ist leichter zu verteidigen wenn es dokumentiert ist. Ein paar Dinge die ich bei jedem Crawler mache, die nichts kosten und das Gespräch verändern falls es je eines gibt.

Er gibt sich zu erkennen. Meine Crawler senden einen User Agent der den Betreiber nennt und auf eine Seite verlinkt die erklärt was der Crawler tut und wie man uns erreicht. Ein Seitenbetreiber der will dass wir aufhören kann fragen, und wir hören auf. Das ist eine ganz andere Haltung als ein Crawler der sich als Chrome an einem Privatanschluss ausgibt.

Er liest die robots.txt und meint es ernst. Gesperrte Pfade werden nicht abgerufen. Crawl Delay Anweisungen werden eingehalten. TDM Vorbehalte werden eingehalten.

Er ist langsam. Ein Preis ändert sich nicht jede Sekunde. Eine Produktseite einmal am Tag abzurufen, oder ein paar Mal am Tag in volatilen Kategorien, von einer einzigen IP, mit höflichen Pausen zwischen den Anfragen, liefert alle Daten die irgendjemand braucht und erzeugt weniger Last auf dem Ziel als ein einzelner neugieriger Mensch mit einem Browser. Es gibt keinen legitimen Beobachtungszweck der einen kleinen Shop bombardieren muss.

Er zieht sich zurück. Ein 429, ein 503, eine Sperre: der Crawler wartet und versucht es später, und wenn es weiter passiert hört er auf und sagt mir Bescheid. Er rotiert keine Proxies. Er löst keine CAPTCHAs.

Er hat einen schriftlichen Zweck. Eine Seite, in klarer Sprache, die sagt was gesammelt wird, von wem, warum, wie lange es aufbewahrt wird und wer es sehen kann. Das ist gleichzeitig der Großteil eines DSGVO Verarbeitungsverzeichnisses falls sich herausstellt dass eines nötig ist, und es ist das Dokument das du einem Anwalt in die Hand drückst wenn ein Brief kommt.

Ich sehe das weniger als Compliance und mehr als den Unterschied zwischen einem Profi und einem Bastler. Es ist zufällig auch das worauf ein Gericht schaut wenn es entscheidet ob du jemanden behindert hast.

Wie ein regelkonformer Crawler aussieht

Alles zusammengenommen, hier die Spezifikation nach der ich baue. Es ist die die unter der Wettbewerbsanalyse von GrowCentric liegt, und die auf der ich bei jedem Kunden bestehen würde.

Nur öffentliche Seiten, keine Konten, keine Logins, keine Paywalls. Ehrlicher User Agent mit Kontakt. robots.txt, Crawl Delay und TDM Opt outs werden respektiert. Drosselung auf einen Bruchteil dessen was ein menschlicher Browser erzeugen würde, von identifizierbaren IPs. Nur Daten auf Produktebene: Name, Kennungen, Preis, Verfügbarkeit, Versandkosten, Variantenattribute. Keine Bewertungen, keine Namen von Rezensenten, keine Impressumsdaten, keine Händlerprofile. Seitenkopien werden verworfen sobald die Fakten extrahiert sind. Beschreibungen und Bilder werden weder gespeichert noch weiterverwendet. Aufbewahrung der extrahierten Fakten beschränkt auf das was die Analyse braucht, typischerweise ein rollierendes Fenster, und dokumentiert. Kein Crawling von Marktplätzen, stattdessen APIs oder lizenzierte Anbieter. Die Ergebnisse bleiben im eigenen Preisprozess des Kunden und werden nie mit Wettbewerbern geteilt oder zur Durchsetzung von Wiederverkaufspreisen genutzt. Ein einseitiges Zweckdokument, überprüft wenn sich der Umfang ändert.

Das ist eine längere Liste als "einfach scrapen", und es ist auch der Grund warum ich das für regulierte Kunden bauen kann die ein generisches Scraping Tool nicht anfassen würden.

Was ich für einen Kunden crawle und was nicht

Weil Interessenten danach fragen, hier die praktische Fassung.

Ich beobachte die öffentlichen Produktseiten und Kategorielisten eines Wettbewerbers auf Preis, Verfügbarkeit, Versand und Aktionen. Ich beobachte den Direktkanal eines Herstellers wenn du Händler bist, und die öffentlichen Preise eines Händlers wenn du eine Marke bist, mit dem kartellrechtlichen Vorbehalt von oben fest im Briefing verankert. Ich beobachte Preisvergleichsseiten, die selbst Aggregatoren öffentlicher Daten sind. Ich verfolge deine eigenen Angebote über Marktplätze hinweg über die API des jeweiligen Marktplatzes.

Ich werde nicht Konten anlegen oder hinter einem Login crawlen. Ich werde keine Sperren aushebeln, keine Proxies rotieren, keine CAPTCHAs lösen. Ich werde Marktplätze nicht direkt crawlen. Ich werde keine Bewertungen, Rezensentenidentitäten, Impressumsseiten oder Händlerprofile sammeln. Ich werde Produktbeschreibungen oder Bilder nicht speichern oder neu veröffentlichen. Ich werde nichts bauen dessen Ergebnis dafür gedacht ist mit einem Wettbewerber geteilt oder zur Kontrolle der Preise eines Händlers genutzt zu werden. Und ich werde keine Seite crawlen die uns gebeten hat aufzuhören.

Wenn ein Kunde etwas von der zweiten Liste will, ist das in Ordnung, dann arbeiten wir an diesem Teil einfach nicht zusammen. Das ist zweimal passiert. Beide Male hat sich der Kunde später bedankt.

Die Checkliste

Wenn du ein Beobachtungssystem bewertest, dein eigenes oder das eines Anbieters, stell diese Fragen. Eine gute Antwort auf alle und du bist in dem Raum in dem der gesamte europäische Handel arbeitet. Eine schlechte Antwort auf eine davon und du hast dein Risiko gefunden.

1. Wird alles von öffentlichen Seiten ohne Login gesammelt?
2. Gibt sich der Crawler zu erkennen und nennt einen Kontakt?
3. Respektiert er robots.txt, Crawl Delays und TDM Opt outs?
4. Ist die Abrufrate so niedrig dass das Ziel es nicht bemerken würde?
5. Hört er auf wenn er gesperrt wird, statt die Sperre zu umgehen?
6. Beschränken sich die Daten auf Produkt und Preisfakten, ohne Bewertungen, Namen oder Kontaktdaten?
7. Werden Seitenkopien verworfen und Beschreibungen und Bilder in Ruhe gelassen?
8. Werden Marktplätze über APIs oder lizenzierte Daten abgedeckt, nicht durch direktes Crawling?
9. Gibt es ein schriftliches Zweckdokument, und stimmt es mit dem überein was das System tatsächlich tut?
10. Bleiben die Ergebnisse in deinen eigenen Preisentscheidungen und erreichen nie einen Wettbewerber oder dienen der Durchsetzung von Wiederverkaufspreisen?

Wenn du alle zehn mit ja beantworten kannst, hat die Frage mit der du angefangen hast, dürfen wir das, eine langweilige Antwort. Ja. Die interessante Frage ist jetzt was du mit den Daten machst, und darüber habe ich in Preiskämpfe und große Player im homogenen Produktmarkt schlagen und in Spieltheorie in der Growth Strategie geschrieben. Der nächste Teil dieser Serie handelt von den Repricing Regeln selbst, und davon wie du Wettbewerberdaten nutzt ohne einen Preiskrieg anzufangen den du nicht gewinnen kannst.