Preisbeobachtung von Wettbewerbern in der EU: was wirklich legal ist

Kurz gesagt

Niveau: Fortgeschritten

Die öffentlichen Preise eines Wettbewerbers zu beobachten, ist in Österreich und der EU in fast jedem Fall erlaubt, der einen kleinen oder mittleren Shop betrifft. Preise sind Tatsachen, und das Datenbankrecht erfasst die eigenen Preise eines Shops selten und vierzig Produkte von Tausenden schon gar nicht. Die echten Grenzen sind Logins, das Umgehen von Sperren, hohe Serverlast, kopierte Beschreibungen und Bilder, gesammelte Namen von Rezensenten oder Händlern und vor allem, was du mit den Daten machst: Teilst du sie mit einem Wettbewerber, stimmst du dich über einen Repricer ab oder kontrollierst du damit Händlerpreise, hast du ein Kartellrechtsproblem. Erhebe nur Produktfakten, langsam, offen und von öffentlichen Seiten, und behalte die Ergebnisse in deinem eigenen Pricing.

Bevor mich jemand fragt, was ein Preiscrawler kann, fragt er, ob er einen betreiben darf. Die meisten Antworten im Netz sagen entweder, Scraping sei illegal, oder öffentliche Daten seien frei, und beides ist falsch. In diesem Artikel zeichne ich die Regeln nach, die in Österreich und der EU wirklich gelten, vom Datenbankrecht und den Ryanair Urteilen über Text und Data Mining, UWG und DSGVO bis zum Kartellrecht, das am meisten zählt, und ich zeige die Crawler Spezifikation, nach der ich baue, mit der Lastrechnung für einen erfundenen Linzer Shop.

Die Frage, die vor allen anderen kommt

Bevor mich jemand fragt, was ein Preiscrawler kann, fragt er, ob er überhaupt einen betreiben darf. Das ist die richtige erste Frage, und die meisten Antworten im Netz liegen in eine von zwei Richtungen daneben.

Die eine Hälfte sagt, Scraping sei illegal und du wirst abgemahnt. Das stimmt so nicht. Die andere Hälfte sagt, öffentliche Daten seien öffentlich und du kannst damit machen, was du willst. Das stimmt auch nicht, und es ist die gefährlichere der beiden Antworten, weil genau dieser Glaube Leute in echte Schwierigkeiten bringt.

Die ehrliche Antwort: Die öffentlichen Preise eines Wettbewerbers zu beobachten, ist in Österreich und in der EU in fast jedem Fall erlaubt, der für einen kleinen oder mittleren Shop eine Rolle spielt. Die Ausnahmen sind konkret und erkennbar, und meistens geht es darum, wie du Daten sammelst und nutzt, nicht ob. Dieser Artikel zeichnet die Landkarte für Österreich und die EU Regeln darunter, mit einem Blick nach Deutschland, wo viele deiner Wettbewerber sitzen.

Ein Absatz zur Ordnung

Ich bin kein Anwalt, und das hier ist keine Rechtsberatung. Ich baue solche Systeme und lese die Gesetze und Urteile, die sie prägen, und ich kann dir zeigen, wo die Linien verlaufen und auf welcher Seite ich meine Arbeit halte. Wenn deine Lage ungewöhnlich ist (was ungewöhnlich heißt, steht weiter unten), hol dir eine Stunde bei jemandem, der in Österreich IT Recht und Kartellrecht macht. Es ist die am besten angelegte Stunde des Jahres.

Preise sind Tatsachen, und Tatsachen gehören niemandem

Hier fängt alles an, und genau diesen Punkt überspringen die meisten.

Das Urheberrecht schützt Werke. Eine Produktbeschreibung, die jemand geschrieben hat, kann ein Werk sein. Ein Produktfoto ist geschützt. Kategorietexte und der Blog eines Shops können es auch sein, und weiter unten erkläre ich, was das für einen Crawler bedeutet.

Ein Preis ist kein Werk. Ein Lagerbestand auch nicht, eine Lieferzeit nicht, ein Produktname nicht, eine EAN nicht. Das sind Tatsachen, und das Urheberrecht schützt die Form, in der etwas ausgedrückt wird, nie die Tatsache dahinter. Dass ein Wettbewerber eine bestimmte Kaffeemühle für 249 Euro verkauft, kannst du genauso wenig besitzen wie die Tatsache, dass es am Dienstag in Graz geregnet hat.

Wenn ein Wettbewerber also sagt "ihr dürft unsere Preise nicht verwenden", lautet die erste Antwort: Der Preis selbst gehört euch nicht in dem Sinn, den ihr meint. Was er haben könnte, ist eines von vier anderen Dingen: ein Recht an der Sammlung der Preise, ein Vertrag mit dir über die Nutzung seiner Website, ein Anspruch wegen der Art, wie du die Daten gesammelt hast, oder ein kartellrechtliches Problem mit dem, was du danach tust. Das sind die echten Argumente, und ich nehme sie nacheinander durch.

Das Datenbankrecht, und warum die eigenen Preise eines Shops meist nicht darunter fallen

Europa hat ein eigenartiges Recht, das es fast nirgends sonst gibt. Die Datenbankrichtlinie von 1996 hat das Schutzrecht sui generis geschaffen. Es schützt eine Sammlung von Daten, weil jemand wesentlich in die Beschaffung, Überprüfung oder Darstellung ihres Inhalts investiert hat.1 Wer den ganzen Inhalt oder einen wesentlichen Teil ohne Erlaubnis entnimmt oder weiterverwendet, verletzt das Recht, auch wenn jedes einzelne Element nur eine Tatsache ist. Erfasst ist auch die wiederholte und systematische Entnahme unwesentlicher Teile, wenn sie der normalen Auswertung der Datenbank zuwiderläuft.

In Österreich steht dieses Recht in den §§ 76c bis 76e UrhG, das Schutzrecht selbst in § 76d, in Deutschland in den §§ 87a bis 87e UrhG.2 Gegner von Scraping greifen zuerst danach, und das Argument ist schwächer, als es aussieht, aus drei Gründen.

Investition ins Erzeugen von Daten zählt nicht. Im Fall British Horseracing Board gegen William Hill (2004) hat der Gerichtshof der Europäischen Union entschieden, dass nur die Investition in die Beschaffung vorhandener Daten geschützt ist, nicht die in ihre Erzeugung.3 Der Rennsportverband legte selbst fest, welche Pferde in welchem Rennen laufen, und diese Erzeugung von Daten begründete das Recht nicht. Ein Shop ist in derselben Lage: Er hat seine Preise nicht in der Welt eingesammelt, er hat sie festgelegt. Nach der Logik dieses Urteils ist der Aufwand für die Preisfestsetzung nicht die Investition, die das Recht belohnt. Juristen sprechen von der Spin off Theorie. Nicht jedes nationale Gericht wendet sie gleich begeistert an, nimm sie also als starken Ausgangspunkt, nicht als Garantie.

Vierzig Produkte sind kein wesentlicher Teil. Wer die vierzig Produkte beobachtet, bei denen er wirklich im Wettbewerb steht, aus einem Sortiment von 6.000, entnimmt der Menge nach keinen wesentlichen Teil. Den gesamten Katalog stündlich zu spiegeln, ist ein anderes Gespräch.

Der Schaden muss die Investition treffen. Im Fall des lettischen Jobportals (2021) hat der Gerichtshof entschieden, dass eine Entnahme nur dann verletzt, wenn sie die Möglichkeit des Herstellers gefährdet, seine Investition wieder hereinzuholen, typischerweise weil sie einen Ersatz für die Datenbank anbietet.4 Schon im Fall Innoweb (2013) hatte er festgestellt, dass eine spezialisierte Suchmaschine, die eine Autobörse in Echtzeit abfragte und deren Treffer der Öffentlichkeit zeigte, das Recht verletzte, weil sie die ganze Datenbank durch eine andere Tür anbot.5 Diese beiden Urteile markieren die Grenze: Beobachtung für deine eigenen Preisentscheidungen liegt auf der einen Seite, das Weiterveröffentlichen des Katalogs eines Wettbewerbers als eigener Dienst auf der anderen.

Nutzungsbedingungen: was die Ryanair Urteile entschieden haben

Wenn das Datenbankrecht die Preise nicht schützt, greift der Wettbewerber als Nächstes zu seinen Nutzungsbedingungen. Irgendwo im Footer steht ein Absatz, dass automatisierter Zugriff verboten ist. Bindet dich das?

Vielleicht, und das meiste, was wir darüber wissen, stammt von einer einzigen Fluggesellschaft. Ryanair hat jahrelang Vergleichsportale und Onlinereisebüros verklagt, die ihre Tarife ausgelesen haben. Zwei Entscheidungen zählen.

Im Fall Ryanair gegen PR Aviation (2015) hat der Gerichtshof entschieden: Wenn eine Datenbank weder urheberrechtlich noch durch das Datenbankrecht geschützt ist, hindert die Richtlinie ihren Inhaber nicht daran, die Nutzung vertraglich zu beschränken, vorbehaltlich des nationalen Rechts.6 Einfach gesagt: Fallen die Daten aus dem Datenbankrecht heraus, können die Nutzungsbedingungen sie trotzdem erfassen. Das ist das Urteil, das Scraping Gegner zitieren, und es ist echt.

Ein Jahr früher hatte der deutsche Bundesgerichtshof einen Ryanair Fall gegen einen Onlineflugvermittler entschieden. Screen Scraping entgegen den Bedingungen der Airline war für sich genommen keine gezielte Behinderung eines Mitbewerbers, und das Anklicken eines Kästchens, mit dem man die Bedingungen akzeptiert, war keine technische Schutzmaßnahme.7 Anders könne es aussehen, so das Gericht, wenn ein Scraper technische Maßnahmen überwindet, die ihn genau davon abhalten sollen. Österreichische Gerichte bindet dieses Urteil nicht, die Überlegungen sind aber dieselben, auf die es auch unter dem österreichischen UWG ankommt.

Zusammengenommen ergibt das die Linie, mit der die meisten Praktiker heute arbeiten. Bedingungen können zählen, vor allem wenn du sie aktiv akzeptiert hast, indem du ein Konto angelegt und ein Häkchen gesetzt hast. Ein Footer Link, den du nie gesehen hast, ist deutlich schwächer, und ob ein bloßer Seitenaufruf überhaupt einen Vertrag begründet, ist zweifelhaft. Selbst wenn Bedingungen binden, folgt daraus ein vertraglicher Anspruch, keine Feststellung von unlauterem Wettbewerb. Meine praktische Regel: Ich lege keine Konten bei Wettbewerbern an, um sie zu crawlen, und ich crawle nichts, was man nur nach Zustimmung zu Bedingungen sehen kann.

Die Linie, die am meisten zählt: Logins und technische Sperren

Fast jeder Scraping Streit, der für den Scraper schlecht ausging, hat eines von zwei Merkmalen. Die Daten lagen hinter einem Login, oder der Scraper hat etwas ausgehebelt, das ihn aufhalten sollte.

Logins sind der klare Fall. Wenn du dich anmelden musst, um die Daten zu sehen, sind sie nicht öffentlich, du hast fast sicher Bedingungen akzeptiert, und du bist im System eines anderen zu dessen Bedingungen. § 118a StGB bestraft, wer sich zu einem fremden Computersystem durch Überwindung einer spezifischen Sicherheitsvorkehrung Zugang verschafft, wenn er dabei etwa die Absicht hat, sich Kenntnis von personenbezogenen Daten zu verschaffen oder einem anderen einen Nachteil zuzufügen. Verfolgt wird nur mit Ermächtigung des Verletzten.8 In Deutschland gilt mit § 202a StGB eine ähnliche Vorschrift ohne diese Absicht. Für Preisbeobachtung wurde diese Vorschrift nie geschrieben, und genau deshalb willst du nicht herausfinden, wie ein Gericht sie auf deinen Fall anwendet.

Technische Sperren sind subtiler. Wenn eine Seite dich drosselt und dein Crawler langsamer wird, ist das gutes Verhalten. Wenn die Seite dich sperrt und du die Sperre umgehst, oder ein CAPTCHA zeigt und du einen Dienst bezahlst, der es löst, hast du genau das getan, was der deutsche BGH als Grenze markiert hat. Die Seite hat in der einzigen Sprache, die ein Server spricht, gesagt, dass sie das nicht will, und du hast dich darüber hinweggesetzt.

Meine Regel ist einfach. Öffentliche Seiten, kein Login, und wenn die Seite sich wehrt, hört der Crawler auf, statt härter zu drücken. Das kostet ein paar Daten. Es ist trotzdem der richtige Tausch.

Zum Vergrößern antippen: Vollbild, frei verschiebbar

Unlauterer Wettbewerb: das UWG

Das UWG ist das Gesetz, das Wettbewerber in Österreich tatsächlich gegeneinander einsetzen. Die gezielte Behinderung von Mitbewerbern fällt dort unter die Generalklausel des § 1 als sonstige unlautere Handlung.9 Das deutsche UWG nennt sie ausdrücklich, in § 4 Nr. 4, zur Zeit des Ryanair Urteils noch in § 4 Nr. 10. Das deutsche Urteil von 2014 ist der beruhigende Anker: Öffentliche Preise zu sammeln, um die eigenen Entscheidungen zu treffen, ist Leistungswettbewerb. Es ist, genau genommen, was Wettbewerb ist.

Zubeißen kann das UWG, wenn das Crawlen selbst Schaden anrichtet oder die Daten dazu benutzt werden. Der deutsche BGH hat ausdrücklich darauf abgestellt, dass das Auslesen die Seite der Airline nicht messbar verlangsamen darf. Einen kleinen Shop so hart zu crawlen, dass er für echte Kunden langsamer wird oder mehr Server braucht, ist Behinderung. Beschreibungen und Fotos zu kopieren und unter eigenem Namen zu veröffentlichen, ist ein eigenes Problem. All das hast du selbst in der Hand.

Text und Data Mining: die Schranke und der Vorbehalt

Ein Crawler holt nie einen Preis allein. Er holt eine Seite, und auf der Seite stehen Beschreibungen, Bilder und Kategorietexte, die Werke sein können. Diese Seite zu kopieren, auch nur kurz, ist eine Vervielfältigung.

Die DSM Richtlinie von 2019 hat zwei Schranken für Text und Data Mining geschaffen. Artikel 3 gilt für Forschungseinrichtungen. Artikel 4 erlaubt jedem mit rechtmäßigem Zugang, Werke zu vervielfältigen und aus Datenbanken zu entnehmen, um Text und Data Mining zu betreiben, solange der Rechteinhaber sich das nicht ausdrücklich vorbehalten hat. Bei online öffentlich zugänglichen Inhalten muss der Vorbehalt maschinenlesbar sein.10 Österreich hat Artikel 4 in § 42h Abs. 6 UrhG umgesetzt: Jeder mit rechtmäßigem Zugang darf für den eigenen Gebrauch vervielfältigen, um Texte und Daten automatisiert auszuwerten, außer die Vervielfältigung ist ausdrücklich verboten und das Verbot bei online öffentlich zugänglichen Werken mit maschinenlesbaren Mitteln kenntlich gemacht. § 76d Abs. 5 erstreckt das auf Datenbanken.11 Die Kopien dürfen nur so lange aufbewahrt werden, wie es die Auswertung braucht. Deutschland hat dieselbe Regel in § 44b UrhG.

In der Praxis heißt das: Fakten herausziehen, Seitenkopie sofort verwerfen, Beschreibungen und Bilder nie speichern oder weiterverwenden.

Beim Vorbehalt hat sich in den letzten zwei Jahren am meisten getan, getrieben vom Training von KI Modellen, nicht von Preisbeobachtung. Seiten veröffentlichen Vorbehalte in der robots.txt, in Meta Tags und über das TDM Reservation Protocol, einen Bericht einer W3C Community Group, der einen tdm-reservation Header und eine Datei an fester Adresse definiert.12 Meine Crawler lesen die robots.txt nach dem Robots Exclusion Standard13 und die TDM Signale, und wo eine Seite ihre Inhalte vorbehalten hat, nehmen sie nichts mit.

Last: wie höflich in Zahlen aussieht

"So wenig, dass die Zielseite es nicht merkt" klingt vage, also hier die Rechnung. Die tägliche Last, die ein Crawler auf einer Seite erzeugt, ist

R=n×fR = n \times f

wobei RR die Anfragen pro Tag sind, nn die Zahl der beobachteten Produktseiten auf dieser Seite und ff die Zahl der Abrufe pro Produkt und Tag. Das ist eine Rate, also gilt der Abschnitt Verhältnisse und Raten in den Grundlagen.

Nimm einen erfundenen Linzer Shop, donaumuehlen.example, der bei drei Wettbewerbern je 40 Kaffeemühlen beobachtet, viermal am Tag, also R=40×4=160R = 40 \times 4 = 160. Das sind 160 Anfragen pro Tag und Wettbewerber, etwa eine alle neun Minuten. Eine einzige Kundin, die eine halbe Stunde lang Mühlen vergleicht, lädt mehr Seiten. Wenn der Shop zwischen zwei Anfragen mindestens 30 Sekunden wartet und nie zwei gleichzeitig stellt, gibt es kein plausibles Argument, er habe irgendeinen Server belastet. Derselbe Shop, der stündlich 6.000 Produkte spiegelt, käme auf 144.000 Anfragen pro Tag und Seite, und dort fangen Behinderung, Datenbankrecht und jedes andere Problem dieses Artikels an.

DSGVO: wo Produktdaten aufhören und personenbezogene Daten anfangen

Ein Preis ist kein personenbezogenes Datum. Ein Produkt, eine Kategorie, Versandkosten oder ein Lagerbestand auch nicht. Für das meiste, was ein Preismonitor sammelt, spielt der Datenschutz keine Rolle.

Ein unachtsamer Crawler sammelt trotzdem personenbezogene Daten ein, an drei Stellen.

Bewertungen. Produktseiten tragen Bewertungen mit Namen, Orten und manchmal Fotos. Speicherst du "Anna aus Graz findet die Mühle zu laut", verarbeitest du personenbezogene Daten einer Person, die nie von dir gehört hat. Artikel 14 DSGVO verlangt dann, sie innerhalb einer angemessenen Frist, spätestens nach einem Monat, zu informieren, außer das wäre mit unverhältnismäßigem Aufwand verbunden, eine Ausnahme, die du begründen und dokumentieren müsstest, gegenüber der Datenschutzbehörde, wenn sie nachfragt.14 Ich sammle keine Bewertungen. Wer Stimmungen auswerten will, kommt mit aggregierten Sternebewertungen aus.

Einzelkaufleute. Viele kleine Shops in Österreich werden von einer Person unter eigenem Namen betrieben. "Max Mustermann e.U." ist ein Unternehmen und zugleich ein Mensch, und Impressum, Anschrift und oft die Bankverbindung sind personenbezogene Daten. Meine Crawler fassen Impressum und Kontaktseiten nicht an und speichern über den Domainnamen hinaus keine Identität des Händlers.

Marktplatzhändler. Bei Amazon oder eBay ist der Verkäufername auf einem Angebot oft eine Person. Den Preis eines Angebots zu beobachten, ist in Ordnung. Ein Profil darüber aufzubauen, wer was verkauft, braucht eine Rechtsgrundlage, die du aufschreiben kannst.

Das Muster wiederholt sich: Die Daten, die du willst, sind unproblematisch, und der Ärger kommt davon, mehr zu sammeln, als du willst, weil es auf derselben Seite stand.

Marktplätze sind ein anderes Land

Amazon, eBay, Zalando, Otto und die anderen Marktplätze verdienen einen eigenen Abschnitt, weil der Vertrag ein anderer ist. Als Händler hast du ihre Verkäuferbedingungen unterschrieben und ihre Nutzungsbedingungen akzeptiert. Das Argument mit dem ungesehenen Footer Link hilft dir dort also nicht, und ein gesperrtes Verkäuferkonto kostet weit mehr, als irgendwelche Preisdaten wert sind.

Bei Marktplätzen nutze ich deshalb, was die Plattform anbietet. Die Selling Partner API von Amazon enthält eine Product Pricing API, die Preis und Angebotsdaten für Produkte im Amazon Katalog liefert, einschließlich Daten zur Wettbewerbssituation, und Amazon beschreibt sie selbst als Grundlage für Repricer.15 Wo keine API den Bedarf abdeckt, nutze ich einen lizenzierten Datenanbieter mit eigener Vereinbarung mit der Plattform, der dieses Risiko trägt. Ich richte keinen Crawler im Auftrag eines Kunden auf einen Marktplatz und hoffe auf das Beste. Das ist weniger eine rechtliche als eine kaufmännische Abwägung: Die ganze Macht liegt beim Marktplatz.

Die Kartellrechtsfalle, vor der niemand warnt

Jetzt das Risiko, das am meisten zählt und das fast kein Scraping Ratgeber erwähnt, weil es mit Scraping nichts zu tun hat.

Artikel 101 des Vertrags über die Arbeitsweise der Europäischen Union verbietet Vereinbarungen und abgestimmte Verhaltensweisen zwischen Unternehmen, die den Wettbewerb beschränken, und § 1 Kartellgesetz 2005 macht dasselbe für Österreich.16 Preisabstimmung ist die schwerste Kategorie. Geldbußen verhängt in Österreich das Kartellgericht, meist auf Antrag der Bundeswettbewerbsbehörde, und sie können nach § 29 KartG bis zu 10 % des Gesamtumsatzes des Vorjahres erreichen.

Die öffentlichen Preise deiner Wettbewerber zu beobachten und allein darauf zu reagieren, ist keine Vereinbarung. Es ist, wie unabhängiger Wettbewerb aussieht. Die Leitlinien der Europäischen Kommission zur horizontalen Zusammenarbeit von 2023 behandeln in ihrem Kapitel über Informationsaustausch wirklich öffentliche Informationen als geringeres Risiko und warnen zugleich, dass ein Austausch über Dritte, auch über einen gemeinsamen Algorithmus oder ein Preistool, das mit sensiblen Daten von Wettbewerbern gefüttert wird, eine abgestimmte Verhaltensweise sein kann.17

So geht Beobachtung schief.

Daten teilen. Zwei Wettbewerber, die vergleichen, was ihr Monitoring zeigt, sind von Beobachtung zu Austausch übergegangen.

Abstimmung über den Repricer. Großbritannien hat den Lehrbuchfall. Zwei Onlinehändler für Poster auf Amazon vereinbarten, sich gegenseitig nicht zu unterbieten, und setzten das mit Repricing Software um, die jeder von ihnen entsprechend eingestellt hatte. Die britische Wettbewerbsbehörde verhängte 2016 gegen einen von ihnen 163.371 Pfund, der andere entging dem Bußgeld über die Kronzeugenregelung.18 Die Software war legal. Sie zur Durchsetzung einer Absprache zu benutzen, war es nicht.

Preisbindung der zweiten Hand. Das betrifft Marken. Im Juli 2018 verhängte die Europäische Kommission gegen Asus, Denon & Marantz, Philips und Pioneer zusammen mehr als 111 Millionen Euro, weil sie die Onlinepreise ihrer Händler beschränkt hatten, und hielt fest, dass Überwachungstools es den Herstellern erlaubten, die Preise der Händler zu verfolgen und bei Preissenkungen schnell einzugreifen.19 Deine Händler zu beobachten, ist erlaubt. Sie damit zurück auf einen Mindestpreis zu drücken, nicht. Wenn du eine Marke bist und deine eigenen Händler beobachtest, lies diesen Absatz zweimal.

Sternverträge. Im Fall Eturas (2016) schickte ein litauisches Onlinebuchungssystem seinen Reisebüros eine Nachricht, die Rabatte deckelte. Der Gerichtshof entschied, dass bei Reisebüros, die die Nachricht kannten, vermutet werden kann, dass sie sich beteiligt haben, es sei denn, sie haben sich öffentlich distanziert oder die Sache gemeldet.20 Ein Monitoringanbieter oder Marktplatz, der Preisabsichten zwischen Wettbewerbern weiterreicht, kann dasselbe Problem schaffen.

Die Regel, die ich Kunden gebe: Monitoringdaten fließen in deine eigenen Preisentscheidungen und nirgendwo sonst hin. Nicht zum Verband, nicht in eine Chatgruppe befreundeter Wettbewerber, nicht zum Hersteller, der freundlich fragt. Und deine Repricing Regeln sollten so geschrieben sein, dass ein Mensch jeden Preis mit deinen eigenen Kosten und deiner eigenen Strategie erklären kann, nicht mit dem, was ein Wettbewerber als Nächstes tun wird.

Gutes Verhalten als Beweismittel

Alles oben läuft auf Verhalten hinaus, und Verhalten ist leichter zu verteidigen, wenn es aufgeschrieben ist. Das hier kostet nichts und ändert das Gespräch, falls je ein Anwaltsschreiben kommt.

Er gibt sich zu erkennen. Der Crawler sendet einen User Agent, der den Betreiber nennt und auf eine Seite verlinkt, die erklärt, was er tut und wie man ihn stoppt. Einer Bitte aufzuhören, wird gefolgt.

Er liest die robots.txt und meint es ernst. Gesperrte Pfade werden nicht abgerufen, Crawl Delays eingehalten, TDM Vorbehalte respektiert.

Er ist langsam. Ein paar Abrufe pro Produkt und Tag, eine Anfrage nach der anderen, mit Pausen dazwischen.

Er weicht zurück. Ein 429, ein 503 oder eine Sperre lassen ihn warten und später erneut versuchen. Passiert das wiederholt, hört er auf und meldet es mir. Er wechselt keine Proxys und löst keine CAPTCHAs.

Er hat einen schriftlichen Zweck. Eine Seite in klarer Sprache: was gesammelt wird, von wem, warum, wie lange es aufbewahrt wird und wer es sieht. Das ist zugleich der größte Teil eines Verzeichnisses von Verarbeitungstätigkeiten, falls je eines nötig wird, und das Dokument, das du deinem Anwalt gibst.

Die Spezifikation, nach der ich baue

Nur öffentliche Seiten, keine Konten, keine Logins, keine Bezahlschranken. Ein ehrlicher User Agent mit Kontaktseite. Robots.txt, Crawl Delays und TDM Vorbehalte werden respektiert. Eine Anfragerate weit unter dem, was eine einzige Kundin erzeugt. Nur Produktfakten: Name, Kennungen, Preis, Verfügbarkeit, Versandkosten und Variantenmerkmale. Keine Bewertungen, keine Namen von Rezensenten, keine Impressumsdaten, keine Händlerprofile. Seitenkopien werden verworfen, sobald die Fakten herausgezogen sind, Beschreibungen und Bilder werden nie gespeichert oder weiterverwendet. Die Fakten werden für ein dokumentiertes, rollierendes Zeitfenster aufbewahrt. Marktplätze über ihre APIs oder einen lizenzierten Anbieter. Ergebnisse, die im eigenen Pricing des Kunden bleiben und nie mit Wettbewerbern geteilt oder zur Durchsetzung von Händlerpreisen genutzt werden. Ein einseitiges Zweckdokument, das bei jeder Änderung des Umfangs überprüft wird.

Deine Rohdaten bleiben deine, und die Bedingungen für Code und Modelle stehen in den Bedingungen für Analytics und Data Science.

Was ich crawle und was nicht

Ich beobachte öffentliche Produktseiten und Kategorielisten von Wettbewerbern auf Preis, Verfügbarkeit, Lieferung und Aktionen. Ich beobachte den Direktshop eines Herstellers, wenn du Händler bist, und die öffentlichen Preise von Händlern, wenn du eine Marke bist, mit der kartellrechtlichen Warnung oben fest im Auftrag. Ich beobachte Preisvergleichsportale. Ich verfolge deine eigenen Marktplatzangebote über die API des Marktplatzes.

Ich mache nicht: Konten anlegen oder hinter einem Login crawlen. Sperren aushebeln, Proxys wechseln oder CAPTCHAs lösen. Marktplätze direkt crawlen. Bewertungen, Identitäten von Rezensenten, Impressumsseiten oder Händlerprofile sammeln. Beschreibungen oder Bilder speichern oder veröffentlichen. Etwas bauen, dessen Ergebnis bei einem Wettbewerber landen oder Händlerpreise kontrollieren soll. Und ich crawle keine Seite, die mich gebeten hat aufzuhören.

Die Checkliste

Wenn du ein Monitoring prüfst, dein eigenes oder das eines Anbieters, stell diese zehn Fragen. Eine gute Antwort auf alle bringt dich in den Bereich, in dem der ganze Handel arbeitet. Eine schlechte Antwort auf eine einzige zeigt dir, wo dein Risiko liegt.

  1. Wird alles von öffentlichen Seiten ohne Login gesammelt?
  2. Gibt sich der Crawler zu erkennen und nennt einen Kontakt?
  3. Respektiert er robots.txt, Crawl Delays und TDM Vorbehalte?
  4. Ist die Anfragerate so niedrig, dass die Zielseite es nicht merkt?
  5. Hört er auf, wenn er gesperrt wird, statt die Sperre zu umgehen?
  6. Sind die Daten auf Produkt und Preisfakten beschränkt, ohne Bewertungen, Namen oder Kontaktdaten?
  7. Werden Seitenkopien verworfen und Beschreibungen und Bilder in Ruhe gelassen?
  8. Laufen Marktplätze über APIs oder lizenzierte Daten statt über direktes Crawlen?
  9. Gibt es ein schriftliches Zweckdokument, und passt es zu dem, was das System tut?
  10. Bleiben die Ergebnisse in deinen eigenen Preisentscheidungen, ohne je bei einem Wettbewerber zu landen oder Händlerpreise zu kontrollieren?

Zehnmal ja, und die Frage vom Anfang hat eine langweilige Antwort: Ja, du darfst. Die spannende Frage ist, was du mit den Daten machst, und darum geht es in Preiskämpfe im homogenen Produktmarkt gewinnen und Spieltheorie in der Growth Strategie.

Wenn du Preisdaten deiner Wettbewerber willst, und zwar so erhoben, dass du sie deinem Anwalt ohne Zucken zeigen kannst, dann baue ich genau das. Buch den kostenlosen Workshop, die ersten zwei Wochen Arbeit gehen auf mich, und ich sage dir, was sich für deinen Shop beobachten lässt, wie, und was ich lieber lassen würde.

Quellen

  1. 1.

    Richtlinie 96/9/EG des Europäischen Parlaments und des Rates vom 11. März 1996 über den rechtlichen Schutz von Datenbanken, Artikel 7, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:31996L0009

  2. 2.

    Urheberrechtsgesetz (Österreich), § 76d, https://www.ris.bka.gv.at/Dokumente/Bundesnormen/NOR40241419/NOR40241419.html; Urheberrechtsgesetz (Deutschland), § 87b, https://www.gesetze-im-internet.de/urhg/__87b.html

  3. 3.

    Gerichtshof der Europäischen Union, Rechtssache C-203/02, The British Horseracing Board Ltd u. a. gegen William Hill Organization Ltd, Urteil vom 9. November 2004, ECLI:EU:C:2004:695, https://curia.europa.eu/juris/liste.jsf?num=C-203/02&language=de

  4. 4.

    Gerichtshof der Europäischen Union, Rechtssache C-762/19, CV-Online Latvia SIA gegen Melons SIA, Urteil vom 3. Juni 2021, ECLI:EU:C:2021:434, https://curia.europa.eu/juris/liste.jsf?num=C-762/19&language=de

  5. 5.

    Gerichtshof der Europäischen Union, Rechtssache C-202/12, Innoweb BV gegen Wegener ICT Media BV und Wegener Mediaventions BV, Urteil vom 19. Dezember 2013, ECLI:EU:C:2013:850, https://curia.europa.eu/juris/liste.jsf?num=C-202/12&language=de

  6. 6.

    Gerichtshof der Europäischen Union, Rechtssache C-30/14, Ryanair Ltd gegen PR Aviation BV, Urteil vom 15. Jänner 2015, ECLI:EU:C:2015:10, https://curia.europa.eu/juris/liste.jsf?num=C-30/14&language=de

  7. 7.

    Bundesgerichtshof, Urteil vom 30. April 2014, I ZR 224/12, Flugvermittlung im Internet, Bericht von Legal Tribune Online, https://www.lto.de/recht/hintergruende/h/bgh-urteil-izr22412-screen-scraping-flugdaten-automatisiert-auslesen-ryanair-reiseportal

  8. 8.

    Strafgesetzbuch (Österreich), § 118a (Widerrechtlicher Zugriff auf ein Computersystem), https://www.ris.bka.gv.at/Dokumente/Bundesnormen/NOR40254197/NOR40254197.html; Strafgesetzbuch (Deutschland), § 202a, https://www.gesetze-im-internet.de/stgb/__202a.html

  9. 9.
  10. 10.

    Richtlinie (EU) 2019/790 über das Urheberrecht und die verwandten Schutzrechte im digitalen Binnenmarkt, Artikel 3 und 4, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32019L0790

  11. 11.

    Urheberrechtsgesetz (Österreich), § 42h (Text und Data Mining), https://www.ris.bka.gv.at/Dokumente/Bundesnormen/NOR40241407/NOR40241407.html; Urheberrechtsgesetz (Deutschland), § 44b, https://www.gesetze-im-internet.de/urhg/__44b.html

  12. 12.

    W3C Text and Data Mining Reservation Protocol Community Group, TDM Reservation Protocol (TDMRep), Final Community Group Report, 10. Mai 2024, https://www.w3.org/community/reports/tdmrep/CG-FINAL-tdmrep-20240510/

  13. 13.

    Martijn Koster, Gary Illyes, Henner Zeller und Lizzi Sassman, RFC 9309, Robots Exclusion Protocol, IETF, September 2022, https://www.rfc-editor.org/rfc/rfc9309

  14. 14.

    Verordnung (EU) 2016/679 (DSGVO), Artikel 14 Abs. 3 und 5, https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32016R0679

  15. 15.

    Amazon, Selling Partner API, Dokumentation der Product Pricing API, https://developer-docs.amazon.com/sp-api/docs/product-pricing-api

  16. 16.
  17. 17.

    Europäische Kommission, Leitlinien zur Anwendbarkeit des Artikels 101 des Vertrags über die Arbeitsweise der Europäischen Union auf Vereinbarungen über horizontale Zusammenarbeit, ABl. C 259 vom 21. Juli 2023, Kapitel 6 (Informationsaustausch), https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:52023XC0721%2801%29

  18. 18.

    Competition and Markets Authority, Online seller admits breaking competition law, Pressemitteilung vom 21. Juli 2016, https://www.gov.uk/government/news/online-seller-admits-breaking-competition-law

  19. 19.

    Europäische Kommission, Pressemitteilung IP/18/4601 vom 24. Juli 2018, https://ec.europa.eu/commission/presscorner/detail/de/IP_18_4601

  20. 20.

    Gerichtshof der Europäischen Union, Rechtssache C-74/14, Eturas UAB u. a. gegen Lietuvos Respublikos konkurencijos taryba, Urteil vom 21. Jänner 2016, ECLI:EU:C:2016:42, https://curia.europa.eu/juris/liste.jsf?num=C-74/14&language=de