KI Crawler versus Copyrights

Hi all,

man kann sich fragen, ob man als Ersteller von Webseiten tatsächlich seine eigenen Mühen unentgeltlich in den Dienst von AI (KI) Produzenten - heute und in Zukunft - stellen will und stellen muss. Man sollte bedenken: das kann sich ja durchaus auf alles beziehen, was man so erzeugt - auf Texte oder Bilder oder Zeichnungen oder Software oder oder... Da bezüglich AI (KI) weltweit noch keine wirkliche Gesetzgebung existiert, werden in der Zwischenzeit die Copyright-Vermerke auf Websites oder Fotos wohl kaum etwas nützen !

Tatsächlich sperren deshalb heute schon viele Companies (NewYork Times, Reuters, CNN,...) diverse AI crawler explizit von ihren Websites aus:

Major websites are blocking AI crawlers from accessing their content

https://www.axios.com/2023/08/31/major-websites-are-blocking-ai-crawlers-from-accessing-their-content

Auch gibt es natürlich juristische Verfahren von Copyright-Inhabern gegen diverse Netzfirmen (Google, OpenAI,...) , die Content so 'weiterverarbeiten'...

OpenAI hat im August ja tatsächlich schon angekündigt, einen GPTBot ins (heutige) Netz zuschicken, um die zukünftigen Sprachmodelle GPT-4/5 zu trainieren...

Wenn man das nicht so gut findet, was kann man als Privatmensch mit Website - als einfachste Massnahme/n - tun ? Scheint nicht komplett einfach zu sein...

robots.txt file anlegen:

User-agent: *

Disallow: /

Allerdings sagt Google dazu:

Einführung und Leitfaden zu robots.txt-Dateien | Google Search Central  |  Dokumentation  |  Google for Developers

Die robots.txt-Datei wird zur Verwaltung des Crawler-Traffics verwendet. In dieser Einführung zu robots.txt erfährst du, was robots.txt-Dateien sind und wie…

developers.google.com

und

Aufnahme in den Google-Suchindex mit „noindex“ blockieren | Google Search Central  |  Dokumentation  |  Google for Developers

Das Tag „noindex“ kann Google daran hindern, eine Seite zu indexieren, sodass sie nicht mehr in den Suchergebnissen erscheint. In diesem Leitfaden erfährst du,…

developers.google.com

D.h. man muss mit

<meta name="robots" content="noindex">

in den Headern der Webseiten arbeiten.

Man kann aber auch *NUR* den im August 23 angekündigten ChatGPT-crawler aussperren (nach Angaben des Unternehmens) mit:

User-agent: GPTBot
Disallow: /

Heise sagt hierzu:

Crawler für Training von GPT ausschließen: OpenAI stellt Code für robots.txt vor

Für das Training von KI-Chatbots wie ChatGPT wird das Internet durchpflügt. Wer Inhalte davon ausschließen will, kann das nun über Code in der robots.txt tun.

www.heise.de

Diese (Minimal-) Massnahmen verlassen sich natürlich darauf, dass die Crawler diese Direktiven ernst nehmen und beachten. Ich gehe davon aus, dass OpenAI das (vorerst mal) tut. Ein gesetzlicher oder softwaretechnischer Zwang besteht aber nicht. Auch taugt diese Minimallösung nicht für wirkliche Security, da man sie einfachst umgehen kann wenn man will.

Wenn man harte Security will, muss man zwingend SSL/TLS verwenden, seine Site gegen freien Access sperren und User/Passwörter ausschliesslich an (nachweisliche) Menschen vergeben. Das ist jedoch zugegeben sehr unschön, und schränkt die freie Nutzung durch uns alle im Web sehr ein. Das wäre sehr schade und man will das eigentlich Nicht. ABER eine Entwicklung, die jedes Copyright negiert ist auch nicht gerade das wonach wir alle lechzen....

Gruss, Peter

Zitat von AR_Nr2

Privatsphäre / Datenschutz ...

Wirtschaft (...)

Staat (...)

Ich seh das von der Gewichtung durchaus etwas mehr in Richtung Gefahren aus der global agierenden (Internet-) Wirtschaft verschoben. Du hast natürlich Recht mit dem staatlichen Punkt: tyrrannischer Staat greift auf Daten der Wirtschaft zu... Völlig d'accord. Aber diese Einordnung kann man auch mal 'traditionell' nennen, weil...

Die Frage ist: wie sind hier die Gewichte heute und wie verschieben sie sich gerade (und in die Zukunft). Wir haben Dynamik, nicht wahr ? Durch Transnationalität (sogar Kreieren eigener 'National-Souveränität' innerhalb der USA) entziehen sich Konzerne z.B. zunehmend dem Zugriff durch staatliche Akteure (z.B. Regulierung, Steuergestaltung). Und nur mal in Erinnerung gerufen: im Fall von Demokratien ist Staat = wir alle (hier mal nur als Interessengemeinschaft gemeint). Daher ist Datenschutz auch ein Privatrecht, das den Bürger gegenüber der Wirtschaft schützen will. Ich seh das also nicht so betont negativ wie es oft landläufig kolportiert wird.

Mit KI, die (unsere oder andere) Daten an der Hand hat, wird sich das ganze noch stark intensivieren und (zu ungunsten des Individuums) asymmetrieren.

Klar kann man mit Flugzeugen beides machen, in Urlaub fliegen und Städte bombadieren (dual use). So auch mit KI. Aber wir haben bald KI, die nicht nur für uns, sondern auch (im Profitsinn) gegen uns arbeitet (ebenso dual use). Und KI Riesen schwingen sich da auch ganz non-chalant dazu auf, bereits zu wirtschaftlichen Zwecken genutzte Daten anderer Companies (Zeitungen, Verlage, Museen....) einfach kostenlos zu konsumieren, zu verwursten und gegen höchsten (skalierbaren) Profit weiter (oder an uns oder an Companies zurück) zu verkaufen. Dagegen wehren sich diese Companies schon heute (siehe mein Eingangspost). Es geht hier um Interessen. Companies haben Interessen. Auch Bürger haben Interessen - die im günstigen Fall vom Staat (als unserer Interessenvertretung) durch Gesetze geschützt werden (können/sollten).

Ich stelle nur zur Diskussion (oder zumindest zu bedenken) ob man als kleiner, mickriger Privat-Content-Erzeuger das völlig passiv mittragen will, oder nicht, mindestens aber ob Copyrights nicht auch gegenüber KI-Crawlern durchzusetzen sind. Nur eben wie, wenn es staatlicherseits bislang (schnelle Dynamik, richtig !?) keine Gesetzgebung gibt.

Gruss, Peter