Giant infrastruktury internetowej Cloudflare uruchomił poważną aktualizację trzy-dekadowego reguły w Internecie dla obsadzenia internetowych.
Firma wprowadziła swoje „zasady sygnałów treści”, nowe rozszerzenie dla plików „Robots.txt` daje właściciele witryn specyficzne narzędzia w celu uzyskania siły na wydawnictwu. Firmy AI, zajmujące się powszechnymi obawami dotyczącymi niekonkurenowanego skrobania danych, które zagrażają modelowi ekonomiczne otwartej sieci.
chmurflare już rozwinął Nowy standard do ponad 3,8 milion do ponad 3,8 miliona do ponad 3,8 miliona do ponad 31. Znacząca zmiana w trwającej bitwie o dane AI.
Ta inicjatywa bezpośrednio konfrontuje ograniczenia oryginalnego protokołu wykluczenia robotów. Po raz pierwszy zaproponowany w 1994 r., „Robots.txt` został zaprojektowany w celu zapobiegania przeciążeniu serwera poprzez informowanie, jakich stron należy unikać.
Było to narzędzie do zarządzania dostępem, a nie mechanizm dyktowania, w jaki sposób treści można było użyć po fakcie.
starzejący się standard w świecie AI-siły
Wzrost wygenerowania AI, który wyróżnia ten fundamentalny fundament luka. Firmy AI potrzebują szerokich padłów danych do szkolenia swoich modeli, a otwarta sieć stała się ich głównym źródłem.
To stworzyło klasyczny „problem z wolnym jeździeckim”, w którym giganci technologiczne budują cenne produkty wykorzystujące treści wydawców, nie zapewniając ruchu polecającego lub rekompensaty, które tradycyjnie podtrzymywały media online.
ten trend ten był źródłem rosnącego alarmu wydawcy. Danielle Coffey, dyrektor generalny News/Media Alliance, niedawno uchwyciła frustrację branży, stwierdzając: „Linki były ostatnią wykupną jakością wyszukiwania, która dała wydawcom ruch i przychody. Teraz Google po prostu bierze treść siłą i używa go bez powrotu.”
Ten nastrój podsyciał falę progresywnych praw, a organizacje takie jak nowe York Times pozawione do Nowego Jorku i MicroSoft dla infring.
Konflikt jest nie tylko legalny, ale techniczny. Wiele firm AI zostało oskarżonych o ignorowanie „Robots.txt`. Sama Cloudflare niedawno oskarżyła zakłopotanie AI o użycie „skrawków” do ominięcia bloków wydawców, co jest zakłopotanie roszczeniem gwałtownie odmówionym. Te spory podkreślają nieadekwatność starego systemu honorowego.
Jak działa nowa polityka sygnałów treści
Polityki treści CORMEFLARE PRÓBY ZWIĄZANE ZMIENIĆ ten system poprzez dodanie nowej warstwy specyficzności. Działa poprzez zintegrowanie zarówno komentarzy do czytania przez człowieka, jak i nową dyrektywę odczytującą maszynę bezpośrednio do pliku „Robots.txt”.
Celem jest stworzenie jednoznacznego standardu, w jaki sposób pełzanie mogą wykorzystywać treść po dostępie do niej, wyróżnienie oryginalnego protokołu, którego nigdy nie powstał. Polityka wprowadza trzy odrębne sygnały.
Sygnał „wyszukiwania” pozwala na wykorzystanie treści do budowania tradycyjnego wskaźnika wyszukiwania, w tym hiperłącza i krótkich fragmentów, ale wyraźnie wyklucza podsumowania generowane przez AI. Sygnał „AI-EPUT` rządzi używaniem w czasie rzeczywistym w generatywnych odpowiedziach AI, takich jak pokolenie pobierania (RAG). Wreszcie, sygnał „AI-Train” kontroluje, czy zawartość może być używana do szkolenia lub dostosowania modeli AI. Operatorzy stron internetowych mogą wyrażać swoje preferencje za pomocą prostej linii, takiej, takiej jak `Content-Signal: Search=Tak, AI-Train=No`.
A„ Tak “daje zezwolenie, podczas gdy„ nie “zabrania temu. Co najważniejsze, jeśli sygnał zostanie pominięty, polityka stwierdza, że właściciel witryny ani nie daje ani nie ogranicza uprawnień , pozostawiając neutralną opcję. Aby zachęcić do przyjęcia, Cloudflare opublikował polisę na podstawie licencji CC0 i zapewnia narzędzie generatora pod adresem contentignals.org .
nadanie polityki więcej wagi, podany tekst Cloudflare obejmuje prawne powiadomienie o tym jak „Express Resvation of Rights”. Dyrektywa o prawach autorskich.
Stanowi to dyrektywy nie tylko jako uprzejme żądania, ale jako prawnie znaczące deklaracje zamiaru wydawcy.
w celu przyspieszenia adopcji, Cloudflare automatycznie włączyło zasadę dla ponad 3,8 miliona domen przy użyciu zarządzanej „robots.txt”. Firma celowo opuściła neutralny sygnał „AI-EPUT” w tym wdrożeniu, stwierdzając, że nie chce odgadnąć preferencji swoich klientów dla tego konkretnego przypadku użycia. Ten ruch skutecznie tworzy masywne rezygnację ze skali internetowej do szkolenia AI domyślnie.
Zgodność Conundum i pytanie Google
, podczas gdy znaczący krok, sukces polityki zależy od dobrowolnej zgodności. Podobnie jak oryginalny protokół, sygnały treści są doradcze i nie można technicznie egzekwować.
Niektórzy źli aktorzy mogą po prostu zignorować nowe zasady. Właśnie dlatego Cloudflare przedstawia politykę jako „zastrzeżenie praw”, wzmacniając stanowisko prawne wydawcy.
Ta inicjatywa jest najnowszą eskalującą obroną Cloudflare dla wydawców. Firma wcześniej uruchomiła „AI Labyrynth”, narzędzie do zatrzymywania niekomplitujących botów w labiryntach fałszywych treści, i testuje „Pay Per Crawl”, aby witryny opłacają się za dostęp.
Cloor Cloudflare, Matthew Prince, był uparty w sprawie egzekwowania prawa, słynnie zapytaczasz, „mówisz mi,„ mówisz mi, nie mogę zatrzymać pewnej nerdy z C-Corporation w? ” punkt pozostaje Google. Świadectwo podczas przełomowego US przeciwko. Google Antitrust Trial ujawniło, że firma korzysta z osobnych systemów rezygnacji dla swoich podstawowych produktów wyszukiwania i modeli AI Gemini.
Executive Google Deepmind potwierdził, że treść zrezygnowała ze szkolenia Gemini za pośrednictwem „Dyrektorlację w Google” może być wykorzystywana przez dział wyszukiwania, stawiając się, „Zawić-zużycie w poszukiwaniu. Funkcje AI Google i ryzyko utraty niezbędnego ruchu wyszukiwania lub zezwala na korzystanie z treści na całej planszy.
, dopóki główni gracze, tacy jak Google, albo nie przyjmą nowego standardu, albo zaoferują wyraźniejsze, zunifikowane elementy sterujące, wydawcy pozostaną przyłapani między widocznością a kontrolą, a walka o przyszłość sieci będzie kontynuowana.
