Reddit 不再想成為「開放網路」的一部分。該社群網站禁止搜尋引擎存取其內容,但Google除外,Google向 Reddit 支付了數千萬美元來訓練其人工智慧模型。
只有Google它顯示了所有討論的鏈接紅迪網。其他搜尋引擎,如 Bing 或 Brave,不再能夠訪問它(儘管它們有時可能會提供 Reddit 連結)。 Kagi 向 Google 支付了部分搜尋索引的費用,但它仍然在 Reddit 上列出結果。
禁止建立索引
該網站的發現404媒體依賴對 robots.txt 檔案所做的更改,每個網站都可以設定該檔案來向想要抓取其頁面的搜尋引擎發出指示。該文件已被修改,以防止這些引擎對 Reddit 上的對話進行索引。 “我們發現越來越多的公然商業實體來到 Reddit 並聲稱他們不受我們的條款或政策的約束»,解釋Reddit 開發者。 “更糟的是,[這些實體]隱藏在 robots.txt 後面並聲稱能夠按照自己的意願使用 Reddit 內容»。
Reddit 的 robots.txt 檔案的變更可以追溯到 6 月 25 日。該平台解釋說,善意的參與者可以聯繫並要求訪問 Reddit 用戶的貢獻,這為網路檔案館和研究組織開了綠燈。谷歌每年支付 6000 萬美元來收集 Reddit 上的討論來訓練其人工智慧模型,從而使其能夠為搜尋引擎的內容建立索引。
據報道,Reddit 也在尋求與微軟達成協議藝術技術。阻止 Bing 是一種施加壓力的方式。 “我們相信開放的互聯網,但我們不相信濫用公共內容»,Reddit 保證,它追隨網站出版商的腳步挑戰「合理使用」論點由人工智慧公司推進以收穫開放網路。
然而,在 Reddit 上,貢獻直接來自網路用戶,如果它們可以被所有搜尋引擎索引,那將是相當合法的。
來源 : 404媒體