CloudFlare现在将默认情况下阻止已知的AI Web刮刀，并提供一个定价工具，使某些发布者可以向AI公司收取访问其内容的费用。
默认阻止AI爬行者
Cloudflare是互联网最大的建筑提供商之一，周二宣布，它将默认情况下阻止已知的AI爬行者。据该公司称，此举旨在阻止机器人“未经许可或薪酬访问内容”。
现在将询问新的CloudFlare域所有者是否要允许AI机器人刮擦其网站。默认设置将阻止它们，但是如果他们选择的话，发布者可以选择。
该更新建立在CloudFlare现有的机器人检测系统上，该系统已经允许网站阻止AI爬网，即使那些忽略了robots.txt协议的网站。使用CloudFlare的内部列表已知的AI机器人列表来识别这些刮板。
介绍“每次爬行”
作为其更广泛战略的一部分，Cloudflare还试行了“每次爬行”计划。该功能允许精选的一组发布者和内容创建者为想要刮擦其网站的AI公司设定价格。
人工智能公司可以浏览可用的定价，并决定是否注册并支付访问权限或拒绝并走开。根据Cloudflare的说法，目标是支持“使用正确的方式 – 允许和补偿”。
目前，此功能仅限于一组备受瞩目的发布者，但将来可能会扩展。
不断变化的在线出版的景观
自2023年以来，CloudFlare一直在开发工具以反对AI刮板。尽管早期的努力集中在机器人上。基于机器人的阻塞，最近的更新进一步发展 – 攻击不合格的机器人并添加新的威慑力量，例如将机器人路由到“ AI Mailyrth”中，以减慢它们的速度。
包括美联社，大西洋，财富，堆栈溢出和Quora在内的主要发行商支持Cloudflare的新越野限制。由于AI工具正在将流量从原始内容平台转移，因此这一转变源于上升。
Cloudflare首席执行官Matthew Prince在最近的Axios Live活动中说：“人们在过去六个月中更信任AI，这意味着他们没有阅读原始内容。”
网站所有者的透明度和控制
Cloudflare还与AI公司合作，更清楚地验证和标记其爬行者。现在将鼓励刮板披露其意图（无论他们收集用于培训，推理或搜索的数据），并且域名所有者可以在授予访问之前审查该信息。
普林斯在新闻稿中强调了在线保护原始内容的重要性。
他说：“原始内容使互联网成为上个世纪最伟大的发明之一，我们必须团结起来保护它。” “ AI爬行者一直在不限制的情况下刮擦内容。我们的目标是将权力放回创作者的手中，同时仍在帮助AI公司创新。”
Cloudflare的新政策反映了内容创建者与AI开发人员之间对数据的采购和货币方式的更大张力。通过使AI爬行者阻止默认和测试定价工具（例如PAR PER CRAWL），CloudFlare正在朝着基于同意的内容生态系统迈进，这是创作者决定如何以及何时使用其工作的地方。
对于已经将内容许可给AI公司（例如通过正式协议或合伙企业）的发行商来说，该政策可以作为额外的控制层。它使他们可以更有效地管理未经授权的刮擦，即使他们以自己的条件保持与AI公司的关系。
这种方法可能会改变训练大型语言模型的动态，以及平台如何结构访问高质量的人类生成的材料。对于出版商而言，这是在越来越多地由生成AI塑造的网络中收回控制和补偿的潜在途径。
随着Web发布的规则的发展，类似的工具表示向更负责任的互联网转变 – 创建者不仅发布了他们的工作方式，而且对他们的作品的使用方式也有发言权。
编者注： t他的文章是由Ainews.com的CMO Alicia Shapiro创作的，并由AI助手Chatgpt的写作，图像和创意支持。但是，最终的观点和社论选择仅是艾丽西亚·夏皮罗（Alicia Shapiro）的选择。特别感谢Chatgpt在编写本文时为研究和编辑支持提供的帮助。
评论0