Web服务提供商CloudFlare已推出了一系列新的AI爬行者工具，例如AI Audit和Block AI刮刀和爬网。这些工具旨在使网站所有者，创建者和出版商更容易决定是否允许AI爬网访问其内容。在这方面，Cloudflare说：“当AI爬网访问网站内容时，所有CloudFlare用户都可以对其进行审核和控制。”
AI审核可以监视AI爬网的类型和特定活动。具体而言，AI审核从网站访问中收集的日志，并寻找与已知AI爬网的用户代理，并汇总了每个爬网的活动。它还将提供过滤器，以便网站管理员可以从特定来源看到AI爬网的活动。通过AI审核，网站管理员可以查看AI爬网的各种行为，包括访问的频率和访问的特定内容。此外，网站管理员还可以通过AI审核查看网站的“最受欢迎的内容”，以掌握相关内容在一定时期内被抓取的次数。
Cloudflare的博客文章说：“我们认为您应该知道为什么，何时以及多久爬行您的网站。使用此数据，您可以开始分析AI爬网访问您的网站的方式。透明此外，Cloudflare指出了“许多人工智能公司使用多个爬行者来完成不同的任务。这些差异很重要。从不同类型的爬行者中进行扫描会影响您的网站的流量或内容归因。“
另一方面，阻止AI刮刀和爬网工具允许网站经理一键阻止所有AI爬行者。关于这个工具，Cloudflare说：“此单键选项将根据Cloudflare维护的列表阻止已知的AI爬网访问者访问您的网站。透明阻止时，您和您的团队可以对接下来的内容做出更舒适的决定。”
据报道，如果网站管理员决定“不允许爬行，”它只需要保留阻塞AI刮板和爬网。如果您想允许某些AI爬行者有选择地爬网，CloudFlare还支持网站管理员这样做。管理员还可以创建规则喜欢“阻止所有AI爬行者，除了特定平台的爬行者S。”Cloudflare强调了这一点“除了应用这些新过滤器外，我们还建议客户考虑更新其服务条款以涵盖此新用例。“
值得一提的是，Cloudflare还宣布将于明年推出一个市场，使AI公司可以为网站内容的刮擦权付费。根据CloudFlare的说法，网站运营商可以将其网站放在这个市场上，如果AI开发人员愿意为其内容付费，他们可以为后者提供一个界面，用于刮擦网站内容以培训大型AI模型。
