更新时间：2024年7月14号
这一节来介绍什么是IAB/ABC列表。
它是什么？
IAB爬虫和机器人列表可帮助公司识别自动化流量，例如搜索引擎爬网程序，监视工具以及其他他们不想在其分析和可计费计数中显示的非人为流量。此外，使用行业标准列表（例如“爬虫和机器人”列表）可减少各方之间的差异，并达到根据“ 无效流量检测和过滤准则”检测一般无效流量的要求。
这个列表里的都是已经验证是爬虫或机器等无效流量。
如何订阅
尽管会员可以享受折扣，但你不必成为IAB的成员即可订阅该列表。要订阅该列表，请遵循以下概述的“如何访问”步骤。从注册之日起，订阅持续12个月，并通过FTP提供访问。在收到付款和签署的数据订阅协议之前，无法访问该列表。
按年付费，会员和非会员都可以购买，但折扣不同。
电子邮件spiders@iab.com并要求由Spiders and Bots团队开发票。每个订阅公司仅授予一个帐户登录名。通过电子邮件发送要求发票时，请务必提供：
- Spiders and Bots 数据订阅协议的签名副本 。请注意，由于这些条款不可协商，因此我们不接受这些协议的红线。
- 你的应付帐款联系方式。
- 贵公司主要联系人的电子邮件地址，该联系人将收到有关您的《爬虫与机器人》订阅的所有通信。如果团队将访问列表，我们建议你使用电子邮件别名。
- 如果你的公司需要采购订单，也请提出要求。
从Spiders and Bots团队收到发票后，必须先付清发票，并签署并退还数据订购协议，然后才能通过FTP访问下载列表。如果发票中的任何一个都不完整，访问将被撤销。
订阅期限为一年，可让你访问：
- 蜘蛛和机器人检测与过滤的行业领导者
- 审核媒体联盟和IAB支持
- 有关使用蜘蛛和机器人列表的最佳做法的综合指南
价钱
- IAB普通会员：$ 5,000
- IAB Tech Lab会员：$ 5,000
- IAB准会员：$ 7,500
- 非会员：$ 15,000
提交新发现的爬虫与机器人
IAB要求订阅者提交他们发现的任何新蜘蛛和/或机器人，并且应尽可能频繁。包括非IAB成员在内的任何实体均可建议对列表进行修改。该列表将每月更新一次，以反映已引起审计媒体联盟，ABC UK和政策委员会注意的更改。
关于国际IAB / ABC蜘蛛与机器人名单
IAB已聘请受审核媒体联盟来执行与维护和发布行业蜘蛛和机器人列表相关的评估和管理服务，必须使用该列表才能符合IAB的“双重通过”客户端计数（CSC）衡量准则”过滤。我们还成立了蜘蛛与机器人政策委员会，以监督和批准列表修改（请参见下面的列表）。
爬虫和机器人政策委员会（截至2024年1月1日）
- Richard Gibbons, ABC UK
- Martin Liljenback, Adobe
- Katrina Eddy, Alliance for Audited Media
- Todd Martens, Alliance for Audited Media
- João Matos, Criteo
- Thomas Kent, Extreme Reach
- Matthew Katz, Freewheel
- Breen Baker, Google
- Zhong Wang, Google
- Michael Smith, Hearst
- Jill Wittkopp, IAB Tech Lab
- Saif Jafri, Yahoo
更新的信息请联系：spiders@iab.com
一般无效流量数据（GIVT List）
相应的，国内也有一个类似的产品，叫一般无效流量数据，数据内容包括：IP地址黑名单、IP地址白名单、Device ID黑名单、Device ID白名单。由中国广告协会认证发布，是中国唯一的行业级“一般无效流量数据”。
也是付费的，每月都会更新，有兴趣可以访问：china-caa.org/digital/givt/detail
来源：https://iabtechlab.com/software/iababc-international-spiders-and-bots-list/
