更新时间：2025年7月14号
这一节来介绍什么是IAB/ABC Spiders & Bots 列表。
IAB/ABC是什么？
IAB/ABC的全称是Interactive Advertising Bureau／Audit Bureau of Circulations (UK)。
IAB/ABC Spiders & Bots 列表是一份行业标准名单，用于识别 已知的网络爬虫（spiders）与自动化机器人流量（bots），它由 IAB（美国）与 ABC UK 合作，并由 The Alliance for Audited Media (AAM) 管理维护，里面包含一份“已知机器用户代理（User-Agent）或爬虫/机器人黑名单”，另一份“有效浏览器白名单（Valid Browsers）”
为什么需要这个列表
- 在网站分析、广告展示/投放、流量监测中，非人类流量（如爬虫、机器人）会 严重扭曲数据：例如虚假访问、重复请求、刷量行为。
- 使用该列表可以帮助剔除或过滤这些已知非-人类流量，从而提升数据准确性、公信力，以及广告/媒体交易的透明度。
- 在广告行业中，如英国的 JICWEBS 标准、美国 IAB 的曝光/计量指南中，过滤机器人流量是已推荐或要求的实践。
如何获取与订阅
由IAB Tech Lab 提供 “Spiders & Robots List” 的订阅，有需要可以联系spiders@iab.com。
按年付费，会员和非会员都可以购买，但折扣不同，具体价格如下：
- IAB普通会员：$ 5,000
- IAB Tech Lab会员：$ 5,000
- IAB准会员：$ 7,500
- 非会员：$ 15,000
列表的组成
- 机器人／爬虫黑名单（Exclude list）：已知的机器人 User-Agent 字串、IP 地址或 IP 区块。
- 有效浏览器白名单（Include list）：已知真实浏览器代理，可配合“双通（dual-pass）”逻辑使用。
- IP 排除名单（IP Exclusion List）：列出被识别为常见机器人/监测工具所使用的 IP 或网段。
更新频率与维护机制
- 列表每月更新一次（或每月 25 日之前）以反映新识别的爬虫／机器人。
- 维护由 IAB/ABC 与 AAM 共同负责，设有 “Spiders & Robots Policy Board” 监督修改流程。
- 用户（即订阅机构）可提交新发现的爬虫/机器人以供名单更新。
来源：https://iabtechlab.com/software/iababc-international-spiders-and-bots-list/
如有疑问，可以在文章底部留言或邮件(haran.huang@ichdata.com) 我~
