无效流量(Invalid Traffic)

关于无效流量有一个潜规则：所有的监测平台，第三方报告出的有关无效流量的报告都宣称无效流量占比30%左右，这是一个业内的共识，每家出报告都在这个范围。

无效流量定义和划分

什么是无效流量呢？

所有可能会虚增广告客户费用或发布商收入的点击或展示都属于无效流量，这其中包括蓄意制造的欺诈性流量，也包括误点击。

为了能够准确的评估数字广告投放的质量和效率，首先需要去除流量转化过程中产生的这些无效流量。根据中国广告协会的标准，无效流量(Invalid Traffic，IVT)被分为两类——GIVT 和 SIVT :

GIVT

GIVT 是 General Invalid Traffic 的缩写，即常规无效流量或一般无效流量，是指能够通过应用多种名单或标准化参数等常规方式进行过滤的流量。

GIVT之特点是可通过列表和预设参数特征进行识别，根据MMA中国，主要的范例类别包括：

• 非浏览器用户代理头或其它形式的未知浏览器带来的流量。
• 来自声明的机器人爬虫的流量
• 依据投放项目维度的参数设定，超出合理访问频度、访问时间间隔等目标设 定的流量已知的来自数据中心的流量执行了预加载、且没有指定加载后触发时间的流 量。
• 媒体方发起的对广告主提供的点击链接的定期例行检测流量
• 来自已知高危作弊来源的流量，依据预设列表判断
• 带有非法参数及字符的流量，包括通过伪造等非正常手段生成的唯一标识等 关键参数。
• 基本信息缺失或信息矛盾的的流量（例如缺失用户代理信息）

SVIT

SIVT 是 Sophisticated Invalid Traffic 的缩写，即复杂无效流量，这种类型的流量无法通过简单的规则识别 出来，一般需要通过高级分析，多方合作与协调，乃至人工干预等方法以及广告投放活动以外更大范围的数据信号才能分析和识别。

根据MMA中国，主要的范例类别有：

• 高度模拟真人访客的机器人和爬虫流量；
• 广告插件、恶意软件产生的流量
• 被劫持的设备产生的流量
• 虚拟化设备中产生的流量
• 被劫持的广告代码产生的流量；
• 广告伺服时故意隐藏、叠加，掩盖、自动刷新或使过程模糊 
• 通过作弊代理服务器产生的流量
• 以金钱补偿为动机的操纵测量数据行为
• 伪造的可见性曝光判定属性参数的流量 
• 篡改或重复使用窃取获得的Cookie信息的流量

已被定义为无效流量的曝光不能计入可见曝光。可见曝光测量机构会应用更多的技术在判断广告可见性的基础上增加对其是否属于无效流量的判别，并在报告中 将不可见曝光类别下的无效流量单独体现出来。

无效流量排除列表

行业提供的黑白名单适用于一般无效流量，但是是付费的，根据会员与否价格不同。

GIVT List

GIVT List叫一般无效流量数据，是由中国广告协会统筹指导，中国无线营销联盟（MMA中国）为组长单位，依据《互动广告 第2部分：投放验证标准》国家标准，由中广协无效流量工作组（Distributed Invalid Traffic Filter）认证和发布，是中国唯一的行业级“一般无效流量数据”，中广协说这个是它发布的，MMA中也说这个是它发布的。

数据内容包括：IP地址黑名单、IP地址白名单、Device ID黑名单、Device ID白名单。

数据实行月更制度，每月20日(遇非工作日顺延至下一个工作日)发布最新的数据文件，可通过本页面下载。

中广协倡导和建议使用此数据的企业，在当月28日01时正式在生产系统中应用此数据，以减少不同企业间使用的数据版本不一致问题。

IAB/ABC  List

IAB爬虫和机器人列表可帮助公司识别自动化流量，例如搜索引擎爬网程序，监视工具以及其他他们不想在其分析和可计费计数中显示的非人为流量。此外，使用行业标准列表（例如“爬虫和机器人”列表）可减少各方之间的差异，并达到根据“ 无效流量检测和过滤准则”检测一般无效流量的要求。

更多关于IAB/ABC List可以看IAB/ABC 国际机器和爬虫流量列表

GIVT List是国内的，IAB/ABC List是国际的，这类列表会有一个单独的委员会、有完善的机制用于无效流量的审议与发布。

两者的对比

我不确定百度是否有用GIVT。

如果有用的话，那么GIVT和IAB/ABC List两者的列表应该是很接近的，因为我之前曾拿Google Analytics 、Adobe Analytics和百度统计的监测同一个网站，然后拿数据做对比，GA和AA用的是IAB/ABC List，三者的数据很接近，详细的可以看百度统计、Google Analytics和Adobe Analytics的数据差异有多大？

所以我感觉过滤列表应该差不多。

使用建议

建议广告投放前基于无效流量数据预判数据结果进行做流量筛选，在广告投放中基于无效流量预判数据进行 做实时广告阻挡控制，即当广告无效流量概率较高或明确认定为无效流量时基于供需双方的合约做放弃、退还、跳过、替换等广告投放控制。

两种用法：投放前通常是做广告验证，投放中的是对流程做分析处理，通常的流程如上图所示。

报告要求

在提供无效流量报告时须注意以下事项:

确定为“常规无效流量”(GIVT)的广告展示数量应从总投放展示数中标记并在各主要细分维度予以数量上的排除, 并与报告更新周期同步提供数据。 


对于“复杂无效流量”(SIVT)的报告，出于鉴别的复杂性，需要至少在投放项目维度报告整体维度体现数据, 适当的数据延迟和判定调整是允许的， 
但最长滞后延迟不能超过14天。 


检测出的无效流量不应计入可见曝光。

审计要求

无效流量验证测量机构应接受第三方审计。审计范围应包括计数方法和过程处理/控制:


一般是美国媒体评级委员会（MRC）与中国媒体评估委员会（CMAC）审计的，如2017年，MRC和CMAC将一起对中国三家第三方数字受众测量服务商执行审计流程，包括精硕科技的TrackMaster，秒针的AdMonitor和尼尔森的Digital Ad Ratings（DAR），这是国内第一批接受CMAC审计。CMAC的认可度不高，国内厂家申请审计并不积极。

计数方法 


对定义周期内广告活动的独立审计。

计数法的程序一般包括基本过程的回顾和风险分析，了解测量方法，分析性复核、交易认证，过滤程序和测量重新计算验证。 活动审计可以在投放活动级别执行，验证与特定广告创意交付的活动，目的是用于性能测量。

定义了审计的粒度和流程，以及必要的计算环节。

过程与控制项 


过程审核包括检查网站或广告服务器是否应用足够的过滤技术。虽然审计报告可以每年发布一次，但一些审计测试应在一年内开展到一次以上，以确保内部控制项保持不变。审核报告应清楚说明基础审计测试所涵盖的时间段，以及由此产生的认证所涵盖的时间段。 



参考

• 中国广告协会GIVT列表
• MMA中国的《MMA中国无线营销联盟移动互联网广告无效流量验证标准V.1.0》