一文详解设备ID的那些事儿(2024)

RTB Haran 5年前 (2019-07-16) 15860次浏览 2个评论

更新时间:2023年12月25号 

不同的设备终端识别的人方式不同,基本原则都是通过尽量通过各种唯一的ID去作为人的唯一标识,具体如下:

Web

Web是网络最早的终端,早期的识别是基于有什么,能获取到什么?

IP

IP、Internet Protocol、互联网协议地址,是分配给用户上网使用的网际协议的设备的数字标签。

IP的“唯一性”使得曾被作为用户的唯一标识,但由于后来网络环境的复杂,使得IP唯一标识的特征被弱化,如同一家公司的是一个IP出口访问互联网,但是很多人在使用;动态IP和IP偏移使得IP识别用户的准确度大大下降,另外,各国政府立法将IP作为PII信息使得整个信息变得很敏感,国外的由于用户隐私法律法规等因素,都不提供IP维度的数据。

但目前国内的百度统计仍然提供IP这个维度的数据,国内的用户群喜欢了IP这个维度,但是不依赖于IP识别用户的,百度统计是通过访客标识码识别用户,百度统计根据访客的访问设备、系统环境、cookie等参数生成的一个用于识别唯一访客的标记。

常见的IP地址分为IPv4与IPv6两大类:

  • IPv4:Internet Protocol Version 4、网际协议版本4/互联网通信协议第四版。IPv4使用32位(4字节)地址,因此地址空间中只有4,294,967,296(232)个地址。不过,一些地址是为特殊用途所保留的,2019年11月26日,全球所有43亿个IPv4地址已分配完毕。
  • IPv6:Internet Protocol Version 6、互联网协议第6版,IPv6从2003年出现到现在十几年了都没有大规模,国内的普及率百分比还是个位数,最近几年都不会有太大改观的,主要有这么几个原因:IPv4的IPv6两个协议是互不兼容的两个IP通讯协议,需要大量更换设备;NAT的使用释放了IP地址,一定程度上缓解;IPv6的底层加密会导致现有很多体系失效、如底层劫持、IP资源售卖。

MAC Address

MAC、Media Access Control、MAC地址/媒体存取控制位址/物理地址/硬件地址

MAC地址由网络设备制造商生产时写在硬件内部,它是一个用来确认网络设备位置的地址,每个网卡都需要并会有一个唯一的MAC地址,理论上MAC地址是可以是唯一的,理想状态下是可以的,但MAC地址是可修改的。

例子:00-16-EA-AE-3C-40

Cookie

Cookie是能够让网站服务器可以从客户端存储或读取少量数据的一种技术,一般以小文件的形式存储,可以实现个人信息的记录,是的web的访问是连续性的,简单的就是原有的互联网是无状态的,你访问A页面后访问B页面,服务器是不知道是同一个人,但有了Cookie就知道了。

在Web发展初期的时候,浏览网页只涉及一系列独立页面的获取,浏览器请求服务器,服务器返回响应。但是当浏览器下次请求这个服务器时,服务器并不知道已经浏览器请求过它,这被称作HTTP无状态

Cookie能够很好的解决HTTP无状态的问题,但是这项技术因的隐私安全问题也带来很多争议的,但毫无疑问,Cookie是精准营销的基础。

Cookie可以分为第一方cookie和第三方cookie:

  • 第一方cookie:第一方cookie是你浏览器访问的站点域名和生成的cookie的主域是一样的,如你访问www.ichdata.com,生成一个属于ichdata.com的,那这个就是第一方cookie。目前Safari的有效期是7天,Chrome的Firefox的的有效期将限制为400天。
  • 第三方cookie:第三方cookie是你浏览器访问的站点域名和生成的cookie的主域是步一样的,如你访问www.ichdata.com,生成一个baidu.com的cookie,那这个就是第三方cookie。第三方cookie常用广告的监测跟踪,但由于ITP、ETP和Chrome的第三方cookie政策等因素,目前第三方cookie是报废的节奏。

Cookie是最适合作为用户识别,但目前也面临各种问题,如浏览器隐私状态访问,ITP规则的升级,ETP、欧洲GDPR的实施……对现有的以第一方Cookie作为用户标识的跟踪体系造成了巨大的挑战。

 

Wap/H5

Web的

Wap/H5是由Web演变未来,所以Web原有的一些跟踪体系在Wap/H5是适用。

 

浏览器指纹

WAP除了具备WEB的识别方式,还多一种识别方式,那就是浏览器指纹,浏览器中有多个特征信息,将这些信息综合分析计算后,可对客户端进行唯一性识别,进而锁定、追踪。设备指纹现在被很多互联网反欺诈公司拿来作为用户特征识别的方法,也被一些广告公司用来跟踪用户数据。

 

一文详解设备ID的那些事儿(2024)

  • 使用苹果系统的是5.5%
  • 使用Chrome浏览器的是54.2%
  • 使用v87版本的是21.47%
  • 时区是UTC+8的是1.47%
  • 语言是en的是87.18%

几个相乘后是我的概率是0.00008202%,是很小概率,如果有另一条记录也是类似的,那么很可能就是我的,这样就识别到我了。

浏览器指纹分为普通指纹、高级指纹、硬件指纹和综合指纹。

  • 基本指纹:基本指纹是指浏览器具有的特征标识,如浏览器中的插件,字体,UA头文件,位置设置,时区设置,防追踪选项是否打开,是否开启了广告拦截等可以标识用户的信息,这些我们称之为基本指纹。
  • 高级指纹: 高级指纹是指通过H5的高级技术来实现的,利用硬件和软件的差异生成不同的哈希值作为标识,如Canvas和AudioContext。Canvas的原理是相同的HTML5 Canvas元素绘制操作,在不同操作系统、不同浏览器上,产生的图片内容不完全相同,也就是基于各种因素生成一个唯一的对应的hash值,这个就是用户标识,你可以访问https://browserleaks.com/canvas 去看看自己的标识。
  • 硬件指纹:硬件指纹就是获取硬件的一些信息作为用户特征,如CPU,GPU,摄像头,GPS……逻辑类似基本指纹,但硬件的重复率较高。
  • 综合指纹:综合指纹就是综合应用前面的几种指纹技术去匹配或生成唯一的标识符,降低重复率。

 目前Canvas是使用最多的,很多网站在使用的,但是由于影响指纹的参数有很多,所以稍微有一点差异会导致hash值不同,另一个就是目前有些浏览器已经关注到Canvas隐私保护问题,已经屏蔽了Canvas,使用的时候需要用户授权。

所以目前并不能替代Cookie,可以和Cookie结合使用,如果用户屏蔽了Cookie,那么用Canvas指纹。

 

IOS端

IOS是一个封闭的生态环境,你能用什么ID去作为唯一标识符取决于苹果开放了什么。ID体系可以分为应用级别和系统级别,要跟踪需要使用系统级别的,长期不变的一个ID。

应用级别

UUID

UUID、Universally Unique Identifier、通用唯一识别码

UUID是一个32位的十六进制序列,格式如8-4-4-4-12 。

UUID是基于程序识别用户,当程序被卸载或重装后,获得UUID是不同的,但可以通过keychain去存储可以确保程序重装的时候UUID不变,但当刷机或升级的时候,UUID还是会改变。

  • 例子:550e8400-e29b-41d4-a716-446655440000
  • 开始使用时间:iOS 5
  • “弃用”时间:iOS 6

IDFV

 IDFV、Identifier For Vendor、应用开发商标识符

根据vendor的值,如果vendor相同,则返回同一字符串;如果vendor不同,则返回不同的字符串。Vender是指应用提供商,就是开发者。适用于对内分析用户在应用内的行为等。

  • 示例:95955F33-BFBD-48BA-A630-866D2DAE482D
  • 开始使用时间:iOS 6
  • “弃用”时间:—

        

系统级别

DEVICE_ID(基于设备硬件)

  •  IMEI、全称是International Mobile Equipment Identity、国际移动设备识别码,用于在移动电话网络中识别每一部独立的手机等移动通信设备,示例:868331011992179,相当于移动电话的身份证。早期的苹果是可以通过IMEI作为用户标识的,但是在iOS5以后就不是了,曾经发生过有手机厂商将整批手机都是用同一个IMEI的的情况,现在已经获取不到了。
  • MAC、全称是Media Access Control、硬件标识符,MAC包括WiFi mac地址和蓝牙mac地址,示例:00:0C:29:01:98:27。iOS 7 之后被禁止,13年9月份iOS7的发布,苹果又采取别的措施,获取到的Mac地址在iOS7上都是相同的值,并且对剪贴板进行限制,同时禁止的还有Open-UDID。
  • UDID、全称是Unique Device Identifier、设备唯一标识,它由40个字符的字母和数字组成。非唯一,可修改,示例:bb4d786633053a0b9c0da20d54ea7e38e8776da4,2013年5月禁用,iOS7中已经完全的禁用了它。iOS7之前的使用了的app如果在iOS7上运行,它不会返回设备的UDID,而是会返回一串字符串,以FFFFFFFF开头,跟着identifierForVendor的十六进制值。
  • Open-UDID,设备的识别码,示例:bb4d786633053a0b9c0da20d54ea7e38e8776da4,每台iOS设备的Open-UDID是通过第一个带有Open-UDID SDK包的App生成,不同APP之前可以通过剪贴板复制黏贴传递。 在iOS7的时候被禁止。
目前市面上,只要你浏览网页就能够获取你的手机号码的,就是通过设备ID去匹配的,这类都是灰色领域,侵犯用户隐私和个人信息,上了2022年的315的。

IDFA

IDFA、Identifier For Advertising、广告标识符。

2012年,为了避免使用MAC和UDID等信息以为用户隐私惹上麻烦,苹果在iOS 6 推出了IDFAIDFA是移动设备ID的一种,在不触及用户个人信息的情况下,可帮助开发者更好地运行App内置广告,包括追踪和识别用户等,从而帮助品牌推送个性化的广告内容并获得广告收益每一台苹果设备拥有一个IDFA,除非用户都对IDFA进行重置,否则IDFA保持不变并独一无二。

  • 例子:9C287922-EE26-4501-94B5-DDE6F83E1475
  • 开始使用时间:iOS 6
  • “弃用”时间:iOS 14.5,,iOS14.5在2021年4月26号推出,有国外的数据报告显示全球只有11~12%的用户允许跟踪APP,美国地区的更是低至4%。

            2020年6月,苹果在全球开发者大会上详细介绍了iOS14的隐私选项,对IDFA的权限做调整,将IDFA从 OS 层面移至 app 层面:iOS 14 之前,用户只需要一次授权,整个iOS设备,都会获得IDFA的授权从而可以跟踪用户,且默认是开启的,所有的APP都可以使用IDFA。而iOS 14 之后App在访问用户设备的IDFA之前,必须明确请求用户许可,简单理解就是以后IDFA的获取需要用户授权,可能会获取不到,详细的看iOS 14:苹果淘汰IDFA。

 

通用ID体系

其实很多的工具或平台很早开始就使用自有的ID体系的,所以不管Android Q和iOS 14的隐私规则调整,都对其没有影响,因为人家根本就不依赖与IMEI和IDFA去识别用户,但没有太高调说。

更多关于通用ID的内容可以看:于用户的归因模式——通用ID方案

一文详解设备ID的那些事儿(2024)

 

Android端

Android的由于限制没有IOS的严格,所以各种ID都可以用,但是各个手机厂家做了深度的定制和优化,又有各种限制的存在,导致的麻烦不比IOS的少。

除了IMEI和MAC是跟IOS一样的原理,Android还提供有DEVICE_ID,ANDROID_ID,ADID。

应用级别

VAID

Vender Anonymous Device Identifier,开发者匿名设备标识符

AAID

Application Anonymous Device Identifier,应用匿名设备标识符

AAID是跟应用绑定的一个设备标识符,只有该应用能够访问该AAID

AAID和已有的任何标识符都不关联,并且每个应用只能访问自己的AAID,且以下几种情况下,AAID的取值是不一样的:同一个设备上,同一个开发者的多个应用;同一个设备上,不同开发者的应用;不同设备上,同一个开发者的应用;不同设备上,不同开发者的应用。

如果被卸载、重置、重新生成,AAID都是不同的。

系统级别

DEVICE_ID(基于设备硬件)

  • IMEI、International Mobile Equipment Identity,国际移动设备识别码。Android Q 后禁止获取IMEI
  • MAC、Media Access Control,硬件标识符,Android Q后MAC 地址随机
  • SN、Serial Number ,设备序列号
  • UDID、Unique Device Identifier,设备唯一标识符
  • Open-UDID,第三方的ID体系
  • OAID、Open Anonymous Device Identifier,中文名是匿名设备标识符。

OAID是由中国信息通讯研究院号召,移动安全联盟(MSA)联合终端厂商(手机厂家)推出的团体标准,主要是为了加强对终端用户的隐私保护,应对Android Q(Android 10)操作系统禁止了非系统级应用对于设备识别码(IMEI、Device ID)的访问与获取,同时还默认配置WiFi Mac地址随机化,将导致开发者不能继续使用Device ID和WiFi Mac 地址作为设备唯一的标识符的影响,这是一个被动的产物。

OAID是一种非永久性设备标识符,最长64位。在应用安装时产生,每个应用都会产生一个特有的OAID,且只有该应用可以访问,也就是同一个公司的多个应用会有多个OAID,且都是不互通的。因此OAID可在保护用户个人数据隐私安全的前提下,用于向用户提供个性化广告,用户统计,同时三方监测平台也可以向广告主提供转化归因分析。

目前有些商业化的公司也推出类似的**ID,但是不具备权威性,有可能通通不过APP Store的审核,谨慎使用。

ANDROID_ID/SSAID

SSAID、Secured Settings Android Id。

ANDROID_ID在设备首次启动时,系统会随机生成一个64位的数字,并把这个数字以16进制字符串的形式保存下来,这个16进制的字符串就是ANDROID_ID。不同的设备,ANDROID_ID可能会相同;重置会导致ANDROID_ID不同。

GAID/AAID 

GAID/AAID、Google Advertising ID/Android Advertising ID、Google广告ID,是谷歌对标苹果的IDFA的一个东西,但是需要结合Google的其他产品来使用,由于大陆地区使用不了,所以获取不到这个ID,这个ID对大陆地区的废的。

 

 

 综上,Android转向使用OAIDAndroid和IOS实际上很多都在使用自由的ID体系。

 

OTT

OTT全称是Over The Top,是指基于开放互联网的视频服务,终端可以是电视机、电脑、机顶盒、PAD、智能手机等等,现阶段主要的就是电视了。

基于系统类型的原有ID体系

OTT设备都有系统的,所以它能用什么识别取决于使用的系统。

语音识别

另外,由于OTT设备上比较兴起的是语音交互,有些厂家就引申出声纹识别,通过用户的声音去识别,原理就是前面的高级指纹类似。

 语音在另一个使用比较多的领域是视频,很多视频领域会用于风控的,有些视频平台已经将这个应用于风控领域,避免版权侵权问题。

 

线下

Face ID

 人脸识别,目前已经有比较成熟的解决方案提供商的,可以用于线下智慧营销的数据采集,如在商超入口,店铺里面VIP到店提醒,人群分析,实现线下店铺智慧化营销和线上数据的打通,目前很多到店的商业模式都或多或少的使用了人脸识别,多个行业使用人脸识别在2021年的315中被曝光侵犯用户隐私。

一文详解设备ID的那些事儿(2024)

其实,人脸识别已经使用有段时间了,以广州为例,五六年前就有高校的人员进出是采用人脸识别,刷脸才能进出,这两年,甚至部分村或街道也采用刷脸进出,而这些都是高校或村街道通过第三方公司实现的,这些人脸数据存储、使用和监管完全是缺失的。

而国外是对隐私保护比较关注的,美国三大科技公司IBM、亚马逊和微软先后发表声明,表示将限制人脸识别技术使用范围,直到国会立法部门出台联邦层面的法律对人脸识别技术的使用进行规范。

WiFi探针

wifi探针是一种可以记录附近mac地址的嗅探器,你手机打开 WiFi 后,不管你连没连上 WiFi。手机都会向附近的 WiFi 热点发送广播包,用来寻找周围的 WiFi 名字。如果对应的 WiFi 网络名和手机中的匹配,手机就会去尝试着连接。不管你最终连接不链接上 WiFi,只要你打开了 WiFi 开关,这一过程就会发生,这个过程 AP 就会获得你手机的 MAC 地址,可以根据收集到的mac地址进行数据分析或其他用途。

也有一些商业化的产品,如WiFi探针盒子可以获取一定范围内的手机MAC地址,只要你的手机开启了WiFi功能他就可以获取!获取到的MAC地址转换成IMEI号,再转换成手机号。“声牙科技有限公司”号称有全国6亿手机用户的个人信息,包括手机号,只要将获取到的手机MAC地址与公司后台的大数据匹配,就可以匹配出用户的手机号码,匹配率大概在60%。

被315曝光后低调多了。

运营商信令

用户只要连接特定的基站或进入一定的范围,就可以感知到用户,能够能够给用户发送信息。这种运用最多的就是那种到了一个陌生的地方,手机会收到一条短信——欢迎来到某地或者某旅游景点或天气信息。

也有商场层打算做这方面的数据打通,但需要看当地的运营商是否提供这样的业务。

 以前有个业务叫“小区广播”,不合法的就是通过伪基站。

扫码

  • 微信扫码:微信扫码被获取到特定的数据用于打通。不容易获取,需要用户配合。
  • POS扫码:有POS可以将后台数据和微信数据打通,已经有商业化提供这类服务。

隐私保护集合交集(Private Set Intersection)

 这是保护隐私的一种技术,可以实现线下转化的数据打通,已经公司在这么做。具体的请看联邦学习:保护用户数据隐私

 

从现在看,人脸识别+线上身份ID匹配,辅以wifi感知技术+POS机数据是能有效解决线下用户识别的一种办法。


如有疑问,可以在文章底部留言或邮件(haran.huang@ichdata.com) 我~
喜欢 (20)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(2)个小伙伴在吐槽
  1. 几个相乘后是我的概率是0.00008202%,是很小概率,如果有另一条记录也是类似的,那么很可能就是我的,这样就识别到我了。看看你周围?请仔细想想可能吗?能想明白错在哪里吗?原理简单,实际不简单!
    guest2022-05-03 16:50 回复 Windows 10 | Firefox浏览器 99.0
    • Haran
      小概率事件,不代表没有,另一条出现类似的前提是:多个硬件条件都一致,本身就是小概率的了
      黄业忠2022-05-05 10:11 回复 Mac OS X | Chrome 100.0.4896.127