(资料图)

网易云音乐开源了曙光埋点 dawn

K8s+gRPC云原生微服务开发与治理实战

download：https://www.zxit666.com/5859/

一个跨多端的全链路埋点处理计划，旨在结构一个圆满的数据理想国。曙光埋点发明性的提出了埋点虚拟树（VTree），并在此根底上完成了诸多才能，处理大前端侧埋点艰难、精度差、不稳定、质量不高的问题，并且设计一套完好的端侧全链路追踪才能，圆满助力大数据用户画像、实时归因/离线归因剖析、漏斗剖析、大数据引荐场景。曙光埋点从埋点设计、到大前端(iOS、Android、H5、RN等)开发、以及埋点校验&稽查、再到埋点数据运用的全链路效劳，让客户端的埋点变得真正的好用。目前曾经普遍应用于云音乐各个主要APP。行业难点&痛点埋点开发本钱高：端侧埋点开发，常常是逐一坑位停止，坑位上大量且反复的参数，开发本钱昂扬；埋点精准度低：资源曝光埋点，复杂度高且准确低，短少全站统一的曝光战略；埋点模型不稳定：mspm以及x-path方式的埋点，单独坑位以及自动坑位计划，很难保证埋点模型的稳定；链路追踪才能弱：端侧没有链路追踪才能，常常需求借助数据侧对离线数据停止复杂剖析得来，本钱高；埋点质量管控难：从设计、开发，再到考证、以及上线，QA人力来保证本钱大、收益小。特征高性能虚拟树：曙光埋点提出了埋点对象和虚拟树（后面称VTree），view声明成一个对象，原始view树高性能的导出一颗VTree，VTree构建了我们整个曙光埋点计划的基石；埋点内容构造化：借助于VTree，我们的埋点内容是构造化的，是具备自我描绘才能的，自然具备了上下层级关系，继而做到埋点内容承载坑位、内容、上下层级关系，从而得出有意义的、稳定的spm（Super Position Model）以及scm（Super Content Model）；全站统一的曝光战略：跨多端统一的资源曝光战略，做到所见即曝光开端，不可见即曝光完毕，大大减轻了开发人员的开发本钱和出错几率；全链路追踪才能： 端侧强大的链路追踪才能，100%可追踪用户日志的操作链路关系，圆满助力大数据实时归因剖析、离线归因剖析、漏斗剖析、大数据引荐场景，做到不限深度，不限广度的数据剖析才能；完好的埋点迭代管理：强大的埋点迭代管理平台，特地承载互联网app快速迭代场景，完好管理历史记载和多版本并行；多机制的埋点质量保证：线下埋点校验做到开发埋点免去了QA人力，同时保证了埋点上线质量；线上数据稽查保证以全自动的方式发现线上埋点问题；全平台掩盖：掩盖iOS、Android、RN、以及站外内H5，而且极易的可扩展Flutter、weex等其他平台。更多信息能够参见文章 云音乐曙光埋点：复原数据理想国

运用曙光曙光埋点掩盖了iOS、Android、H5、RN，以及埋点管理平台（easyinsight平台），BI剖析师在埋点平台设计埋点VTree，端侧开发人员以极低的开发本钱、声明式的开发方式导出VTree，分离easyinsight平台的上线前埋点校验以及线上数据稽查，即进步了开发效率，又保证了埋点质量。愈加细致的曙光埋点运用，参见 曙光埋点-文档行业比照曙光 与 x-path系列x-path系列方式的埋点，比拟有代表性的是Mixpanel(游戏)、GrowingIO、网易HubbleData、以及美团，主要特性是强化无痕埋点，埋点坑位后关联，数据后处置；适用的场景主要是一些UI复杂度低，比拟固定的场景，这样能够使得从view原始树生成x-path，用来独一标识一个埋点坑位变得可行。比方典型运用场景是按钮的点击、页面的曝光等场景，对高精度的资源位曝光有些无力。其中美团在自有动态化计划业务场景做可视化埋点，曙光目前也在H5活动场景支持可视化埋点。但是缺陷也很明显，就是不适用复杂业务场景，埋点模型不稳定，关于埋点质量请求特别高的业务来说无法运用该计划。埋点坑位后关联，数据后处置，本钱也很大，运用也诸多不便。功用曙光x-path系列VTree可视化支持（贯串全流程）无可视化埋点支持H5支持（美团）埋点内容构造化层级化 & 可高度定制平铺（参数冗余、信息量少）埋点模型稳定(spm&scm)高度稳定低（后关联）端侧开发本钱普通（声明式）低全链路链路追踪强大（统一范式）普通（依托大数据后处置）全平台统一的曝光战略抹平列表&非列表；全平台统一；弱化曝光埋点埋点校验&数据稽查强大（可视化校验 & 线上稽查）弱曙光 与 坑位mspm系列坑位mspm系列的埋点计划，是目前行业内大多数公司采用的计划，比方腾讯、字节、快手、美团、以及早期的云音乐；该计划埋点坑位独立，常常经过机器生成的 mspm 字符串来标识埋点坑位，但是通常mspm都是无意义的字符串。这个计划可灵敏顺应各种复杂业务场景，并且依托大公司强大的大数据才能，也能够完成很不错的漏斗剖析、数据归因等才能。但是客户端开发/维护本钱高，特别是资源位曝光埋点，做不到端内列表、非列表战略统一，更做不到全平台战略统一，完成起来又比拟艰难，这也是最容易产生bug的中央。由于端侧不参与链路追踪，准确归因才能大数据侧比拟艰难，没有统一范式来统一处置。

功用曙光x-path系列VTree可视化支持（贯串全流程）无埋点内容构造化层级化 & 可高度定制平铺（参数冗余、信息量少）端侧开发本钱普通（声明式）低全链路链路追踪强大（统一范式）普通（依托大数据后处置）全平台统一的曝光战略抹平列表&非列表；全平台统一；弱化曝光埋点曝光埋点高精度高精度（处置遮挡）弱埋点校验&数据稽查强大（可视化校验 & 线上稽查）弱曙光 与 四段式spm四段式spm是在坑位mspm系列的根底上，赋予spm层级关系（站点.页面.区块.区块内）信息，阿里大量运用该计划，早期云音乐也做过这方面的尝试；该计划让埋点坑位有一定的意义，在埋点管理过程中也愈加便当一些。但是四段式也就限定了方式，灵敏度降低，也短少端侧明白的VTree构造，关于埋点稳定性、埋点校验/数据稽查、埋点内容构造化，都有一些才能局限。功用曙光x-path系列VTree可视化支持（贯串全流程）无埋点迭代管理可视化、适用迭代并行普通埋点内容构造化层级化 & 可高度定制平铺（参数冗余、信息量少）端侧开发本钱普通（声明式）低全链路链路追踪强大（统一范式）普通（依托大数据后处置）全平台统一的曝光战略抹平列表&非列表；全平台统一；弱化曝光埋点曝光埋点高精度高精度（处置遮挡）弱埋点校验&数据稽查强大（可视化校验 & 线上稽查）弱云音乐落地由于曙光埋点能够带来的这些益处，截止到目前为止，云音乐APP曾经全面拥抱曙光，掩盖简直全部的P0/P1业务场景，从双端客户端、H5、RN等，到数仓、大数据引荐等，曾经全数切换到曙光。依托于稳定的VTree构造，以及强大的埋点校验&埋点数据稽查，QA人力已完整释放，数据相关Bug也大幅降落，曾经很长时间没有呈现过由于资源曝光不准确而招致的数据问题了。