字节跳动DataLeap数据血缘实践( 三 )


(3)时序血缘
时序血缘也是字节内部的考虑点 。目前血缘信息图数据库相当于是对当前血缘拓扑的一次快照,其实血缘是会变化的,比如用户在修改一个任务的时候,上线任务变更或是修改表结构,然后对应的修改自己生产任务的时候,涉及到时序的概念,这个时序可以方便我们去追溯一些任务的变化,支持我们去做事前事后影响分析,所以时序血缘如何在图数据库中引入也是未来的一个趋势 。
2. 数据血缘的应用趋势
(1)标准化
前文提到很多应用场景的底层能力都是通过接口来获得,获得接口的数据也涉及到应用的标准化,标准化的应用可以让我们移植到更多的业务上,提供更好的血缘数据分析帮助 。
(2)端到端的血缘打通
另一个应用趋势是端到端的血缘能力,现在平台主要接入资产节点,端到端则会涉及到更上游,如 App 端和 Web 端采集的数据,或者是下游报表,以及 API 之后最终的节点 。在血缘收集中,这部分信息目前缺失,端到端血缘打通将是未来应用上的趋势之一 。
3. 云上的全链路血缘能力
在字节跳动内部,血缘能力会进行上云,云上涉及各类数据类型,因此血缘发展方向之一是把各类异构数据类型统一接入,并且支持云上用户来自定义接入新类型血缘 。
同时,当数据应用标准化之后,也可以把血缘应用提供给云上用户,云上用户也可以反向加入到血缘应用的开发中,最后把数据血缘模型作为一种标准来推广,由此衍生出更好的血缘应用、血缘服务生态 。
本文源自:“大数据技术与架构”公众号
卡奥斯开源社区是为开发者提供便捷高效的开发服务和可持续分享、交流的 IT 前沿阵地,包含技术文章、群组、互动问答、在线学习、开发者平台、 平台、低代码平台、开源项目等服务,社区使命是让每一个知识工人成就不凡 。
【字节跳动DataLeap数据血缘实践】官网链接:.—打造工业互联网顶级开源社区