[营销星球]魏战松丨魅族-魅族数据治理探索之路

魅族技术学院出品魅族数据治理探索之路魏战松魅族技术学院出品大纲01?数据治理中遇到的问题02?元数据管理及应用03?质量标准与评价04?未来规划魅族技术学院出品大纲01?数据治理中遇到的问题魅族技术学院出品问题背景80+业务线Hadoop+Spark+Hbase+Hive+TEZ……技术栈调度平台、自助分析平台、机器学习平台、权限……计算平台>70TB日新增数据量每年4~6x增长魅族技术学院出品面对的问题这个表有没有其它地方用到？ETL人员今天的xx指标怎么不正常？数据怀疑？存储不够了，哪些数据可以清理？运维小哥业务分析人员魅族技术学院出品要治理什么样的数据?空值、超限值?违反业务规则定义?数据波动异常?相关性指标异常?数据重复?僵尸数据?数据来源不清晰?数据影响无法评估?数据缺少描述、标记数据无关联数据冗余数据不合法数据不正确魅族技术学院出品数据治理方案元数据管理数据质量管理?指标定义?模型管理?血缘追踪?影响分析?数据标准?规则校验?数据监控?质量分析1.数据无关联2.数据冗余3.数据不合法4.数据不正确魅族技术学院出品数据治理架构图质量评价流程管理元数据管理数据质量管理Atlas调度平台权限系统统计分析平台统一接口平台数据治理平台魅族技术学院出品大纲02?元数据管理及应用魅族技术学院出品什么是元数据？魅族技术学院出品元数据种类?技术元数据?业务元数据基础平台?HDFS?Hive?Hbase?Spark计算平台