AIIData数据中台集成OpenMetadata开源项目,成功运行Hive数据血缘拾取任务,支持库级别+表级别+字段级血缘!
►顶部微信名片可直接添加市场总监商务咨询、方案沟通即时响应►点击链接了解详情马上加入开源社区获取资源https://docs.qq.com/doc/DVnhVemtBTHdDVHpsAIIData数据中台集成OpenMetadata构建元数据管理平台可快速对接Hive数据源自动抽取表级与字段级数据血缘关系全景还原数据流转全链路。通过统一企业元数据标准口径能够有效压降数据治理成本大幅提升数据溯源与故障排查效率。1、一键启动采集自动同步元数据、解析数据血缘基于 Hive 数仓架构搭建轻量化可视化配置界面只需填写集群连接与认证信息、选定库表类型即可一键启动全量采集任务自动完成元数据同步与数据血缘智能解析。2、专属采集适配方案保障生产运维稳定性针对 Hive 分层存储、分区迭代、批量计算场景配备增量分区采集、断点续跑、超时重试、异常告警四大能力适配线上常态化运维。3、全链路血缘可视化精准追踪数据流转脉络打通数据接入、分层加工、任务调度、数据输出的完整业务链路实现全流程血缘可视化呈现。支持直观查看数据上下游依赖关系、SQL执行明细、调度运行历史及完整采集日志。项目地址https://github.com/open-metadata/OpenMetadata文档地址https://docs.open-metadata.org/latest1、打开元数据管理平台在左侧菜单栏找到并点击【元数据管理平台】进入平台首页2、 打开设置页面点击服务顶部导航栏打开【设置】页面在设置功能面板中点击【服务】功能卡片进入服务配置列表。3、点击数据库点击【数据库】即可进入数据库相关配置界面后续可开展数据源新增、连接配置等操作。4、添加新服务点击添加新服务按钮打开数据源类型选择弹窗准备创建数据库连接服务。5、找到Hive选择下一步在数据源类型列表中选中Hive数据源类型确认后点击【下一步】进入基础信息填写页。6、填写服务名以及描述下一步自定义填写当前Hive服务名按需补充备注描述信息核对信息无误后点击【下一步】。7、输入数据库连接信息测试连接填写Hive 数据源账号、地址端口、认证模式、库名、SSL、元数据连接等参数配置完成后测试连通性。8、测试连接下一步若弹窗提示连接成功代表数据库网络、账号密码、参数配置无误直接点击【下一步】进入高级配置页面若连接失败排查 IP 端口、账号权限、防火墙、驱动配置问题后重新测试。9、默认配置Save若无指定库、表过滤需求高级配置保持系统默认配置确认全部配置信息后点击【Save】 按钮完成Hive数据源服务创建提交。10、服务创建完成完成 Hive数据源服务创建可查看服务归属域、所有者、分级信息展示代理运行状态与平台治理指标覆盖情况。11、拾取自动开始等待拾取完成选中刚创建的Hive数据源服务点击【触发AutoPilot】按钮可立即启动元数据拾取如需长期自动同步点击【添加代理】配置定时采集任务等待拾取任务运行完成即可加载完整库表资产与数据血缘。11.1 如果没有任务出现点击刷新按钮12、拾取完成元数据代理 Metadata Agent执行状态为Success 即拾取完成Hive的库、表、字段全量基础元数据已同步至平台。13、查看数据血缘元数据拾取完成后即可基于当前Hive资产查看上下游数据流转关系逐层查看库、表级血缘链路。13.1 库13.2 表13.3 数据血缘