400-0380-010
申请试用
免费预约演示
让我们的咨询顾问用最短 20分钟 的讲解,来帮助您
更高效的评估大数据+RPA
数据图谱与TDH擦出怎样的火花
发布时间:2021-06-15 浏览:1
介绍

TDH是国内首个全面支持Spark的Hadoop发行版,也是国内落地案例最多的商业版本,因此在国内的大数据平台领域,星环的TDH应用广泛。结合Transwarp Inceptor,可以很好的兼容完整sql,支持主流的SQL模块化扩展,兼容通用开发框架和工具,因此常见的数据库对象,包括数据库(database),表(table),视图(view)和函数(function),存储过程,包等都可以使用inceptor操作。

 


背景


和众多平台,数据库一样,TDH随着平台的代码量和数据量不断增多,代码的复用性,关联性,维护等等都遭受了很大的挑战,不管是数据目录还是字典文件,得不到有效的维护,那么对于新人的代码熟悉就不是很友好,而且随着项目人员变动,后期这些本该是资产的数据和代码,结果越来越遭人嫌弃,无人敢维护,报错无人能处理,因为很多已经看不懂其中逻辑,给项目的开发工作造成很大困扰。

 


问题解决


上述问题已经很明显,需要刻不容缓解决,作为常年同性技术论坛划水爱好者,找到了一款国内的数据图谱血缘分析软件。

已亲测该软件对于TDH的兼容性和实用性,以下为具体的操作步骤。

 

图片1 上午10


1.软件的登录首页,包含关键词汇表,数据目录,概览,以及一些标签和搜索框,非常简单。

名词

注释

词汇表

固化的标准定义名词,作为统一口径的业务术语注释表

数据目录

元数据管理服务目录,提供资产清单和元数据信息,数据图谱的主要功能

 

以下为TDH元数据导入数据图谱,并查看血缘关系的具体流程。

 

图片2


 

2.通过导入对应的元数据信息,包括源表的ddl,代码逻辑

 

图片3


3.选择hive,然后输入对应的信息,点击下一步。

 

图片4


4.通过上传之前整理的元数据信息,包括表结构和代码逻辑,然后点击运行,等待一点时间

 

图片5


5.数据正常导入成功,通过数据目录即可正常查询,包括db,table,column多个维度。

 

 

 

DB级:

 

图片6


Table级:

 

图片7


 

 Column级:

 

图片8

图片9

 

当然也支持各种各样的过滤条件,可以根据自己的实际需要,筛选需要的逻辑关系。

 


题外话


这个工具不管是对数据库级别的比如oracle、mysql、postgresql、sql server、hive等等还是对excel、java、python、tableau、etl等非数据库元数据都可以解析,当然后续的功能都在测试中,实乃居家过日、代码开发的必备良药。