什么是结构化、半结构化和非结构化数据?

admin 2023年5月30日19:10:15评论50 views字数 1211阅读4分2秒阅读模式

什么是结构化、半结构化和非结构化数据?

文末整理了6个G的数字化资料包,欢迎领取下载

全文共960字,建议阅读3分钟

01

什么是结构化、半结构化和非结构化数据?

①结构化数据:指关系模型数据,即以关系数据库表形式管理的数据,结合到典型场景中更容易理解,比如企业ERP、OA、HR里的数据。

②非结构化数据:指数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种格式的图片、视频等。

③半结构化数据:指非关系模型的、有基本固定结构模式的数据,例如日志文件、XML文档、JSON文档、E-mail等;

02

延伸问题:要如何处理这三种异构数据?

1、针对多元结构化数据的融合,主要关注在数据的ETL处理以及时效性上:

①表结构不同,需要做到不同类型的字段映射

②假如要新增表字段的时候,需要新增列

③若有表字段需要进行二次处理规范,需要支持字段转换,比如公式或其他

④新增表设计时,需要保证三大范式,这里就不展开讲了,可参考:数据库三大范式

⑤数据同步的时效性,例如实时同步、半小时一次、或者一天一次、或者说是需要实时同步融合,这个要根据具体业务场景来确认。

2、针对半结构化、非结构化数据,因为数据分散,缺乏统一管理,需要借用专业工具

目前有两种方式来处理半结构、非结构化数据:

①提取半结构、非结构化数据中的关键信息,到结构化数据中进行二次利用,比较好处理的是半结构化(json、xml)、excel、csv,因为这种数据的结构比较统一。

②向word、PDF这种文件提取关键信息,假如是单个文本的话,市面上有些工具可能可以实现,但假如是大批量的话,可能就需要通过程序,去自定义一些正则表达式,去进行关键信息的提取。这种一般来说,因为格式不一致,以及用途不一致,所以程序自定义的比较多。

针对这种的话,会综合考虑数据价值和投入产出比,因为这部分的数据处理较为复杂。

若想提高投入产出比,可以使用例如FineDataLink这类专业工具,去支持结构化/半结构化数据的融合集成,面向ETL数据处理场景,也可以让数据编排更简单一些,提高数据的使用价值。

另外,如若这部分历史文件需要做到备份的话,会通过FTP或者SFTP将文件进行备份存储到文件服务器,进行文件业务分类、文件名、路径的统一管理,提供统一入口,通过权限管理的方式给到大家下载使用。

什么是结构化、半结构化和非结构化数据?

【END】
最后,感兴趣的公众号后台回复“资料”,我们整理了6个G数据平台、数据仓库、数据仓库、数据治理、企业数据化管理案例,供大家免费领取!

往期精彩推荐

数据仓库面临问题及发展的趋势方向

2022-11-24

什么是结构化、半结构化和非结构化数据?

什么是数据治理?定义、重要性和最佳实践!

2022-11-23

什么是结构化、半结构化和非结构化数据?

数据治理之指标体系管理

2022-11-18

什么是结构化、半结构化和非结构化数据?

从需求到上线——详解数字化系统生命周期全过程

2022-11-17

什么是结构化、半结构化和非结构化数据?

死磕了老半天,终于读懂了数据编织

2022-11-16

什么是结构化、半结构化和非结构化数据?

什么是结构化、半结构化和非结构化数据?

原文始发于微信公众号(商业智能研究):什么是结构化、半结构化和非结构化数据?

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年5月30日19:10:15
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   什么是结构化、半结构化和非结构化数据?http://cn-sec.com/archives/1762287.html

发表评论

匿名网友 填写信息