说明:本文翻译自This is a security data lake[1]规模、节流和分析的前景使安全数据湖成为关注的焦点。但在评估SIEM自带存储选项之外的存储选项时,需要注意一些潜在陷阱和问题...
Apache Iceberg 中引入索引提升查询性能
动手点关注干货不迷路Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evo...
Apache Iceberg,值得我们重点关注
在数据团队的手中,云数据正快速汇聚壮大,并以合理的成本得到存储,由此给数据湖、数据网格及其他现代架构的种种新型分析用例打开了大门。但对于规模极大的数据集,常规云存储也往往力有不逮。这时候,Apache...
Glacier:OPPO智能湖仓服务底座
01 前言沉寂已久的大数据技术圈,因为数据湖的概念变得热了起来,一时间,数据湖,湖仓一体,智能湖仓,众多概念如雨后春笋。数据湖用来存储和处理大量结构化、半结构化和非结构化数据。提供更灵活的数据组织,与...
Arctic 基于 Hive 的流批一体实践
背景随着大数据业务的发展,基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面 Hudi,Iceberg 这类系统在事务性,快照...
基于Flink的高可靠实时ETL系统
GIAC(GLOBAL INTERNET ARCHITECTURE CONFERENCE)是长期关注互联网技术与架构的高可用架构技术社区和msup推出的,面向架构师、技术负责人及高端技术从业人员的年度...