随着大数据处理需求的不断增加,更低成本的存储和更统一的分析视角变得愈发重要。数据仓库作为企业核心决策支持系统,如何接入外部数据存储已经是一个技术选型必须考虑的问题。也出于同样的考虑,ByConity ...
Arctic 基于 Hive 的流批一体实践
背景随着大数据业务的发展,基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面 Hudi,Iceberg 这类系统在事务性,快照...
互联网场景下基于拉链表的全量表极限存储优化方案
本期作者董子平哔哩哔哩资深开发工程师负责B站主站数仓团队社区、数据安全运营,专注于数据仓库、数据安全的落地、应用和推广。01 背景2020年以来,半导体生产不足,这个问题困扰着全世界。互联网企业高度依...