OLAP场景下大数据领域技术发展趋势

1 OLAP场景,共同特点

  • 绝大多数是读请求
  • 数据批次更新,而不是单行更新
  • 已添加到数据库的数据不能修改
  • 对于读取,从数据库中提取相当多的行,但只提取列的一小部分,列存储
  • 宽表,即每个表包含着大量的列
  • 查询相对较少(通常每台服务器每秒查询数百次或更少)
  • 事务不是必须的,对数据一致性要求低
  • 查询结果明显小于源数据。数据经过聚合运算后可放入单个服务器的RAM中

2 发展趋势
step1

hive  hbase hdfs yarn hadoop zookeeper  kafka 

step 2

spark tensorflow  mongoDB eleasticsearch redis

step 3

kudu  druid heron flink

step 4

Iceberg  hudi  clickhouse deltalake

3 部分技术栈优缺点,后续持续总结ing
ck:
对于雪花模型,星型模型的支持很差,不支持hashjoin 也就是宽表模型适合它的场景。 伪分布式表。 不可否认用户行为分析,标签大款表确实它的强项,但是宽表的弊端本身很多。大表join困难。
hive:
更新困难、拉链表的操作痛彻心扉

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐