浅谈大数据处理平台业务流程
浅谈大数据处理平台业务流程前言大数据平台业务流程1.数据仓库2.数据抽取(ETL/DataStream)3.数据展示前言随着网络的不断发展，信息化对于企业尤为重要。数据在网络中乃是重中之重。大数据平台业务流程1.数据仓库建立数据仓库优秀软件大数据数据库：Cassandra、HBase、MongoDB、Hive、ClickHouse等2.数据抽取(ETL/DataStream)将数据从各式各样的数据
·
浅谈大数据处理平台业务流程
前言
随着网络的不断发展，信息化对于企业尤为重要。数据在网络中乃是重中之重。
大数据平台业务流程
1.数据仓库
- 建立数据仓库
- 优秀软件大数据数据库：Cassandra、HBase、MongoDB、Hive、ClickHouse等
2.数据抽取(ETL/DataStream)
-
将数据从各式各样的数据来源中抽取到数据仓库
- 非结构化方式：Excel、Data、CSV等
- RMDBS数据库：MySQL、postgreSQL、Oracle、人大金仓、IoTDB等
- 列式存储数据库：Cassandra、ClickHouse、HBase等
-
数据清洗，空数据、非法数据等
-
数据处理，加密、脱敏、计算、拆分、合并等
-
数据入库
3.数据展示
将数据仓库中的数据 通过BI、智慧屏、WEB大屏、硬件大屏等进行展现。
技术共进，成长同行——讯飞AI开发者社区
更多推荐
1
0- 0
已为社区贡献4条内容
所有评论(0)