文章目录

有需要本项目的代码或文档以及全部资源，或者部署调试可以私信博主

项目介绍

本项目基于hadoop的社交媒体用户进行大数据分析，数据来源于微博用户信息，共计二十余万条，通过数据预处理之后，再将结构化数据上传到hadoop进行大数据分析，通过MapReduce执行系列分析语句，完成数据分析并通过sqoop将结果指标导出到MySQL，在利用Pyecharts进行连接数据源进行编程可视化，最终将可视化渲染为web界面，完成分析。

过程细节涉及过多，有大量的细致语法实现，需要仔细的推敲。

数据集展示

在这里插入图片描述

Hadoop脚本文件

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

可视化展示

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

每文一语

成长在于不断地进步

# hadoop
Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

【无标题】ch340串口在ubuntu 虚拟机上的使用

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

avatar 讯飞AI开发者社区
cover

国产GEO工具哪家强？巨推集团、SEO研究协会网、业界科技三强对比

avatar 讯飞AI开发者社区

AI应用架构师的智能资源调度AI引擎选型攻略

智能资源调度AI引擎（Intelligent Resource Scheduling AI Engine）是基于人工智能算法，动态优化资源（CPU/GPU/内存/网络等）分配的系统。它的核心目标是：在满足任务需求（延迟、吞吐量、准确率）的前提下，最大化资源利用率、最小化成本。决策依据：传统调度用“预定义规则”（如if 任务类型=训练 → 分配GPU节点智能调度用“数据+模型”（如用LSTM预测任务

avatar 讯飞AI开发者社区