本文旨在构建一种基于网络爬虫的大数据人才需求分析系统，该系统通过自动化的数据抓取、清洗、整合、分析以及可视化展示，为求职者和招聘方提供全面、准确、实时的就业数据分析服务。在系统架构上，采用了Django作为后端框架，它提供了强大的Web开发功能，能够迅速构建出稳定、安全的系统。前端则采用HTML5、CSS3和JavaScript等技术，设计出直观且用户友好的界面，实现数据的可视化展示和用户交互功能。同时，使用MySQL数据库进行数据存储和管理，确保数据的安全性和完整性。在数据获取方面，利用Scrapy框架编写爬虫程序，自动抓取各大招聘网站的求职与招聘信息。爬虫程序通过模拟用户行为，下载网页源码，并提取出需要的字段，如工作地点、薪资范围、学历要求、工作经验、公司性质等。

通过数据可视化技术，将分析后的数据以直观、易懂的方式展示给用户。使用了如柱状图、饼状图等多种图表形式，帮助用户更好地理解数据，从而做出更明智的决策。本文所构建的基于网络爬虫的大数据人才需求分析系统，为求职者和招聘方提供了一个全面、准确、实时的招聘信息分析平台，有助于推动就业市场的健康发展。
 

系统主要模块设计

根据以上的功能需求情况，整体的功能模块包括有前台vue项目模块，后台django后台项目模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面，数据可视化展示页面，爬虫模块主要用来爬取招聘网的相关数据信息的，通过使用hadoop进行数据的存储，django后台用来提供前台所用的json数据以及给出推荐的相关的招聘数据信息信息。其中大数据人才需求分析系统模块的实现是基于机器学习功能之后的应用阶段。系统功能模块图，如图3.1：

图3.1系统功能模块图
 

通过以上步骤完成了数据的爬取和存储，接下来就是系统可视化页面展示阶段了。系统前台页面通过vue框架结合element-ui等插件实现，采用了Django框架，后台使用python进行代码的书写。输入网址后进入可视化要展示的内容是最多的，如下图是数据分析大屏，首页在展示数据之前肯定是需要先从数据库调取相应的数据，经过web服务器的解析，然后进行展示。

   图5.4数据可视化大屏