实验要求:自行设计一个网站,记录用户浏览网页时的行为数据,如点击该页面的某个链接行为,数据保存到本地日志文件,经flume收集后并处理,或者用linux定时器任务,上传数据到HDFS中。然后通过HQL查询后生成每日统计数据(PV、UV)保存到关系型数据库MySql中,同时在网站中可以浏览该统计数据。本实验的目标是掌握数据从采集、处理、最终呈现的整个流程。
构建网站:通过ajax技术获取用户行为信息,后端接收到信息写入log文件定时脚本:定时上传log文件到hdfs定时脚本:java定时检测hdfs是否有新的log文件传上来,并对log文件进行解析,提取ip、点击的电影id和名称、点击时间,并通过HQL查询写入mysql数据库构建网站:获取mysql里的pv和uv信息并通过图表的形式在页面上展示