91高清免费观看_亚洲高清视频免费观看_91视频综合_国产精品一区99_伊人手机视频_懂色av懂色aⅴ精彩av

有趣生活

当前位置:首页>职场>关于hadoop的面试题(QQ共同好友数据分析)

关于hadoop的面试题(QQ共同好友数据分析)

发布时间:2024-01-24阅读(2)

导读如下文章字数大约400字以及若干代码块,阅读时间需要20分钟左右。这里所介绍的示例源自于一道面试题,因直接粘贴逻辑影响格式,这里直接截图,如果有需要源码的人....

如下文章字数大约400字以及若干代码块,阅读时间需要20分钟左右。

这里所介绍的示例源自于一道面试题,

因直接粘贴逻辑影响格式,这里直接截图,如果有需要源码的人,可私信我。

关于hadoop的面试题(QQ共同好友数据分析)(1)

对于共同好友的分析,常见于我们各个社交软件中,比如QQ等。

这里分析基于Hadoop相关技术实现逻辑。

言归正传:

以下是QQ好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友是单向的)

A:B,C,D,F,E,O

B:A,C,E,K

C:F,A,D,I

D:A,E,F,L

E:B,C,D,M,L

F:A,B,C,D,E,O,M

G:A,C,D,E,F

H:A,C,D,E,O

I:A,O

J:B,O

K:A,C,D

L:D,E,F

M:E,F,G

O:A,H,I,J

求出:哪些人两两之间有共同好友以及他俩的共同好友都有谁?

整体解决思路是:

1、先求出用户是哪些人的共同好友,比如:a是b、c 等用户都具备

2、然后再得到哪些人有一些共同的好友。

所以,这里需要执行2次mapreduce程序,第一次执行目的是上述第一步。然后,第二步基于第一步内容。

【1】执行第一次mapreduce程序

关于hadoop的面试题(QQ共同好友数据分析)(2)

关于hadoop的面试题(QQ共同好友数据分析)(3)

上述mapreduce执行完后,得到输出的文件如下:

关于hadoop的面试题(QQ共同好友数据分析)(4)

【2】基于第一次执行完的文件,执行第二次mapreduce逻辑:

关于hadoop的面试题(QQ共同好友数据分析)(5)

关于hadoop的面试题(QQ共同好友数据分析)(6)

关于hadoop的面试题(QQ共同好友数据分析)(7)

得到最终的结果文件为:

关于hadoop的面试题(QQ共同好友数据分析)(8)

至此,得到结果。

下篇预告:Hadoop中重要的HDFS中元数据备份机制。

已上内容,纯属一家之言,因本人能力一般,见识有限,如有问题,请不吝指正,感谢。

相关技术内容会持续更新,大家可随时交流,欢迎关注本头条号

欢迎分享转载→http://www.umpkq.cn/read-221391.html

Copyright ? 2024 有趣生活 All Rights Reserve吉ICP备19000289号-5 TXT地图

主站蜘蛛池模板: 欧美在线播放成人免费 | 狠狠色噜噜狠狠狠7777奇米 | 狠痕鲁狠狠爱2021在 | 在线亚洲欧美性天天影院 | 无码国内精品人妻少妇 | 青青青久 | 国产精品400部自产在线观看 | 成人精品一区二区户外勾搭野战 | 欧美成成人免费视频 | 日本四虎影视 | www.色图| 久久国产精品高清一区二区三区 | 免费妞干网 | 一本色道 | 一区二区三区欧美日韩国产 | 日韩爱爱小视频 | 久久久久青草 | 黄色一级片观看 | 毛片在线免费播放 | 人人妻人人澡人人爽人人精品 | 中文字幕无码第1页 | 人妻人人做人做人人爱 | 中国美女一级a毛片录像在线 | 少妇人妻陈艳和黑人教练 | 尤物在线播放 | 99热这里只有精品免费国产 | 四虎精品永久在线网址 | 青青草免费在线视频 | 两个奶头被吃高潮视频 | 日韩一区二区视频在线观看 | 亚洲成人偷拍自拍 | 成人啪啪| 久久久久久毛片免费观看 | 国产内地激情精品毛片在线一 | 四虎精品成人免费影视 | 91在线观看 | 偷看农村女人做爰毛片色 | 在线欧美精品二区三区 | 国产强伦姧在线观看 | 亚洲精品自在线拍 | 亚洲av丰满熟妇在线播放 |