博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据Hadoop生态圈技术之浅析PageRank计算原理
阅读量:3924 次
发布时间:2019-05-23

本文共 1117 字,大约阅读时间需要 3 分钟。

一、什么是PageRank?

—— PageRank是Google提出的算法,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。

—— 是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的

—— PageRank实现了将链接价值概念作为排名因素。

二、计算环境

—— Hadoop-2.5.2

—— 四台主机

—— 两台NN的HA

—— 两台RM的HA

—— 离线计算框架MapReduce

三、计算原理(1)

思考超链接在互联网中的作用?

☆ 入链 ====投票

· PageRank让链接来“投票“,到一个页面的超链接相当于对该页投一票。

☆ 入链数量

· 如果一个页面节点接收到的其他网页指向的入链数量越多,那么这个页面越重要。

☆ 入链质量

· 指向页面A的入链质量不同,质量高的页面会通过链接向其他页面传递更多的权重。所以越是质量高的页面指向页面A,则页面A越重要。

网络上各个页面的链接图

· 站在A的角度:

— 需要将自己的PR值分给B,D

· 站在B的角度:

— 收到来自A,C,D的PR值

· PR需要迭代计算

· 其PR值会趋于稳定

四、算法原理(2)

☆ 初始值

· Google的每个页面设置相同的PR值

· pagerank算法给每个页面的PR初始值为1。

☆ 迭代计算(收敛)

· Google不断的重复计算每个页面的PageRank。那么经过不断的重复计算,这些页面的PR值会趋向于稳定,也就是收敛的状态。

· 在具体企业应用中怎么样确定收敛标准?

— 1、每个页面的PR值和上一次计算的PR相等

— 2、设定一个差值指标(0.0001)。当所有页面和上一次计算的PR差值平均小于该标准时,则收敛。

— 3、设定一个百分比(99%),当99%的页面和上一次计算的PR相等

五、计算原理(3)

☆ 站在互联网的角度:

· 只出,不入:PR会为0

· 只入,不出:PR会很高

· 直接访问网页

☆ 修正PageRank计算公式:增加阻尼系数

· 在简单公式的基础上增加了阻尼系数(damping factor)d

· 一般取值d=0.85。

☆ 完整PageRank计算公式

· d:阻尼系数

· M(i):指向i的页面集合

· L(j):页面的出链数

· PR(pj):j页面的PR值

· n:所有页面数

现在为口碑活动积累阶段,需要java、框架、大数据、java架构师、Python等资料的朋友们,可再下方评论后私信小编,小编发你网盘链接,手慢则无!想要直接上直播课程【完全免费】的朋友们,可直接点击“”!

 

 

感谢大家的支持!

本作品为原创作品!禁止转载!若想转载。请联系作者!!!

你可能感兴趣的文章
Android学习笔记之SeekBar
查看>>
题目26 孪生素数问题
查看>>
java web 连接mysql数据库
查看>>
java 多线程简介
查看>>
docker架构
查看>>
Docker Client创建与命令执行
查看>>
springMVC学习笔记
查看>>
PageRank算法与特征向量和特征值(eigenvector和eigenvalue)
查看>>
HITS算法--从原理到实现
查看>>
MapReduce原理
查看>>
zookeeper原理
查看>>
MapReduce入门
查看>>
WEB服务器、应用程序服务器、HTTP服务器区别
查看>>
小白入门:大型网站技术架构负载均衡技术
查看>>
归并排序(JAVA)
查看>>
对Java Serializable(序列化)的理解和总结
查看>>
Netty Buffer(缓冲)
查看>>
Docker简单介绍
查看>>
.ftl文件 是什么文件
查看>>
数据结构与算法--栈、队列(队列)
查看>>