大数据：互联网大规模数据挖掘与分布式处理

资源名称：大数据：互联网大规模数据挖掘与分布式处理

内容简介：

本书源自作者在斯坦福大学教授多年的“Web挖掘”课程材料，主要关注大数据环境下数据挖掘的实际算法。书中分析了海量数据集数据挖掘常用的算法，介绍了目前Web应用的许多重要话题。主要内容包括：

　　□ 分布式文件系统以及Map-Reduce工具；

　　□ 相似性搜索；

　　□ 数据流处理以及针对易丢失数据等特殊情况的专用处理算法；

　　□ 搜索引擎技术，如谷歌的PageRank；

　　□ 频繁项集挖掘；

　　□ 大规模高维数据集的聚类算法；

　　□ Web应用中的关键问题：广告管理和推荐系统。

资源目录：

第1章　 数据挖掘基本概念　　

1.1　 数据挖掘的定义　　

1.1.1　 统计建模　　

1.1.2　 机器学习　　

1.1.3　 建模的计算方法　　

1.1.4　 数据汇总　　

1.1.5　 特征抽取　　

1.2　 数据挖掘的统计限制　　

1.2.1　 整体情报预警　　

1.2.2　 邦弗朗尼原理　　

1.2.3　 邦弗朗尼原理的一个例子　　

1.2.4　 习题　　

1.3　 相关知识　　

1.3.1　 词语在文档中的重要性　　

1.3.2　 哈希函数　　

1.3.3　 索引　　

1.3.4　 二级存储器　　

1.3.5　 自然对数的底e　　

1.3.6　 幂定律　　

1.3.7　 习题　　

1.4　 本书概要　　

1.5　 小结　　

1.6　 参考文献　　

第2章　 大规模文件系统及Map-Reduce　　

2.1　 分布式文件系统　　

2.1.1　 计算节点的物理结构　　

2.1.2　 大规模文件系统的结构　　

2.2　 Map-Reduce　　

2.2.1　 Map任务　　

2.2.2　 分组和聚合　　

2.2.3　 Reduce任务　　

2.2.4　 组合器　　

2.2.5　 Map-Reduce的执行细节　　

2.2.6　 节点失效的处理　　

2.3　 使用Map-Reduce的算法　　

2.3.1　 基于Map-Reduce的矩阵—向量乘法实现　　

2.3.2　 向量v无法放入内存时的处理　　

2.3.3　 关系代数运算　　

2.3.4　 基于Map-Reduce的选择运算　　

2.3.5　 基于Map-Reduce的投影运算　　

2.3.6　 基于Map-Reduce的并、交和差运算　　

2.3.7　 基于Map-Reduce的自然连接运算　　

2.3.8　 一般性的连接算法　　

2.3.9　 基于Map-Reduce的分组和聚合运算　　

2.3.10　 矩阵乘法　　

2.3.11　 基于单步Map-Reduce的矩阵乘法　　

2.3.12　 习题　　

2.4　 Map-Reduce的扩展　　

2.4.1　 工作流系统　　

2.4.2　 Map-Reduce的递归扩展版本　　

2.4.3　 Pregel系统　　

2.4.4　 习题　　

2.5　 集群计算算法的效率问题　　

2.5.1　 集群计算的通信开销模型　　

2.5.2　 实耗通信开销　　

2.5.3　 多路连接　　

2.5.4　 习题　　

2.6　 小结　　

2.7　 参考文献　　

第3章　 相似项发现　　

3.1　 近邻搜索的应用　　

3.1.1　 集合的Jaccard相似度　　

3.1.2　 文档的相似度　　

3.1.3　 协同过滤——一个集合相似问题　　

3.1.4　 习题　　

3.2　 文档的Shingling　　

3.2.1　 k-Shingle　　

3.2.2　 shingle大小的选择　　

3.2.3　 对shingle进行哈希　　

3.2.4　 基于词的shingle　　

3.2.5　 习题　　

3.3　 保持相似度的集合摘要表示　　

3.3.1　 集合的矩阵表示　　

3.3.2　 最小哈希　　

3.3.3　 最小哈希及Jaccard相似度　　

3.3.4　 最小哈希签名　　

3.3.5　 最小哈希签名的计算　　

3.3.6　 习题　　

3.4　 文档的局部敏感哈希算法　　

3.4.1　 面向最小哈希签名的LSH　　

3.4.2　 行条化策略的分析　　

3.4.3　 上述技术的综合　　

3.4.4　 习题　　

3.5　 距离测度　　

3.5.1　 距离测度的定义　　

3.5.2　 欧氏距离　　

3.5.3　 Jaccard距离　　

3.5.4　 余弦距离　　

3.5.5　 编辑距离　　

3.5.6　 海明距离　　

3.5.7　 习题　　

3.6　 局部敏感函数理论　　

3.6.1　 局部敏感函数　　

3.6.2　 面向Jaccard距离的局部敏感函数族　　

3.6.3　 局部敏感函数族的放大处理　　

3.6.4　 习题　　

3.7　 面向其他距离测度的LSH函数族　　

3.7.1　 面向海明距离的LSH函数族　　

3.7.2　 随机超平面和余弦距离　　

3.7.3　 梗概　　

3.7.4　 面向欧氏距离的LSH函数族　　

3.7.5　 面向欧氏空间的更多LSH函数族　　

3.7.6　 习题　　

3.8　 LSH函数的应用　　

3.8.1　 实体关联　　

3.8.2　 一个实体关联的例子　　

3.8.3　 记录匹配的验证　　

3.8.4　 指纹匹配　　

3.8.5　 适用于指纹匹配的LSH函数族　　

3.8.6　 相似新闻报道检测　　

3.8.7　 习题　　

3.9　 面向高相似度的方法　　

3.9.1　 相等项发现　　

3.9.2　 集合的字符串表示方法　　

3.9.3　 基于长度的过滤　　

3.9.4　 前缀索引　　

3.9.5　 位置信息的使用　　

3.9.6　 使用位置和长度信息的索引　　

3.9.7　 习题　　

3.10　 小结　　

3.11　 参考文献　　

第4章　 数据流挖掘　　　

第5章　 链接分析　　

第6章　 频繁项集　　

第7章　 聚类　　　

第8章　 Web广告　　　　

第9章　 推荐系统　　　

索引

资源截图：