By

本篇文章继续我们的微软挖掘系列算法总结，前几篇文章已经将相关的主要算法做了详细的介绍。在开始Microsoft 神经网络分析算法之前，本篇我们先将神经网络分析算法做一个简单介绍，此算法由于其本身的复杂性，所以我打算在开始之前先将算法原理做一个简单的总结，因为本身该算法就隶属于高等数学的研究范畴，我们对算法的推断和验证过程不做研究，只介绍该算法特点以及应用场景，且个人技术能力有限，不当之处还望勿喷。

阅读更多

By

实际的爬虫是从一系列的种子链接开始。种子链接是起始节点，种子页面的超链接指向的页面是子节点（中间节点），对于非html文档，如excel等，不能从中提取超链接，看做图的终端节点

阅读更多

By

CPU，一般认为写C/C++的才需要了解，写高级语言的(Java/C#/pathon…)并不需要了解那么底层的东西。我一开始也是这么想的，但直到碰到LMAX的Disruptor，以及马丁的博文，才发现写Java的，更加不能忽视CPU。经过一段时间的阅读，希望总结一下自己的阅读后的感悟。本文主要谈谈CPU缓存对Java编程的影响，不涉及具体CPU缓存的机制和实现。

阅读更多

By

对于非计算机专人士，大多数统计就是计数，而且许多基础的Hadoop作业都包含了计数过程。我们希望从专利引用数据集中得到专利被引用的次数。这同样是计数。期望的输出结果如下：

阅读更多

By

MpaReduce程序通过操作键/值对来处理数据，一般形式为
map:(K1,V1)->list<K2,V2>reduce:(K2,list(V2))->list<K3,V3>
上面是这个数据流的一个相当普通的表现，并无特别之处。而在本节，我们将学习更多的细节，涉及一个典型MapReduce程序的每个阶段。下图显示了这个完整过程的高阶试图，我们将逐步遍历这个流程来进一步剖析每一个组成部分。

阅读更多

By

HDFS是一种文件系统，专为MapReduce这类框架下的大规模分布式数据处理而设计。你可以把一个大数据集（比如说100TB）在HDFS中存储为单个文件，而大多数其他的文件系统无力实现这一点。HDFS使你不必考虑这些细节，让你感觉就像在处理单个文件一样。

阅读更多

By

云计算和Hadoop中网络是讨论得相对比较少的领域。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。

阅读更多

By

聚类集成已经成为机器学习的研究热点，它对原始数据集的多个聚类结果进行学习和集成，得到一个能较好地反映数据集内在结构的数据划分。很多学者的研究证明聚类集成能有效地提高聚类结果的准确性、鲁棒性和稳定性。本文提出了一种面向高维数据的聚类集成算法。该方法针对高维数据的特点，先用分层抽样的方法结合信息增益对每个特征簇选择合适数量比较重要的特征的生成新的具代表意义的数据子集，然后用基于链接的方法对数据子集上生成的聚类结果进行集成．最后在文本、图像、基因数据集上进行实验，结果表明，与集成前的K均值聚类算法及基于链接的聚类集成算法相比，该方法能有效的改善聚类结果。

阅读更多