简介:云计算中的群集计算应用程序(例如MapReduce和面向用户的应用程序)具有应用程序级别的需求,因此需要有高级别的抽象来表示这些应用程序的需求.协流(coflow)是一个网络级别的抽象,用来表达数据并行编程范例的通信要求.协流使应用程序更容易地将其通信语义传达给网络,从而使网络能够优化常见的通信模式.然而,现有的协流识别方案依赖于修改应用程序,并不适用于多数实际场景.提出了基于增量聚类的协流识别策略,采用增量聚类算法来执行快速、透明的协流识别,实现了协流识别的自动化,同时无需对应用进行修改.仿真实验结果显示,本文的识别算法具有超过90%的准确率,具有一定的鲁棒性.
简介:k均值算法是一个常用的局部搜索算法,它的主要缺陷是容易陷入局部极小,并且该局部极小解与全局最优解往往有很大的偏差.本文提出一个基于K-均值的迭代局部搜索文档聚类算法.该算法以k均值算法所得到的解作为初始解,从该初始解开始作局部搜索,在搜索过程中接受部分劣解.当解无法改进时,算法对所得到的局部极小解做适当强度的扰动后进行下一次的迭代,以跳出局部极小,从而拓展了搜索的范围.实验结果表明该算法对文档数据集聚类的正确性达99%以上.
简介:针对Hadoop存在的不足,提出了利用分布式数据库来模拟共享存储空间的解决方案。并对DBIK-means聚类算法做了并行化设计和实验分析,验证了DBIK-means聚类算法在处理大数据时,能够获得较好的加速比。