design and implementation of mapreduce-based data mining platform

MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而,MapReduce欠缺对多数据源、组件复用以及数据可视化支持,这些缺点使用户在运用MapReduce框架进行数据挖掘时暴露出开发效率低下,重复开发等问题。提出了一种基于MapReduce的数据挖掘平台的设计与实现,该设计思想为Hadoop作为大规模数据计算平台在数据挖掘、数据可视化以及商业智能应用方面的不足提供了参考与弥补。同时,基于该方法实现了一个大规模数据挖掘工具。国家科技重大专项核高基基金项目(2010ZX01042-001-001-05)|国家科技支撑计划基金项目(2012BAH05F02、2011BAH15B03)Profiting from its simplicity and high cost performance, MapReduce programming paradigm is suitable for massive parallel data processing. However, MapReduce's lacking supports for multiple data source, component reuse, and data visua-lization bring in problems such as low efficiency development and redundant coding. A new design and implementation of MapReduce-based data mining platform is proposed to give reference implementation of massive data mining, data visualization and business intelligence applications based on Hadoop. Based on this proposal, a massive data mining tool is implemented

context-aware data reba-lancing for distributed cache

为了改善数据重均衡的效果及减小数据迁移对系统性能的影响,提出一种上下文感知的数据重均衡方法。构建迁移时间预测模型,以刻画虚拟机环境上下文对数据迁移的影响,据此提出基于细粒度资源监测的上下文感知的数据重均衡算法CADR。实验结果表明,该迁移时间预测模型具有较低的错误率;CADR算法与传统数据重均衡算法相比,能够提供更好的均衡效果及更短的迁移时间。国家973重点基础研究发展计划基金项目(2009CB320704)|国家自然科学基金项目(61173003)|国家科技重大专项“核高基”基金项目(2011ZX03002-002-01)In order to improve the effect of data rebalancing and reduce the impact of data migration, a context-aware data reba-lancing approach is proposed. First, a predictive model of migration time is presented to depict the impact of virtualization context on data migration. Then a context-aware data rebalancing algorithm (CADR) is provided based on fine-grained resource monitoring. The experiments show that our prediction model of migration time has a low error rate, and CADR can improve perfor-mance compared with a typical data rebalancing algorithm

multi-tenant oriented application-level concurrency control approach

针对在多租户中间件上存在的租户隔离、资源侵占的问题,提出一种面向多租户中间件的应用级并发控制方法。首先分析了现有并发控制方法的局限性,然后介绍了一种基于工作管理器的多租户请求处理模型的原理及设计,进一步给出了基于该模型的应用级并发控制方法的设计与实现,最后通过实验测试方法的性能开销,并设计了一个多租户性能隔离方法来验证方法的应用效果。实验结果验证了方法的有效性。国家自然科学基金资助项目(61173004,61100068)|科技支撑计划资助项目(2011BAH15B05,2011BAH11B04)This paper proposed a multi-tenant oriented application-level concurrency control approach for resource management in multi-tenant middleware.First,it analyzed the limitations of existing concurrency control methods,and introduced the design of a multi-tenant request handle model based on work manager.Then it further designed a concurrency control mechanism,named M-TWM-CA to provide resources sharing at application level.Experiment results show the effectiveness of this approach

考虑双联行星齿轮轴扭转变形的拓扑修形方法研究

针对双联行星齿轮轴在载荷作用下产生扭转变形造成行星轮系偏载、轮齿啮合冲击大等问题，提出了考虑双联行星齿轮轴扭转变形的拓扑修形方法。分析了双联行星齿轮轴扭转变形成因及其对轮系均载性能的影响，基于多体齿轮承载接触分析（PLTCA）、齿轮承载接触分析（LTCA）求解了变形下的承载传动误差与齿面载荷分配系数；利用优化智能算法求解了齿面最大修形量条件下的修形参数最优解；对所提方法进行仿真验证。结果表明，本方法能有效降低齿面单位长度载荷与传动误差幅值，一级、二级行星轮齿面单位长度载荷分别下降33.58%、21.35%，传动误差幅值下降77.74%；在减速器载荷试验台上进行实验验证，实验结果与仿真结果一致；各行星轮齿面的磨损情况均大幅改善，较好地解决了NGWN型行星轮系偏载问题，提高了设备传动精度与使用寿命

支链四醚膜脂在中国土壤中的分布: 对MBT/CBT指标作为古环境指标可靠性的评估

土壤环境中广泛存在的支链甘油二烷基甘油四醚脂化合物(brGDGTs), 为古气候与古环境重建研究提供了新的指标. brGDGTs 的甲基化指数与环化指数分别用MBT和CBT 表示, 被认为主要受到年平均大气温度(MAAT)和土壤pH 的控制. 然而在综合不同环境样品的条件下, brGDGTs 指标重建的温度和土壤pH 与真实值之间存在着较大的偏差. 本文报道了分别代表湿润气候(西双版纳、广州、上海)、半干旱气候(东营)以及干旱气候(兰州、青藏高原)环境下超过300个土壤样品中brGDGTs 化合物随中国气候带的变化特征. 总体数据表明, 在湿润与非碱性环境下MBT/CBT 指标重建的温度与真实温度的吻合比干旱/半干旱(MAP&lt;500mm/a)及碱性环境下(pH&gt;7.0~7.5)表现得更好. 同样地, CBT 指标在湿润与非碱性环境中可以较好地反映土壤pH 的变化. 与此相反的是, 在干旱/半干旱与碱性环境下, CBT 指标与pH 之间趋于正相关关系. 本文的结果表明了土壤pH、年均大气温度及降水量是控制brGDGTs 在不同气候带分布的主要环境因素, 并且土壤电导率、总有机碳、总有机氮与含水率在区域环境中同样起着重要作用. 通过在CBT 指标计算中去除brGDGT-II 化合物得到了一个新的CBT 指标.该指标可以提供更准确的pH 估算, 特别是在干旱/半干旱与碱性环境下. 本文大量的中国土壤数据表明 brGDGTs 指标恢复的陆地大气温度与真实值之间可能存在较大偏差, 因此在应用这一指标重建古气候或古环境时应相当谨慎.</p