[00264336]Hadoop同构集群下的资源参数优化方法
交易价格:
面议
所属行业:
分析仪器
类型:
发明专利
技术成熟度:
正在研发
专利所属地:中国
专利号:CN201410171929.0
交易方式:
技术转让
技术转让
技术入股
联系人:
四川大学
进入空间
所在地:四川成都市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
摘要:一种Hadoop同构集群下的资源参数优化方法,包括建立同构集群的作业特征库;在默认配置下,用新作业的部分数据来运行作业,获取新作业的资源占用特征Fs;计算作业特征库中每一个作业的资源占用特征F与Fs的相对距离;取作业特征库中与Fs的相对距离最小的那个作业的参数最优取值,作为新作业s的最优取值;以新作业s的参数最优取值配置集群,完整运行新作业。本发明的有益效果提高作业运行的执行效率;提高集群的资源使用率,避免集群资源浪费或争夺;建立作业特征库,方便后期作业分析和优化。
摘要:一种Hadoop同构集群下的资源参数优化方法,包括建立同构集群的作业特征库;在默认配置下,用新作业的部分数据来运行作业,获取新作业的资源占用特征Fs;计算作业特征库中每一个作业的资源占用特征F与Fs的相对距离;取作业特征库中与Fs的相对距离最小的那个作业的参数最优取值,作为新作业s的最优取值;以新作业s的参数最优取值配置集群,完整运行新作业。本发明的有益效果提高作业运行的执行效率;提高集群的资源使用率,避免集群资源浪费或争夺;建立作业特征库,方便后期作业分析和优化。