1. Resourcemanager

配置属性描述
yarn.resourcemanager.scheduler.client.thread-count ResourceManager处理调度器请求的线程数量，默认50个，如果提交的任务数大于50，可以增加该值，
yarn.resourcemanager.scheduler.class配置调度器

  1. Nodemanager

配置属性描述
yarn.nodemanager.resource.memory-mbNodeManager使用内存数
yarn.nodemanager.resource.system-reserved-memory-mbNodeManager为系统保留多少内存，和上一个参数二者取一即可
yarn.nodemanager.resource.cpu-vcoresNodeManager使用CPU核数
yarn.nodemanager.resource.count-logical-processors-as-cores是否将虚拟核数当作CPU核数
yarn.nodemanager.resource.pcores-vcores-multiplier虚拟核数和物理核数乘数，例如：4核8线程，该参数就应设为2
yarn.nodemanager.resource.detect-hardware-capabilities是否让yarn自己检测硬件进行配置
yarn.nodemanager.pmem-check-enabled是否开启物理内存检查限制container
yarn.nodemanager.vmem-check-enabled是否开启虚拟内存检查限制container
yarn.nodemanager.vmem-pmem-ratio虚拟内存物理内存比例

  1. Container

配置属性描述
yarn.scheduler.minimum-allocation-mb容器最小内存
yarn.scheduler.maximum-allocation-mb容器最大内存
yarn.scheduler.minimum-allocation-vcores容器最小核数
yarn.scheduler.maximum-allocation-vcores容器最大核数



最后修改: 2023年12月28日 星期四 17:23