进入运行中,或者运行完作业对应的 “Tracking URL”。以下示例是已经运行完的 job。
进入 tez-ui 之后,点击 Configurations
输入要查询的配置项,点击"Regex Search"。如果查询的值和默认值不一样,说明管理员修改了 tez-site.xml。
查看 tez-site.xml 可以看设置的配置项。查看 tez-default-template.xml 可以看到所有的配置项及默认值。
tez.am.resource.cpu.vcores 1 Int value. The number of virtual cores to be used by the app master integer tez.am.resource.memory.mb 1024 Int value. The amount of memory in MB to be used by the AppMaster integer
tez.task.resource.cpu.vcores 1 Int value. The number of virtual cores to be used by tasks. integer tez.task.resource.memory.mb 1024 Int value. The amount of memory in MB to be used by tasks. This applies to all tasks acrossall vertices. Setting it to the same value for all tasks is helpful for container reuse andthus good for performance typically. integer
由于 tez 引擎在连接 driver 的时候,就启动 AppMaster 和一定数量的 container(默认为0),所以动态设置不生效。
beeline 设置 am 的内存的方法如下,其他参数类似。
beeline --hiveconf tez.am.resource.memory.mb=1024
hive 命令行设置 am 的内存的方法如下,其他参数类似。
hive --hiveconf tez.am.resource.memory.mb=1024