【大数据】spark Yarn的使用（9） - 资源配置查看

方式一：方式二：方式三：Yarn的实际资源通过container，可以设置Yarn的最小、最大内存，一般根据现有的集群资源来分配代码资源——内存和CPU核数举个例子：假设集群中有100G可用内存，20个可用CPU核，则可设置参数如下，尽最大化使用集群资源，提高运行效率num-executors=10,executor-cores=2,executor-memory=10...

LaiYoung1022

768人浏览 · 2020-08-24 08:21:39

LaiYoung1022 · 2020-08-24 08:21:39 发布

方式一：
在这里插入图片描述

在这里插入图片描述

方式二：
在这里插入图片描述

方式三：
在这里插入图片描述

Yarn的实际资源
在这里插入图片描述

通过container，可以设置Yarn的最小、最大内存，一般根据现有的集群资源来分配代码资源——内存和CPU核数
在这里插入图片描述

举个例子：假设集群中有100G可用内存，20个可用CPU核，则可设置参数如下，尽最大化使用集群资源，提高运行效率
num-executors=10,executor-cores=2,executor-memory=10

技术共进，成长同行——讯飞AI开发者社区

更多推荐

上下文工程驱动智能体向通用人工智能

例如在文章开头，我们举的产品经理和工程师之间的那一段对话，一个高质量智能体，不再只是让大模型回答用户的问题，而是通过上下文工程，帮助大模型在回答前获得更加结构化的输入，包括项目状态、需求文档、任务历史、甚至团队氛围，实现大模型更好的理解当前的任务规划、团队过往的沟通隐患、对方的工作状态与担忧、文档/知识库的实时状态等等。这和我们维护我们手机上内存很像，一开始所有应用和历史信息都保留，但当手机出现运