YARN

YARN(Yet Another Resource Negotiator),又称为Apache Hadoop NextGen,是Apache Hadoop生态系统中的一种资源调度系统,其最初由Yahoo主要贡献者开发,是Hadoop 2.x版本的全面替代系统。YARN主要是为Hadoop提供资源管理和任务调度服务,致力于极大程度地改变Hadoop限定性,提升MapReduce应用程序数据处理能力,降低查询任务和业务分析任务实施相关技术投入。

YARN可以将Hadoop集群看作一个超级计算机,可以管理和调度多种应用程序,例如MapReduce、Graph Processing、HTML Page Crawling、Nosql数据库索引等,也可以调度Hadoop本身的MapReduce作业,并将该作业资源配给到资源池,以实现最优利用资源的目的,让计算环境可以在更高的灵活性下运行,从而大大提高MapReduce应用程序性能。

YARN尽管主要设计用于Hadoop 2.x,但也可以用于1.x,因此无需大规模迁移,可以简单一步步将应用程序附带的资源管理功能由MapReduce改为YARN。YARN的设计目的是可伸缩性和高性能,以提供资源调度,相较上一代MapReduce而言,YARN具有更多的功能,支持更多的技术,如图形处理,例如Giraph和Apache Spark,并且可以改变因果和流处理技术。

因此,YARN是Hadoop 2.x的替代系统,主要为Hadoop提供资源管理和任务调度服务。它可以看作是一个资源调度器,可以调度各种应用运行在Hadoop集群上,以及调度Hadoop本身的作业。YARN还具有很大的弹性,可以根据应用的不同及对应的资源需求,分配相应的资源来满足应用程序的运行需求,从而大大提高机器性能。

与“YARN”相关热搜词YARN计算机数据库应用程序

  • Yarn,颠覆性的JavaScript依赖管理工具

    Yarn是一款JavaScript包管理工具,通过并行安装、版本锁定和安全性检查提高了效率和安全性。适用于大型项目和团队协作,相比同类产品有明显优势。
    05月03日 00
  • Apache Hadoop YARN是什么

    Apache Hadoop YARN是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
    2020年09月 00
  • 什么是Yarn

    Yarn是一个包管理器。可以使用并分享全世界开发者的(例如 JavaScript)代码。 Yarn 能够快速、安全、 并可靠地完成这些工作。
    2020年09月 0
  • QA YARN是什么

    YARN是什么

    Apache Hadoop YARN (另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
    2020年08月 00