由于集群内部的松耦合方式以及资源分布的特点，对其日常维护管理提出了较高的要求。作为用户，不必知道集群的基础系统结构就可以有效的使用这些机器。无论是否远程，都可以透明地访问系统资源、提交任务。整个系统应当具备良好的可用性和可扩展性。这就需要在集群硬件系统之上建立一个管理系统——集群管理系统，负责管理集群、实现集群功能，让用户在使用集群时就像在使用一台计算机一样。集群管理系统能够实现集群功能并且管理整个系统,是集群必不可少的软件支持,也是集群技术的集中体现。

    当集群在虚拟化基础架构中，虚拟化管理程序负责加强共享、隔离吵闹的邻居、动态迁移和/或重新启动受影响，甚至突然飙升的工作负载，还扮演交警的角色。这几年我们发现了该领域的长足进步，可以在虚拟机层面和虚拟存储卷级别（如VMware VVOL）上，动态执行用户指定的服务质量（QoS）。 有效的集群管理设计对大数据尤其重要，这关系到引入企业IT规模扩展的HPC技术。Hadoop、Spark和其他可扩展NoSQL工具旨在让所有人都实现分布式处理。然而，生产大数据应用程序目前要求应用程序性能的一致性。当大数据应用支撑着关键业务流程时，运营与性能的可靠性和稳定性将成为问题。

   在种类繁多的大数据工具如Hadoop集群，每个大数据作业都争夺相同的资源。到目前为止，很多Hadoop集群只是简单处理小型单一的大数据处理流程或只对小部分用户服务，通常用于非生产环境的数据科学。但随着大数据集群移入生成环境，就意味着它们需要承载更多的任务并且服务多个租户——就如大型虚拟化或云集群。而当这种集群被共享，管理大数据将成为一大挑战。经常看到新的大数据集群管理和操作方案并不稀奇。集群管理工具一般分为几类。起步于高性能计算领域的Bright Computing公司，现在正协助企业从裸机上部署、配置与管理大型集群。 但真正的关键在于性能管理，秘诀在于了解都是谁，以及在什么时候做什么事。至少，还有标准的工具可以从集群的日志文件（通常十分巨大）中生成报告。但随着日志的增长，这个方法的效果会降低。而且当谈及运营性能，真正要做的实际上是优化混合租户与混合工作负载环境的QoS和运行时。例如，Pepperdata能生成实时运行视图，展示集群里正在发生什么，然后可以动态的控制和分配集群资源。这样可以保证优先级应用程序满足服务器级别协议，同时最小化集群基础设施的规模。

   在更高的级别，大数据需要有自己专属的应用程序性能管理程序。例子之一是Concurrent的Driven，可以跟踪和回溯应用程序执行轨迹，还可以直接监控业务流程和应用程序级的工作流，应用程序之间的内部依赖、运行时和失败。这样有助于识别代码瓶颈，规划和修复工作流执行窗口，并协助数据管理。随着横向扩展架构在数据中心内落地，集群管理工具的价值将增长——降低资源共享所需的资本支出，同时保障承诺性能和其他大数据处理业务的QoS。在某些情况下，IT没有这些集群专用工具协助，是可能无法有效处理这些大数据集群的。