
Apache软件基金会(Apache Software Foundation)已发布其平台的最新版本-Apache Hadoop 3.3.0。自上次更新以来已经过去了一年半。该平台本身是使用MapReduce组织大量数据的分布式处理的工具。 Hadoop包括一组实用程序,库和框架,用于开发和执行可在成千上万个节点的群集上运行的分布式程序。
已经为Hadoop创建了专用文件系统Hadoop分布式文件系统(HDFS),它提供了数据冗余和MapReduce应用程序的优化。HDFS用于存储在计算群集的各个节点之间分布的大型文件。凭借其功能,大型公司和组织都在使用Hadoop。Google甚至授予Hadoop使用与MapReduce方法有关的专利的技术权利。
通常,我们满足Apache Hadoop 3.3.0的要求。

以下是新版本中最重要的更改的列表:
- 支持基于ARM的平台(顺便说一下,Selectel拥有ARM服务器;如果您想尝试,这里是一个链接)。
- Protobuf (Protocol buffers) 3.7.1. Protobuf .
- S3A Delegation Token (), 404, S3guard .
- ABFS.
- Java 11.
- Tencent Cloud COS, COS.
- DNS Resolution, DNS . , .
- YARN (Yet Another Resource Negotiator) .
- 增加了对调度OPPORTUNISTIC容器以通过资源管理器运行的支持。
由于Hadoop正在积极开发,基于Hadoop的解决方案市场正在迅速增长。如果在2019年市场规模约为17亿美元,那么到2024年,它将达到94亿美元,就更改数量而言,
现在Hadoop在Apache存储库中排名第一。平台代码库约为400万行。最大的存储库是Netflix,Twitter,Facebook。