Apache Software Foundationは、そのプラットフォームの新しいリリースであるApache Hadoop3.3.0をリリースしました。前回の更新から1年半が経過しました。プラットフォーム自体は、MapReduceを使用して大量のデータの分散処理を整理するためのツールです。 Hadoopには、数千のノードのクラスターで実行できる分散プログラムを開発および実行するための一連のユーティリティ、ライブラリ、およびフレームワークが含まれています。
Hadoop用に、MapReduceアプリケーションのデータバックアップと最適化を提供する特殊なファイルシステムHadoop分散ファイルシステム（HDFS）が作成されました。HDFSは、コンピューティングクラスターの個々のノード間に分散された大きなファイルを格納することを目的としています。その機能のおかげで、Hadoopは最大の企業や組織によって使用されています。Googleは、MapReduceメソッドに関連する特許に影響を与えるテクノロジーを使用する権利をHadoopに付与しました。
一般的に、Apache Hadoop3.3.0に適合します。
新しいバージョンでの最も重要な変更のリストは次のとおりです。
- ARMベースのプラットフォームのサポート（ちなみに、SelectelにはARMサーバーがあります。試してみたい場合はここにリンクがあります）。
- Protobuf (Protocol buffers) 3.7.1. Protobuf .
- S3A Delegation Token (), 404, S3guard .
- ABFS.
- Java 11.
- Tencent Cloud COS, COS.
- DNS Resolution, DNS . , .
- YARN (Yet Another Resource Negotiator) .
- ResourceManagerを介して実行するOPPORTUNISTICコンテナのスケジュールのサポートが追加されました。
Hadoopが活発に開発されているため、Hadoopに基づくソリューションの市場は急速に成長しています。専門家によると、2019年の市場規模が約17億ドルだった場合、2024年までに94億ドルに達するでしょう。
現在、Hadoopは変更数の点でApacheリポジトリの中で第1位です。プラットフォームのコードベースは約400万行です。最大のリポジトリはNetflix、Twitter、Facebookです。