AWS re:Invent 2020、基調講演-分析+ネットワーキング

毎年恒例の大規模クラウド会議AWSre:Invent2020からの発表と新製品の別のバッチ。今回は分析とネットワークインフラストラクチャの分野で。多くの機能がすでにプレビューで利用可能ですが、それらは以下をお読みください。AWSアーキテクトは、re:Inventの期間中に定期的に開催するロシア語のツイートで、新しいアイテムについて詳しく説明します。記事の最後にあるツイッチストリームへのリンク。







分析



AWSレイクフォーメーションの新機能(プレビュー)



トランザクション、行レベルのセキュリティ、パフォーマンスの向上などAWSLakeFormationの新しい機能 をプレビューできます。この機能は、データレイクを更新およびアクセスするための新しいオープンなパブリックAPIを介して機能します。



トランザクションは、ACIDトランザクションをサポートするAmazonS3に基づく新しいタイプのテーブルである「管理テーブル」を使用して実装されます。トランザクションは、データ変換スクリプト(ETL)を簡素化し、さまざまなユーザーがさまざまな管理対象テーブルのレコードを同時に確実に追加、削除、および変更できるようにします。



AWS LakeFormationは、バックグラウンドで管理対象テーブルストレージを自動的に圧縮および最適化して、データのクエリ時のパフォーマンスを向上させます。



詳細は こちら



レッドシフト



RA3.xlplusノードとAmazonRedshiftの追加の発表



RA3.xlplusは、RA3ファミリの3番目で最小のノードタイプです。RA3を使用すると、コンピューティングとストレージを別々にスケーリングして、AmazonRedshiftクラスターのコンピューティングの選択肢を拡大できます。







詳細は こちら



アベイラビリティーゾーン(AZ)間でクラスターを移動する機能



クラスタの移動機能は、アプリケーションに変更を加えることなく、1つのステップでクラスタを別のAZに移動します。クラスターを別のAZに移動すると、新しいクラスターのエンドポイントは同じになるため、アプリケーションは変更せずに実行し続けることができます。この機能は無料で、RA3クラスターで利用できます。



詳細は こちら



テーブルの自動最適化



自動テーブル最適化は、クエリがテーブルとどのように相互作用するかを常に監視し、機械学習を使用して最適な並べ替えキーと分散キーを選択し、クラスター全体のクエリパフォーマンスを最適化します。



詳細は こちら



Amazon Redshiftクラスター間でのデータの共有(プレビュー)



Amazon Redshiftの新しいデータ共有機能を試用できます。これにより、Redshiftクラスター間でデータをリアルタイムで安全かつ簡単に共有できます。データを共有することで、データ処理を簡素化し、生産性を高め、コストを削減できます。単一のRedshiftクラスター内で使用していたすべてのものを、データの処理中に複数のクラスターで利用できるようになりました。



RA3ファミリの計算ノードとは別のマネージドデータストアを活用することにより、データをコピーまたは移動することなく、複数のクラスタからのデータへの即時の高性能アクセスが可能になります。古いデータの読み取りも除外されます。すべてのクラスターは、すべての最新の変更を加えた、データの単一の常に最新のコピーで機能します。AmazonRedshiftクラスター間でデータを共有するための追加コストはありません。





詳細は こちら



フェデレーションクエリ用のAmazonRedshiftおよびAmazonRDS forMySQLおよびAmazonAurora MySQLデータベース(プレリリース)



Amazon Redshiftフェデレーションクエリを使用すると、BIのトランザクションデータベースおよび運用分析用のレポートアプリケーションからのデータを接続できます。Amazon Redshift Optimizerは、計算の一部をオフロードしてリモートデータベースに分散し、ネットワークで伝送されるトラフィックを削減してパフォーマンスを向上させます。本日、Amazon RDS forMySQLおよびAmazonAurora forMySQLのフェデレーションクエリ機能を拡張しています。この機能はプレビュー可能です。



組み込みのJSONサポート(プレビュー)



本日、プレビュー用にAmazonRedshiftでJSONおよび半構造化データのネイティブサポートを導入します。新しいデータタイプ「SUPER」がストレージに使用され、Redshiftテーブルに半構造化データを保存できるようになります。また、そのようなデータをクエリおよび処理するためのPartiQLクエリ言語のサポートも追加されました



詳細は こちら



AmazonEMRスタジオプレビュー

JupyterベースのIDEであるAmazonEMRStudioが発表されました。エンタープライズSSOプロバイダーによる認証をサポートし、アナリストとデータエンジニアが、R、Python、Scala、およびPySparkで分析アプリケーションとデータ処理システムを開発できるようにします。デバッグを容易にするために、SparkUIとYARNタイムラインサービスも利用できます。EMR Studioラップトップは、既存のEMRクラスターで実行するか、EMR用のすぐに使用可能なCloudFormationテンプレートを使用して新しいクラスターを起動します。



詳細は こちら



AmazonEKS上のAmazonEMR







新しいEMR(AmazonEKS上のAmazonEMR)の展開 により、顧客はAmazonEKSを利用したオープンソースのビッグデータフレームワークの作成と管理を自動化できます。お客様は、同じEKSクラスター内で他のタイプのアプリケーションと組み合わせてSparkアプリケーションを実行できるようになり、リソース使用率が向上し、インフラストラクチャ管理が容易になりました。



Amazon EMRは、アプリケーションをビッグデータコンテナに自動的にパッケージ化し、他のAWSサービスと統合するためのすぐに使用できるコネクタを提供します。次に、EMRはアプリケーションをEKSクラスターにデプロイし、ロギングとモニタリングを管理します。 EKSでEMRを使用すると、3倍のパフォーマンスを得ることができます EMRに含まれるパフォーマンスが最適化されたSparkランタイムと、EKS上の標準のApacheSparkを使用します。



詳細は こちら



ネットワーキング



VPC到達可能性アナライザー



新しいVPCReachability Analyzerサービスを使用すると、ネットワークパケットを送信しなくても、2つのトラフィックポイント(エンドポイント)間のネットワークの可用性を診断できます。このサービスは、VPC内のすべてのリソースの構成を読み取り、自動推論を使用して使用可能なネットワークトラフィックパスを決定します。ネットワークパケットを送信せずに、ネットワーク内のすべての可能なトラフィックパスを分析します。自動分析アルゴリズムがどのように機能するかについて詳しくは、re:Inventセッションを参照する か、このドキュメントをお読みください







詳細は こちら



AWSトランジットゲートウェイコネクト



オーバーレイSD-WAN(ソフトウェア定義ワイドエリアネットワーク)は、パブリックインターネットを介してオフィスまたはデータセンターを接続するために使用されます。クラウドインフラストラクチャは、同じネットワークに接続する必要があります。 AWS Transit Gatewayは、ネットワークをAWSバックボーンに接続するためにネットワークのエッジでよく使用されます。



また、AWS Transit Gateway Connect機能が追加されたことで、SD-WANインフラストラクチャをAWSクラウドに拡張する簡単な方法があります。 TransitGatewayとSD-WANネットワークデバイス間の複数のIPsecVPNトンネルの代わりに、Transit GatewayConnectはGREトンネルを使用します。また、動的なBGPルーティングをサポートし、AWS Transit Gateway NetworkManager監視サービスおよび一連のパートナーソリューションと統合し ます



これらすべてにより、ネットワーク設計が簡素化され、パフォーマンスが向上し、SD-WANをAWSに拡張しやすくなります。







詳細は こちら



AWS TransitGatewayでのIGMPサポート



AWS Transit Gatewayは、インターネットグループ管理プロトコル(IGMP)のサポートを導入し、IPマルチキャストを使用するアプリケーションの管理を容易にします。



お客様は以前、AWS TransitGatewayを使用してクラウドでマルチキャストアプリケーションを実行していました。現在、IGMPがサポートされているため、マルチキャストグループメンバーシップのスケーリングと管理が簡単になりました。静的なマルチキャストグループ、ソース、シンクを構成する必要がなくなり、TransitGatewayはIGMPを使用してグループメンバーを自動的に追加および削除します。



IGMPはオープンスタンダードであり、多くのマルチキャストアプリケーションがIGMPに依存しています。それらをクラウドに移行するのが簡単になりました。



詳細は こちら



ロシア語のTwitchセッション



分析とネットワークインフラストラクチャの分野におけるすべての革新は、今日、ロシア語のツイッチストリームで議論されます。主要なAWSソリューションアーキテクトは、最も興味深いものをすべて選択し、すでに多くのことを試し、新製品の印象を交換して、すべての質問に答えます。まだストリームに接続していない場合は 、登録リンクちなみに、過去のロシア語のストリームの録音を見逃した場合は、ツイートで見ることができます。



AWS re:Invent 2020からの以前のニュース:

AWS re:Invent。1日目のトップアナウンス(Andy Jassy、ビジネスアプリケーション)

AWS re:Invent。 AWS re:Invent 2020基調講演-機械学習1日目(ストレージ)の主な発表




All Articles