モスクワとサンクトペテルブルクの間:ウドムリヤメガデータセンターへの遠足

モスクワとサンクトペテルブルクの間のどこかに、ウドムリヤの小さな町があります。以前は、カリニン原子力発電所で知られていました。2019年に、近くに別の魅力が現れました-4,000ラックのUdomlyaメガデータセンター。 



Rostelecom-DPCチームに参加した後、DataLineスペシャリストもこのデータセンターを運営します。おそらく「ウドムリヤ」について何か聞いたことがあるでしょう。今日は、すべてがどのように機能するかを詳しく説明することにしました。





産業景観:32,000m²のデータセンターと背後の原子力発電所。Udomlya 2019年春のサンプル。



詳細な説明が記載されたデータセンターエンジニアリングシステムの写真が40枚以上カットの下に収集されました。最後までやり遂げた人たちに嬉しい驚きが待っています。



物流について

データセンターはトヴェリ地域にあります。モスクワからウドムリャまでの道のりは約3時間かかります。サプサンで1時間45分、ヴィシュニーヴォロシェク駅まで行きます。そこから、事前のリクエストに応じて、シャトルでお迎えし、データセンターに移動します。サンクトペテルブルグからビシュニーヴォロホクまで少し長く-2時間20分。 



車で行くと、モスクワから4.5時間、サンクトペテルブルクから5時間で



行けます。はい、2、3個のユニットがあるので、おそらくここには行きたくないでしょう。しかし、数十のラック用の新しい家が必要な場合は、詳しく調べる価値があります。いつでも2倍にしたい場合でも、十分なスペースと電気があります。私たちの経験では、建設段階でもデータセンターが予約されているモスクワでは、このトリックが常に機能するとは限りません。



さらに、モスクワとサンクトペテルブルグの間のデータセンターの場所を地理的冗長性に使用できます。主な容量がモスクワまたはサンクトペテルブルクにある場合、予備サイトはここにうまく適合します。



スマートハンドチームが、現場でのすべての標準的な操作を支援します。彼らは、機器を受け取り、開梱してラックに設置し、それを電源とネットワークに接続し、機器へのリモートアクセスを提供します。誤動作が発生した場合は、診断に役立ち、故障したコンポーネントを交換します。



データセンターの第1ステージは、4つのコンピュータールーム(モジュール)で構成され、それぞれ205ラックを備えています。1階には2つの機械室とエネルギーセンターがあり、2階には2つのホールとコールドセンターがあります。ここですべてがどのように機能するか見てみましょう。



物理的なセキュリティ

データセンターは、パスと身分証明書がないと入ることができない専用エリアを占有します。お車でお越しの方もトランスポートパスを受け取り、データセンターに入ることができます。パスを使ってすべてのものが揃っている人のために、データセンターは24時間365日オープンしています。







最初の24時間のセキュリティポストは、領土への入り口です。







さらに進んで、データセンターの入り口にあるチェックポイントに直接行きます。







セキュリティ担当者は、顧客や問題のパスに対応するだけでなく、24時間体制でビデオウォールを監視します。ビデオウォールには、データセンターのすべての内部施設と隣接する地域の画像が表示されます。







電源

電力は原子力発電所からデータセンターへと流れ始めます。データセンターには、6つの降圧トランス用に10 kVが供給されています。さらに、2つの独立したルートですでに0.4 kVが低電圧開閉装置(LVSN)に送られます。その後、DIBPを介してITおよびエンジニアリング機器に電力が供給されます。 2つの独立した入力、つまり2N冗長性がラックに適しています。電源に関してすべてがどのように機能するかについては、別の記事で詳しく説明します。





データセンター「ウドムリヤ」内の電気の経路





電力が低電圧開閉装置から電源パネルに送られる電力バスDIBP低圧開閉装置の









原子力発電所が近くにあるという事実にもかかわらず、信頼できるデータセンターでは、主電源が保証されていると見なされます。私たちのデータセンターでは、ご存知のように、DGUが責任を負っていますが、ここでは動的UPS(DIBP)を使用しています。また、無停電電源装置も備えています。 RIBPはN + 1冗長です。 





2 MWの容量を持つDIBPブランドのEuro-Diesel(Kinolt)。彼らは耳栓なしでそこに行かないほうがいいような方法でうなり声を上げます



そしてこれはそれがどのように機能するかですDIBPは、ディーゼルエンジン、同期電気機械、およびローター付きの運動エネルギーアキュムレーターの3つの主要コンポーネントの組み合わせです。それらはすべてメインシャフトに固定されています。



電気機械は、電気モーターと発電機のモードで動作することができます。 DIBPが都市から正常に供給される場合、電気機械はローターを回転させ、運動エネルギーをバッテリーに蓄える電気モーターです。









フォアグラウンドの灰色のブロック-同期機DIBP





ディーゼルエンジンDIBP



都市の停電が発生すると、電気機械は発電機モードに切り替わります。蓄積された運動エネルギーのおかげで、ローターはDIBPのメインシャフトを回転させ、電気機械は都市電力なしで動作し続け、出力電圧は消えません。これにより、データセンター内の電源が中断されないことが保証されます。同時に、DIBP制御システムは、ディーゼルエンジンを始動する信号を出します。ローターと同じ運動エネルギーがディーゼルを始動させ、作動周波数に到達するのに役立ちます。ローターは最大1分間回転し続け、これはディーゼルエンジンが引き継ぐのに十分です。始動後、ディーゼルエンジンはメインシャフトを回転させ、それを介して-電気機械(ここにビジュアルビデオがあります)DIBPをあるモードから別のモードに切り替える)。



その結果、ラックの電力は1秒でも失われません。







各ディーゼル発電機タンクは3時間設計されています。また、データセンターには80トンの独自の燃料貯蔵庫があり、データセンターの全負荷を24時間維持します。非常に架空の停電(近くの原子力発電所ではこれが許可されない)が発生した場合、いくつかの請負業者と契約があり、ディーゼル燃料をすぐに現場に届けます。一般的に、すべてが本来あるべき状態です。



毎週、DIBPはセルフテストを行い、ディーゼルを開始します。月に1回、テストは都市ネットワークの短期間の切断で実行されます





コントロールパネルDIBP





ルームShGPおよびShbP  





"Magistrali"および電源ケーブルの "デカップリング"



機械室

各モジュールは封じ込めエリアの特別なボックスにあります。これらの追加の壁と屋根は、機械室をほこり、水、火から保護します。データセンターを受け入れるとき、封じ込めエリアは、漏れがないかチェックするために、伝統的に水で溢れています。





建物の屋根と排水管付きのタービンホールの独自の屋根





格納領域の屋根に入る水は、排水溝を通って排水管に流れ込み、



各ホールは平均5 kWの205ラックを受け入れる準備ができています。







ホール内の設備の配置は、冷たい廊下と暑い廊下の計画に従って編成されています。 





Bolidの早期火災検知とガス消火システムが天井に沿って設置されています。 







煙探知器も上げ床の下に配置されています。2つのセンサーをトリガーするのに十分であり、火災警報のサイレンが鳴りますが、これについては少し後で説明します。



エアコンの列に沿ってすぐに、テープ漏れセンサーがあります。







カウンター間の各廊下は、ビデオ監視カメラによって「撮影」されます。

必要に応じて、ラックを特別なフェンス(ケージ)の後ろに配置し、追加のカメラ、ACS、モーションセンサー、ボリュームセンサーなどをラックに設置できます。 







冷熱供給

Udomlyaデータセンターは、エチレングリコールチラー回路を使用しています。機械室にはエアコンがあり、屋根にはチラーがあります。2階には、パイプライン、自動化および制御システム、ポンプ、貯蔵タンクなどを備えた冷蔵センター



があります各部屋にはエアコンが12台あり、その半分は蒸気加湿器を備えています。 N + 1冗長スキーム。



コールドアイルは、21-25°Cの温度と40-60%の湿度を維持します。





精密エアコンStulz Cyber​​Air 3PRO CW 



各コンピュータールームの周囲には2つのリングがあります。冷えたエチレングリコールをエアコンに供給する「コールド」ラインと、冷えたグリコールをエアコンからチラーに取り除く「ホット」ラインです。廊下の上げ床を開くと、冷却システムから機械室に落下します。 







エチレングリコールの経路は次のとおりです。エアコンから、加熱されたエチレングリコールは最初に機械室の周りの戻りラインに入り、次に一般リングに入ります。次に、エチレングリコールはポンプに送られ、次に冷却装置に送られ、そこで10°Cに冷却されます。チラーの後、エチレングリコールは、共通のリング供給ライン、貯蔵タンク、モジュールの周囲のリングを通ってエアコンに戻ります。





データセンターの





冷却 方式これは、コールドセンターの外観で、100 m 3のエチレングリコールが通過します。



灰色のタンクは、膨張タンクです。加熱されたエチレングリコールは、チラーに向かう途中でそれらを通過します。夏には、エチレングリコールが膨張し、追加のスペースが必要になります。







これらの印象的な容量は、それぞれ 5 m 3の貯蔵タンクです。すべて。それらは、チラー障害が発生した場合に、データセンターの中断のない冷却を提供します。

タンクから冷やされたエチレングリコールがシステムに供給され、これによりエアコンの出口の空気温度を19℃に5分間維持できます。窓の外が+ 40°Cであっても。









冷却システムポンプ





メッシュポケットフィルターと機械的粒子と空気からエチレングリコールを洗浄するためのセパレータータンク



パイプの下の床の細い赤い線は、テープリークセンサーです。彼らはコールドセンターの全周に沿って行きます。







パイプのいずれかが漏れると、エチレングリコールは排水システムを通過し、水処理室の特別なタンクに入ります。また、大きな漏れが発生した場合に冷凍システムに供給するための「予備の」エチレングリコールを備えた2つのタンクもあります。







そして、チラーについて。屋根には5つのチラーがあり、N + 1の冗長性があります。自動化は、稼働時間に応じて、どのチラーを予備にするかを毎日決定します。 





容量1096 kWのStulz Cyber​​Cool 2ブランドのチラーは、



3つのモードをサポートします。



  • コンプレッサー-12°Cから;
  • 混合-0〜12°C;
  • フリークーリング-0以下。このモードでは、コンプレッサーではなくファンを使用してエチレングリコールを冷却します。






防火

データセンターには2つのガス消火ステーションがあります。それぞれに11気筒のバッテリーが2つあります。1つ目はメインのバッテリー、2つ目は予備です。



データセンターの防火システムは、Kalinin NPPのサーバーに関連付けられており、必要に応じて、ステーション独自の消防署が数分で現場に到着します。







写真はエンジンルームの火災警報システムと非常口ボタンです。後者は、火災警報時に何らかの理由でドアのロックが解除されなかった場合に必要です。これは電気錠の電源を遮断します。







テレコム

2つのRostelecomハイウェイが独立したルートでデータセンターに到達します。各DWDMシステムには、8テラビットの容量があります。



データセンターには2つの通信入力があり、それらは互いに25メートル以上離れています。



オペレーターRaskom、Telia Carrier Russia、Consistもサイトに参加していますが、DataLineは近い将来登場する予定です。  



ウドムリャからモスクワ、サンクトペテルブルグ、またはロシアと世界中のどこへでも運河を建設できます。 







モニタリング

監視センターでは、技術者が24時間体制で勤務しています。



エンジニアリングシステムに関するすべての情報は、ここで受け取られます:ホールの気候条件、入力の状態、DIBPなど



。2時間ごとに、担当官はすべてのインフラ施設を巡回して、エンジニアリングおよびIT機器の状態を検査します。 







サポートインフラストラクチャ

データセンターへの機器の配送用に、荷下ろしゾーンが用意されています。







内部から荷降ろしエリア。







ジムが2階にある場合、この油圧式フォークリフトはそこにある機器を取ります。







クライアントツールを格納するためのロッカーなど。  







日常生活について少し

常勤スタッフは、オフィス部分に設備の整った作業場を借りることができます。時々来る場合は、データセンターの領土にあるすべての設備を備えた一時的なホテルに滞在できます。 

オフィスエリアにはダイニングルームとキッチンもあります。  







また、森、湖、川、釣り、その他のアウトドアアクティビティで素晴らしい自然が広がっています。私の場所を訪れに来てください。











約束通り、最後までやり遂げた人には素晴らしいボーナスです。最初の6か月間は、供給電力が5 kWのウドムラにあるラックプレースの家賃は無料です。実際に消費された電気に対してのみ支払います。アプリケーションをrequest@dtln.ruに送信します



All Articles