バレエとロボット

ボンネットの下に咲くビデオ

いつもと違う趣味の話を続けます。私の趣味は、古代の白黒ビデオを現代的に見える素材にアルゴリズム的に変換することです。この記事では、私の最初の仕事について説明し ます。時が経ち、私のスキルは向上し、今では「ズームして強化」というミームを笑っていません 。

気晴らしは奇妙に見えるかもしれませんが、楽しいことは事実です。おそらくそれは、テクノロジーの助けを借りて過去の灰を火に変える魔法使いの能力なのかもしれません。あるいは、その理由は、既成の解決策を持たない多くの知的なパズルにあるのかもしれません。創造的な自己表現の欠如、おそらくすべて一緒。新しいビデオを作成するたびに、プロセスは詳細で肥大化し、関連するサードパーティのツールとスクリプトの数が増えています。



大量のインド人やキログラムのお金を必要とする手動の復元と色付けについて話しているのではなく、自動調整アルゴリズム(「AI」、「ニューラル ネットワーク」と呼ばれることが多い) の使用について話していることを明確にする必要があります 。



かつて私の作品は他のアマチュアの作品よりも明快さと色がわずかに優れていましたが、今では使用されるツールの武器が非常に拡大しており、最終結果の品質は投資した時間のみに依存しています。

セット story<0x8D>小話

特定のプログラムをダウンロードしてビデオ録画を挿入するだけで十分であることは明らかであり、すべての複雑な作業はすでに完了しているため、外部からは、ビデオの自動退色のプロセスは難解なものとして認識されません。色褪せアルゴリズムを設計し、トレーニングに電気を費やした人による。



革新的な Deoldifyカラーフェージング アルゴリズムがどのように実現したかについてお話しましょう 。機械学習に興味があったとしても、ジェレミー・ハワードが誰であるかを知っているとは限りません 。彼の専門家としてのキャリアは、20 年前に雇われたコンサルタントとして始まり、現在データ サイエンスと呼ばれるもの、つまり、数学を使用してデータから利益を抽出することに従事していました。



いくつかの新興企業を売却したことで、彼は人類の発展に積極的に貢献することを意図的に考えることができました。 Dolina に移った後、彼はトップクラスの機械学習スペシャリストの群れに加わり、2011 年には Kaggle コンペティションで最高の参加者になりました。



2014年に大きな転機が訪れたのは、レントゲン写真から医学的異常を自動検出するプロジェクトが、熟練した医師の仕事の質を上回る結果を示したときでした。同時に、プロジェクトは、投資された知的資源および物質的資源の点で壮大なものを代表するものではなく、最終的なトレーニングはプレゼンテーションの前夜に行われました。技術進歩の転換点を象徴する典型的な作業プロジェクト。





Jeremy は、このような強力なツールがどの分野でも成長の源になり得ることを明確に理解しています。主な問題は、自己学習システムの専門家の数が、その能力を利用できるプロジェクトの数に比べて比較にならないことでした (現在もそうです)。彼の観点からは、このツールをすべての人に提供する方がはるかに効果的です。これが、コードとトレーニング コースの共生であるFast.Aiプロジェクトの登場 です。一方のコードにより、Pytorch がはるかに使いやすくなります。 （機械学習アルゴリズムを構築するためのツール）、その一方で、専門家が学習の速度と質を高めるために使用する既製のテクニックがたくさん含まれています。カリキュラムは上から下まで構造化されており、最初に学生は既製のパイプラインの使用方法を学び、次にジェレミーはパイプラインの各要素をゼロから作成する方法を示し、背後にある主要なアルゴリズムの Excel シート上のライブ デモから始めます。ディープラーニングのすべて。 Fast.Ai プロジェクトの目標は、あらゆる分野の専門家に、典型的なアーキテクチャの典型的な問題を解決する方法を教えることです (もちろん、プログラミング スキルがあれば)。奇跡は起こらず、そのような訓練後のスキルのレベルは「ラウンドカティ - スクエアバート」のレベルを超えていませんが、これでさえ、同僚がアクセスできない新しいレベルで仕事上の問題を解決するのに十分です。



Fast.Ai チュートリアルのトピックの 1 つは、画像の再解釈に焦点を当てた UNet アーキテクチャの使用に専念しています 。たとえば、このアーキテクチャをトレーニングして、熱画像装置でキャプチャした画像からリアルな写真を生成したり、画像の異常を比較したりできます。一般に、そのようなアーキテクチャは、その既知のフォームとプロパティによって、フォーム内のプロパティの存在を予測することを可能にし、その識別はトレーニングの目標でした。





宿題として、コースの学生は、興味深い問題を解決するために UNet を使用するように勧められました。ある ジェイソン・アンティックが白黒写真をカラーに変換することに興味を持つようになりました。彼の実験は、そのようなアーキテクチャが十分な結果を生み出し、さらなる発展の大きな可能性があることを示しました。これが Deoldify プロジェクトが生まれた方法で、Jeremy Howard 自身の助けを借りて完成品に成長し、最終的にはインターネットを爆破しました。作者は 最初のバージョンを誰でも利用できるようにし、彼自身がクローズド商用バージョンの開発を開始しました。これは、系図プロジェクトMyHeritage.com で限定形式で使用できます。 （要登録、写真数枚無料）。

▍ « »

最先端のオープンソースの機械学習プロジェクトの主な問題は、通常、使いやすさがゼロの左側にあるということです。プロジェクトの作成者は学習パイプラインに焦点を当てており、コミュニティへのプレゼンテーションのためだけにアルゴリズムの結果が必要です。ユーザーによるプロジェクトの自己完結が一般的です。遠くまで行かないようにするには、ビデオを処理する前に、ビデオをデコードして各フレームを処理し、結果としてビデオファイルに圧縮する必要があります.1つのビデオが複数のツールで処理された場合、連続圧縮後に品質を忘れることができます.画像のスタックを操作するには、新しいツールごとにやり直す必要があります。しかし、パイプライン レベルのツールに、実行ごとに 8 フレーム以下の使用が組み込まれている場合はどうなるでしょうか。このアルゴリズムは、デモンストレーションには十分ですが、実用的な目的には十分ではありません。複数回実行するには、外部ラッパーを作成する必要があります。これは、アルゴリズムの事前トレーニング済み状態との互換性を失うことなく、他の誰かのパイプラインを変更できる可能性は低いためです。そしてもちろん、アカデミック ライターは最適化をあまり気にしません。マッチ箱よりも大きな画像の処理を拒否したプロジェクトが 1 つあります。最適化後、必要なビデオ メモリが 5 分の 1 になり、今では FullHd を処理できるようになりました。アルゴリズムの事前トレーニング済み状態との互換性を失うことなく、他の誰かのパイプラインを変更することが可能であること。そしてもちろん、アカデミック ライターは最適化をあまり気にしません。マッチ箱よりも大きな画像の処理を拒否したプロジェクトが 1 つあります。最適化後、必要なビデオ メモリが 5 分の 1 になり始め、今では FullHd を処理できるようになりました。アルゴリズムの事前トレーニング済み状態との互換性を失うことなく、他の誰かのパイプラインを変更することが可能であること。そしてもちろん、アカデミック ライターは最適化をあまり気にしません。マッチ箱よりも大きな画像の処理を拒否したプロジェクトが 1 つあります。最適化後、必要なビデオ メモリが 5 分の 1 になり、今では FullHd を処理できるようになりました。



長い間遭遇した妨害をリストすることができます.アルゴリズムが機能するためにはインストルメンタルライブラリのインストールが必要であるという事実に固執するだけで十分です.時にはライブラリが停止するまでに2~3日の実験がかかるかもしれません.互いに競合している (正確なバージョンのリストがあるとしても、長い間グーグルをしなければならない理由はたくさんある)。

付加<0xE2><0x8D>美の分

色付けのための素材の選択は、それほど簡単ではありません。一方では、コンテンツは私にとって興味深いものでなければなりませんが、他方では、技術的な詳細で飽和したディーゼル会社の長い広告映画は、幅広い視聴者に興味を持たれそうにありません。著作権上の理由で選択。新しいオプションは、メモリまたは特定のレコードの検索から得られます。私の最後の作品は、ロシアのバレリーナ、アンナ・パブロワに捧げられています。彼女については多くのことが書かれ、語られてきましたが、多くの写真が生き残っていますが、彼女の専門的な活動は時間と空間の動きに関連しているため、最も興味深い目撃者は映画です。残念ながら、現存する記録の一部は一般の人々に知られておらず、現在検索されているものはまったく嫌な品質のものです。アンナ・パヴロワの姿が面白いのは、文字通りフィギュアです。彼女は現代のバレリーナの基準の原型と見なすことができます.19世紀の終わりに、薄さは病気や貧困の兆候として、もちろん、人々の間で集合的に認識されていたことは、おそらくあなたにとって発見ではないでしょう.裕福な人々にはさまざまな数字がありましたが、一般的に、太っていることは成功した人生の指標として認識されていました。劇場の舞台でたびたび演じられた、元気いっぱいの女性たち、当時の三ツ星写真がこちら。劇場の舞台でたびたび演じられた、元気いっぱいの女性たち、当時の三ツ星写真がこちら。劇場の舞台でたびたび演じられた、元気いっぱいの女性たち、当時の三ツ星写真がこちら。





私の作品の 1 つで、その様子を見ることさえできます。歴史をよく理解していない視聴者は、そのような写真を真剣に受け止めることはほとんどありませんが、地球の最先端の住民は確かにここで肯定的だと思います。





アンナ・パヴロワに話を戻すと、バレリーナのダンスを描いた映画がいくつかあります。それらは高品質で存在しますが、公開されていません。しかし、検索の過程で、驚いたことに、バレリーナが主役を演じた長編映画を見つけました。映画の冒頭に、 あらすじとは関係のないダンスのナンバーが挿入されているので、これまで制作してきた別の映像と考えるのが妥当です。

割<0x96><0x8D><0x8D> スタート時の問題点

元のビデオを一連の PNG ファイルにデコードします。結果の画像を見て、前の画像を繰り返すフレームがあることに気付きます。





これは標準的な話です。映画撮影の save明期には、1 秒あたり 12 ～ 19 フレーム (以下、fps と呼ぶ) の撮影速度がフィルムの保存に使用されていたからです。映像の 99% が 24 ～ 25 fps だった後のアナログ時代では、古いテープがフレームごとにコピーされ、再生が高速になりました。したがって、大多数の人の心の中で、古い年代記は、不明瞭な急いでいる小人にしっかりと関連付けられています。真実は、白黒フィルムのオリジナルは非常によく保持され、カラーのものよりもさらに良く、DVDとフルHDの間の解像度を持っているということです.ほとんどの場合、映し出されたものからスクリーンに再撮影された粗悪なコピーしか見えませんでした。多くの映画はそのようなコピーだけで生き残っていますが (損失は人的要因によるものです)、生き残ったオリジナルの数は依然として重要です。幸いなことに、最近ではコンピューターの画像処理により、スキャンされた高品質のオリジナルのコピーを無制限に複製し、欠陥をクリーンアップして、通常のフレーム レートで素材を再生することができます。



低フレーム レートには 2 つの別個の問題があります。まず、これは非標準です。パソコンで再生速度を使用できる場合、24 ～ 30 fps の範囲を順守する必要がある場合が多いです。フレーム レートを修正する最も簡単な方法は、3 ～ 4 フレームごとに最後のフレーム レートを繰り返すことです。同時に、オブジェクトの移動速度は自然になりますが、画像がぴくぴくして知覚される、これが実際には2番目の問題です。 2021年には、フレームを補間して滑らかな絵を作る技術が登場します。テレビやソフトウェア ビデオ プレーヤーのフレーム補間技術は、2005 年頃に発見されました。数学的アルゴリズムにより、隣接する 2 つの画像が混合されるため、再生時にフレームが滑らかに動きます。 24 fps でうまく機能します。フレーム間の違いが重要であることはめったにないためです。しかし、12 ～ 19 fps の場合、そのようなアルゴリズムは適切ではありません。ぼやけた二重画像や異常なアーティファクトを描画します。この問題は、さまざまな種類のオブジェクトのさまざまな動きに対して中間画像を描画する方法を正確に覚えることができる自己学習アルゴリズムによって、よりうまく解決されます。



無声映画時代の映画の最新の再リリースでは、補間の使用はまだ使用されておらず、ビデオにはフレームが繰り返されています。つまり、不要なものを削除する必要があることを意味します。

豪華<0xE2><0x8D><0x8D>Un<0x8D>UnUnUn

ペンでこれを取り除きます - あなたは拷問され、泳ぎます、私たちは知っています. 同一のフレームを検出するためのスクリプトを実行すると、スクリプトは「連続して多数一致」というエラーで失敗します。そして、もちろん、フレームが暗すぎるため、検索は同じフレームと異なるフレームを 1 つのヒープにレーキします。ダイナミック レンジの正規化スクリプトを実行すると、自動的に対照的な境界線が作成され、黒は黒につながり、白は白につながり、そのような操作中に失われたグレーの陰影がその場所に戻ります。





重複検索を再度開始すると、プロセスはより確実になりましたが、不要なフレームを削除した後、新しいものが見つかりました。ある程度の周期性がある場合、フレームが逆の順序で繰り返されます。元のビデオを起動して注意深く見てください。彼らは視覚の慣性を利用したトリックを実際に使用しており、通常の複製フレームよりも画像の痙攣が少なく感じられます。







スクリプトを変更 して、連続して同一のフレームを検索することから、1 つの中間フレームを介して同一のフレームを 検索するようにします。結果を確認します - 再び驚きです: 2 つのフレームに繰り返しがあります。スクリプトの 3 番目のバージョンを確認すると、驚きは終わります。



余分なフレームを削除する問題が突然深刻になりました。このような暗くて詳細が飽和していない場合、重複の自動検索を信頼することはできません。繰り返し間違いを犯し、不要なものをスキップして必要なものを削除します。映画の別のエピソードのすべてのタイプのテイクを検索し、エラーの数を最小限に抑えます。単純な繰り返しの場合は、ファイルマネージャーでテイクをハイライト表示することで、繰り返しのスキームを理解し、不要なファイルをプログラムで削除することができます。





この場合、パターンはランダムに周期的に見え、小さな断片が繰り返されますが、一般的に本質は不明です。じゃあ今は？アイデア全体を放棄するか、反復アルゴリズムを逆にします。



重複検索スクリプトを変更すると、重複の種類に応じてファイル名にラベルが追加されるようになりました。ファイルのリスト全体を Excel に転送し、ラベルのみを残して、列を行に変換し、許容される列数を超えて飛び出します。これで、2 つのシートに分割する必要があります。同じタイプの重複したフレームを 1 色で強調表示します。これにより、生物学的テンプレート アナライザーを使用できるようになります。





短い繰り返しはグループ化されます。長いグループがどれだけ正確に繰り返されるかをチェックします。グループは似ていますが、わずかな違いがあります。これは大失敗です。この図にはいくつかの理由が考えられます.ランダムな変更が意図的に行われた、フレームを完成させるためのいくつかのアルゴリズムが使用された、フレームのコンテンツが考慮された、またはメソッドが直感的でない関数を使用した.微積分のためにずっと長い繰り返しのシーケンスを書くのはやり過ぎのように感じました。





サンプルを使用して、手でノイズを除去する必要があります。関心のあるエピソードで重複検索スクリプトを実行し、フレームのシーケンスを Excel にロードし、ペイントして、その隣に長いシーケンスのテンプレートを挿入します。明確に見える場所にマーキングを置き、間違ったマーキングを削除します。次に、どのフレームがあるべきかを推測すると、画像の大部分が復元されます。不明な箇所がいくつか残されています。テンプレートまたは直感に従って、正確にマークを付けます。もちろん、どこかで間違いがありますが、どこかで、正しいシーケンスの一般的な背景に対して、それはもはや重要ではないことに気付くでしょう。絶対理想を絞り出す感覚。





最終的なリストを使用して、不要なものを削除し、チェックして出来上がりです。問題は 10 点満点中 9 点で解決したように見えます。

▍

これに続いて 17 回の黒魔術操作が行われ、その間に各操作の後にビデオ フレームを含む 17 のフォルダーがディスク上に形成されます。変色自体に加えて、変色に失敗したフレームの自動修正が実行され、画像の鮮明度が大幅に向上し、復元された画像は「アナログ」に戻ります（Photoshopの感覚を取り除くため）。さまざまなイメージ エンハンスメント ツールが使用され、スクリプトによって相互接続され、輝度チャネルとカラー チャネルがやり取りされます。ツールの名前は、私の職業上の秘密のままにします. Deoldify 2 の結果を見たとき、この分野で最高になりたいという私の願望は無意味であることが明らかになりました。品質のパーセンテージをどれだけクールにしても、新しい類似のアルゴリズムはそれぞれ古いアルゴリズムを凌駕します。 Deoldify を組み立てることを目標に、衰退することをあきらめて機械学習に飛び込みましたが、その後、一連のイベントが発生して、この目標から気を逸らしました。その結果、いくつかの既成のプロジェクトを共通のプロセスにまとめました。その結果、失敗した色付けアルゴリズムが何らかの形で置き換えられました。おそらく次の記事で、Google のカラライザの使用方法を説明します。彼女の記憶への欲求を抑えることができれば、コードと詳細があるでしょう。その結果、いくつかの既成のプロジェクトを共通のプロセスにまとめました。その結果、失敗した色付けアルゴリズムが何らかの形で置き換えられました。おそらく次の記事で、Google のカラライザの使用方法を説明します。彼女の記憶への欲求を抑えることができれば、コードと詳細があるでしょう。その結果、いくつかの既成のプロジェクトを共通のプロセスにまとめました。その結果、失敗した色付けアルゴリズムが何らかの形で置き換えられました。おそらく次の記事で、Google のカラライザの使用方法を説明します。彼女の記憶への欲求を抑えることができれば、コードと詳細があるでしょう。



ビデオの作業を完了するには、ジャムを取り除く必要があります。これには、プロのDavinci Resolveビデオハーベスタが最適 です。次の写真を個別に開くと、レタッチ チェーンの要素の数を確認できます。このデザインは、背景を黒にし、色を自然に近づけ、不要な色と戦い、スポットライト ビームの模倣を作成します (補正を使用したわずかな痕跡を隠します)。





フレーム補間、2K への表面的なアップスケーリングを行う必要があります。これで、ビデオの準備ができました。元の絵は暗すぎて奇跡を期待する必要はありませんが、ダンサーの澄んだ姿の滑らかな動きが今では考えられます。



映画自体には、比較的良好な写真の​​シーンが多数含まれているため、アルゴリズム処理によって画像がどの程度改善されるかを評価することができます。2K 解像度のフレームは記事には大きすぎるため、2 倍に縮小された最終フレームは、元の画像のフル フレームの隣に挿入されます。

豪華<0x96><0x8D>ResultResultResult

ダンス プロットには1251 フレーム(補間前)が含まれ 、作業には5 日かかりました 。

Youtubeの無料音楽ライブラリーから音楽を追加



このフィルムには19660 フレーム(補間前)が含まれ 、14 日間が処理されました (アルゴリズムのみ、手動によるレタッチは適用されませんでした)。音楽の場合、ここではより困難でした.最初はオペラの断片から組み立てられたバージョンがあり、これが映画の脚本の基礎を形成していましたが、著作権の関係でこのバージョンを公開することはできませんでした.最初のライブラリが見つかったとき、彼らはそれが最初よりも良くなったと言います。



コンピュータの特徴: Amd Ryzen 3 1200、4GB RAM、GTX 1060 3GB



▍-私の作品へのリンク：



YouTubeのない。



Rutubeない。



Instagramの

Ps 我慢できず、色を塗ってしまいました。