youtube-dlプログラムが生まれた経緯

ご存知のように、現時点では、GitHubのyoutube-dlリポジトリは、RIAAからのDMCAリクエストによってブロックされています。メンテナの現在の計画や議論についてコメントすることはできませんが、RIAAからの非難を受けて、プログラムの作成者であり、最初のメンテナがyoutube-dlの初期について話すことは私にとって有益だと思いました。

銅コレクター

どんな良い話でも、悪役がいるに違いないので、私は銅のコレクター、つまりその地域で非鉄金属を集めた泥棒を選ぶことにしました。 youtube-dlの作成を促したのは彼らでした。 2006年、私の村はスペイン北部の小さな町アビレスから5〜10キロ離れた場所にありました。アビレスの住民は、ケーブルテレビやADSLインターネットアクセスなど、優れたインフラストラクチャとサービスを楽しんでいました。私の地域にはそのようなものはありませんでした。ADSL電話交換機から遠すぎて、銅のコレクターが何年にもわたって銅線を盗み、電話接続が中断され、電話会社がそれらの線をより弱く細いものに交換することを余儀なくされました。彼らも盗まれる可能性があります。これは数年間続いた。



自宅からインターネットにアクセスする唯一の方法は、56kV.90モデムでした。実際、接続品質が非常に悪かったため、安定性のために速度を33.6kbpsに下げる必要がありました。実際のダウンロード速度が4KB /秒を超えることはめったにありません。同時に、興味深いビデオサービスYouTubeがインターネットに登場し、急速に人気を博し、同じ年の終わりにGoogleに買収されました。

一晩中起きて作品を見る

33.6Kbpsの接続を介してYouTubeビデオを見るのは、大変な経験でした。ほとんどすべてのビデオのダウンロードに永遠にかかりました。たとえば、10 MBの短いビデオをダウンロードするには40分かかるため、ストリーミングは不可能です。より長く高品質のビデオは数時間かかり、チャネルを完全に占有します。接続がいつでも中断される可能性があることは言うまでもなく、ダウンロードを最初からやり直す必要があります。特定のビデオが本当に好きで、2回目または3回目に見たいと想像してみてください。このプロセスの繰り返しは、事実上マゾヒズムの行為になりました。



そのような状況で、私はビデオファイルをダウンロードする可能性について考え始めました。ビデオが面白かった場合、コピーを持っていると、後で数回レビューすることができます。また、ダウンロードプログラムが本当に優れている場合は、接続が中断された後、同じ場所からダウンロードを再開できます。



当時、かなり人気のあるGreasemonkeyスクリプトなど、YouTubeビデオをダウンロードするための他のソリューションがありました。..。偶然にも、既存のソリューションをカスタマイズして機能させることができなかったため、独自のツールを作成することにしました。これがyoutube-dlプログラムの登場です。コンソールから起動する方が便利で高速だったので、グラフィカルなインターフェイスはありません。Pythonが選ばれたのは、豊富な標準ライブラリがあり、どのプラットフォームでも機能するという快適な副作用があるためです。

エーテル発射

最初のバージョンはYouTubeでのみ機能しました。プログラムは必要なかったので、実際には通常のアーキテクチャはありませんでした。簡単なスクリプトとして書かれていて、それは要点に直結しました。プログラムのサイズは223行で、実際のコードは143行、コメントは44行、空の行は36行です。名前は純粋な便宜のために選ばれました。youtube-dlはわかりやすく、理解しやすく、忘れがたいものであり、コンソールに「YOU-TAB」と直感的に入力できます。



私はLinuxを数年間使用しているので、誰かが役立つと思った場合に備えて、無料のライセンス（最初のバージョンではMIT）でプログラムを公開することにしました。当時、GitHubはまだ登場しておらず、SourceForgeを使用する必要がありました。しかし、そこでは、新しいプロジェクトを作成するときに、面倒なフォームに記入する必要がありました。そのため、SourceForgeの代わりに、コードをすばやく投稿しましたインターネットプロバイダーによって提供された個人ページ。これは今日では珍しいようですが、ISPは、ユーザーに電子メールアドレスと、FTP経由でファイルをアップロードできるホスティングを提供していました。したがって、Web上で独自の個人Webサイトをホストできます。プログラムの最初のバージョンは2006年8月8日に公開されましたが、それまでに数週間使用していました。



開発の過程で、YouTubeで動画を見るときのFirefoxブラウザの動作を理解する必要がありました。正しく思い出せば、Firefoxにはネットワークアクティビティを分析するための開発ツールがまだ組み込まれていません。接続は主にHTTPを介して行われたため、当時Etherealとして知られていたWiresharkは、ネットワークトラフィックを分析するための非常に貴重なツールになりました。私は、ビデオを抽出するときにWebブラウザーが行ったのと同じことを行うという特定の目的でyoutube-dlを作成しました。プログラムは、Firefox for Linuxから逐語的にコピーされた同じユーザーエージェント文字列を送信し、サイトがプログラムにブラウザと同じWebページを送信したことを確認しました。



また、YouTubeは当時AdobeFlashプレーヤーを使用していました。..。ビデオはFlashVideo（FLV）ファイルとして提供されたため、ブラウザーで表示するには独自のプラグインが必要でした（多くの人は恐ろしいlibflashplayer.soライブラリを覚えています）。そのため、ブラウザー内の開発ツールは役に立ちませんでした。この独自のプラグインは、セキュリティの脆弱性と問題の絶え間ない原因となっています。 Flashblockと呼ばれるFirefox拡張機能があり、コンテンツがデフォルトで読み込まれず、クリック可能なアイコンが付いたプレースホルダーに置き換えられたため、コンテンツはリクエストがあった場合にのみ読み込まれ、ユーザーがリクエストしない限りプラグインライブラリは使用されませんでした。



Flashblockには、セキュリティの向上に加えて、他に2つの利点がありました。まず、セキュリティ上の問題を引き起こす可能性のある、騒々しく不快なバナーを多数削除しました。第二に、それはプレーヤーにビデオをロードするプロセスの分析を容易にしました。ページが完全に読み込まれるのを待ってから、Flashblockアイコンをクリックする直前にWiresharkを起動し、ビデオのダウンロードを開始しました。したがって、分析する唯一のトラフィックは、ビデオプレーヤーアプリケーションをロードするプラグインと、ビデオをロードするアプリケーション自体に関連していました。



また、当時のFlash Playerプラグインは、ビデオのコピーをすでにハードディスクにアップロードしていることにも注意してください（Linuxでは、それらはに保存されていました）。/tmp）、および多くのユーザーは、追加のツールなしでコピーを作成するためにこの機能に依存しています。したがって、youtube-dlは、たとえば、ビデオ名を抽出してファイルに自動的に割り当てるという理由だけで、より便利でした。

ああ、新鮮な肉！

最終的に、Flash Playerは、ビデオの抽出をより困難にするように変更されました。最初の対策の1つは、ビデオファイルの作成後にビデオファイルへのリンクを解除して、iノードがまだ存在し、それを使用するプロセスで使用できるようにして（閉じるまで）、ファイルシステムの観点からファイルを非表示に保つことでした。ファイルシステム/procを使用してファイルを取得し、ブラウザプロセスで使用されるファイル記述子を調べることは可能でしたが、これらの小さな手順のそれぞれで、youtube-dlはますます便利になりました。



当時の多くのオープンソース愛好家のように、私はFreshmeatを使用して、興味のあるプロジェクトの新しいリリースをサブスクライブしました。 youtube-dlを作成したときに、このWebサイトにプロジェクトレコードも作成して、ユーザーに新しいリリースと、新機能、修正、および改善をリストした変更ログを通知できるようにしました。 Freshmeatカタログでは、新しく興味深いプロジェクトを検索することができました。最新の更新は、通常1日あたり数十の最初のページに公開されました。このようにして、linux.comの編集者であるJoe Barr（安らかに）がプログラムについて知り、それについての記事を書くことにしたと思います。2006年にさかのぼります。Linux.comは、SlashdotやLinux Weekly Newsなどの他の古典的なサイトと並んで、当時のLinux愛好家に最も人気のあるリソースの1つでした。少なくとも私にとっては。



その瞬間から、youtube-dlの人気が高まり始め、時々、プログラムの作成とサポートに対して感謝の手紙を受け取り始めました。

トラフィックカウント

2008年に早送りします。 youtube-dlの人気はゆっくりと高まり続け、ユーザーは他のサイトからダウンロードするために同様のプログラムを作成するようにしばしば要求しました、そして私はこの要求に何度か屈服しました。複数のビデオサイトの元のサポートを実装するために、プログラムを最初から書き直すことにしたのはこの時点でした。最も重要な部分を単純化するために、プログラムの内部をいくつかの部分に分割する方法についていくつかの簡単なアイデアがありました：すべてのWebサイトに共通の個別のファイルローダー、および個別に-情報抽出：特定のコードを含むオブジェクト（クラス）ビデオサイト。 URLまたは疑似URLが指定されると、抽出者はこのタイプのURLを処理できるものを見つけるように要求され、次にそのビデオまたはビデオリストに関する情報を抽出するように要求されます。主な目的は、ビデオURLまたは使用可能な形式のURLのリスト、およびタイトルなどの他のメタデータを取得することです。



また、バージョン管理システムを変更し、プロジェクトを別のホスティングに移動する機会もありました。当時、Gitは分散バージョン制御戦争に勝利していましたが、Mercurialにも多くのユーザーがいました。私は両方をテストし、GitよりもMercurialが少し好きだと判断しました。 youtube-dlで使い始め、Bitbucketに投稿しましたこれは当然の選択でした。当時、BitbucketはMercurialリポジトリのみをホストし、GitHubはGitのみをホストしていました。どちらも2008年に発売され、SourceForgeと比較して新鮮な空気の息吹です。分散バージョン制御システムを使用すると、ユーザーごとに異なるプロジェクト名名（つまり、プロジェクト名はグローバルに一意である必要はありませんが、プロジェクトに対してのみ一意である必要があります）により、2つのサイトのいずれかに数分で個人プロジェクトを公開できます。 ..。とにかく、プロジェクト履歴をGitに移動し、プロジェクトをGitHubに移動したのは、数年後のことです。



プロジェクトを書き直すときは、間違いなくその機会を利用して名前を変更する必要がありましたが、既存のユーザーを混乱させたくなく、プログラムの人気を維持するために名前を残しました。



その年、技術的背景もわずかに変化しました。モバイルデータプランが勢いを増し始め、その年の終わりに私は3Gモデムとデータプランを購入しました。これにより、初めてWebを適切な速度で閲覧できるようになりました。とにかく、それは私がyoutube-dlの使用をやめさせませんでした。月額45ユーロを支払いましたが、月間データ制限は5 GBに制限されていたため、平均して1日あたり約150MBしか使用できませんでした。また、速度によってはるかに多くのダウンロードが可能になったため、トラフィックを監視し、コンテンツを選択的に選択して、可能であれば大量のダウンロードを回避する必要がありました。したがって、youtube-dlは、大きなビデオファイルの複数のダウンロードを防ぎ、料金プランの範囲内にとどまるのに大いに役立ちました。

エピソード：新しい家

しばらくして、2009年の終わりに、私は引っ越して、ついにアビレスでガールフレンド（現在は妻と2人の母親）と暮らし始めました。私は初めて高速インターネットを利用しました。これは、長年にわたって多くの友人や家族の標準となっています。トラフィック制限のない100 / 10Mbpsケーブル接続（ダウンロード/アップロード）だったのを覚えています。これは、私がyoutube-dlを使用する頻度と、プロジェクトにどれだけ注意を払ったかという点で間違いなくターニングポイントを示しました。



その後、私はついにコードをGitとGitHubに移植しました。その時、YouTubeはHTML5ビデオの実験を開始しました。これは、2015年頃にデフォルトになります。 2011年、私はソフトウェアエンジニアとして数年間フルタイムで働いていましたが、一般的に、仕事から戻ったとき、ユーザーの要求に応じてyoutube-dlをプログラミングおよび構成したり、私自身が個人的に使用する予定のない機能を実装したりしたくありませんでした。



2011年の後半、別の重要なプロジェクトの最中に、私は数か月間そのタスクに対処できなかったため、youtube-dlメンテナのポストを辞めることにしました。フィリップ・ハゲマイスター優れたプログラマーであることが証明され、彼は多くの人々が興味を持っていた修正を含むいくつかのプルリクエストをGitHubに送信しました。私は彼に私のyoutube-dlリポジトリへのコミットへのアクセスを許可しました、そしてそれは本質的に私の側の話の終わりでした。アップストリームログは、2011年3月までコミットの継続的なストリームを示し、その後、Philipからのマージで2011年8月にジャンプします。私は以来、唯一の変化のために2013年にコミット行ったrg3.github.comのソースコードへのrg3.github.io GitHubには、からのカスタムページを移動したときにUSERNAME.github.comにUSERNAME.github.ioでセキュリティ上の問題を回避するために、私が正しく覚えていれば、それ自体のドメイン上の悪意のあるコード。



私はyoutube-dlの開発には参加しませんでしたが、何年もの間、公式のプロジェクトページはまだ私のアカウントの下にhttps://github.com/rg3/youtube-dlありましたhttps://rg3.github.io/youtube-dl/。私はフィリップや他のメンテナは以下のような追加の開発者へのアクセスコミットを求めたときに表示するために必要なフィリッポValsordaやセルゲイ・M.、現在のメンテナの1を。残念ながら、2019年には、トラッカーのトロールに小さな問題が発生し、プロジェクトの所有者のみがユーザーをブロックできます。これにより、最終的にプロジェクトをGitHub組織に移動し、コミットにアクセスできるすべての人が招待されました（ただし、全員が参加したわけではありません）。 GitHubの組織により、メンテナは少しの挑発で私を引っ張ることなく、より自由に行動することができました。



コードを大幅に改善し、実際のコミュニティを作成することができ、プロジェクトを10年近く前に去ったときよりもはるかに人気のあるものにしてくれた、さまざまなプロジェクトメンテナに改めて心からの感謝を表したいと思います。

オフラインで無料

ツールとしてのyoutube-dlの目的は、その存在の14年間で実質的に変わっていないことをもう一度指摘したいと思います。RIAAからDMCAレターを受け取る前後に、多くの人がyoutube-dlをさまざまな 目的でどのように使用するかについて話しました。



私にとっては、インターネット上ですでに一般に公開されているビデオへのオフラインアクセスは常にありました。モバイルネットワークと常時接続の世界では、本当に必要かどうかを尋ねる場合があります。 Netflix、Amazon、Disney、HBOが、非常に人気のあるストリーミングアプリに同様の機能を実装しているとしたら、そう思います。長い遠征や海外旅行、特に子供、地下、飛行機、または接続が不十分または限られた場所での旅行の場合、ポッドキャスト、講義、レビュー、ニュース、または芸術作品にオフラインでアクセスできると非常に便利です。



youtube-dlの追加の副作用は、オンラインインターフェイスがタスクに対応していない場合のコンテンツへのアクセスです。古い独自のFlashプラグインは、すべてのプラットフォームとアーキテクチャで機能するとは限りませんでした。現在、ブラウザはビデオを再生できますが、効率的なGPUデコードを利用できず、多くのバッテリ電力を浪費することがあります。 Youtube-dlを独自のプレーヤーで使用して、特定のビデオを再生可能および/または効率的にすることができます。たとえば、mpvプレーヤーにはyoutube-dlのサポートが組み込まれています。 URLを渡すだけで、youtube-dlを使用してビデオストリームにアクセスし、ハードドライブに何も保存せずに再生できます。



デフォルトのオンラインインターフェースには、一部の人がナビゲートする必要のあるアクセシビリティ機能や、ネイティブのビデオプレーヤーアプリから利用できるカラーブラインドの人のためのカラーフィルターがない場合があります。



大事なことを言い忘れましたが、youtube-dlのようなツールを使用すると、無料のソフトウェアのみを使用してオンラインビデオにアクセスできます。厳密に無料でオープンソースのソフトウェアを支持する人は、世界中にそれほど多くないことを理解しています。概して、私は自分自身をそのようにさえ考えていません。独自のソフトウェアは現代の生活に常に存在し、ブラウザに大量のJavascript行の形で毎日配信されますが、さまざまな目的があり、必ずしもユーザーの利益になるとは限りません。その証拠はGDPRの出現です、そのすべての欠陥と問題を抱えています。youtube-dlを使用してオンライン動画にアクセスすると、uBlockOriginまたはPrivacyBadgerがほとんど落ち着かない完全な無意識の安心感が保証されます。