Pythonで最新のWebサイトスクレイピングを予約します。2番目のint。版"

こんにちは、住民！プログラミングが魔法のようなものである場合、Webスクレイピングは非常に強力な魔術です。簡単な自動プログラムを作成することで、Webサーバーに要求を送信し、Webサーバーからデータを要求し、それらを分析して必要な情報を抽出できます。この本の新しい拡張版は、Webスクレイピングを紹介するだけでなく、現代のインターネット上のあらゆる種類のデータを収集するのにも役立ちます。パートIは、Webスクレイピングの仕組みに焦点を当てています。Pythonを使用してWebサーバーから情報を要求し、基本的なサーバー応答処理を実行し、サイトとの自動対話を整理する方法です。パートIIでは、Webスクレイピングのシナリオで役立つより具体的なツールとアプリケーションについて説明します。 -複雑なHTMLページを解析します。-Scrapyフレームワークを使用して検索ロボットを開発します。 -スクレイピングされたデータを保存する方法を学びます。 -ドキュメントからデータを読み取って抽出します。 -フォーマットが不十分なデータをクリーンアップして正規化します。 -自然言語で情報を読み書きします。 -フォームとログインの検索をマスターします。 -JavaScriptスクレイピングとAPI作業について学びます。 -画像をテキストに変換するプログラムを使用および作成します。 -スクレイピングトラップとボットブロッカーをバイパスする方法を学びます。 -スクレイピングで自分のウェブサイトをテストします。-JavaScriptスクレイピングとAPI作業について学びます。 -画像をテキストに変換するプログラムを使用および作成します。 -スクレイピングトラップとボットブロッカーをバイパスする方法を学びます。 -スクレイピングで自分のウェブサイトをテストします。-JavaScriptスクレイピングとAPI作業について学びます。 -画像をテキストに変換するプログラムを使用および作成します。 -スクレイピングトラップとボットブロッカーをバイパスする方法を学びます。 -スクレイピングで自分のウェブサイトをテストします。

APIを使用したWebクロール

JavaScriptは、伝統的にWebクローラーの普遍的な呪いと考えられています。昔は、Webサーバーに送信したリクエストが、同じリクエストを行うことでユーザーがブラウザに表示するのと同じデータを確実に受信できることがありました。



コンテンツを生成およびロードするためのJavaScriptおよびAjaxメソッドが急増するにつれて、上記の状況は一般的ではなくなりつつあります。第11章では、この問題を解決する1つの方法、つまりSeleniumを使用してブラウザーを自動化し、データをフェッチする方法について説明しました。これは簡単です。これはほとんど常に機能します。



問題は、セレンのように強力で効果的なハンマーを手に持っていると、すべてのウェブスクレイピングタスクが釘のように感じ始めることです。



この章では、このJavaScriptをすべてバイパスして（実行したりロードしたりせずに）、データソース（そのデータを生成するAPI）に直接アクセスする方法を学習します。



APIの簡単な紹介



RESTAPI、GraphQL21、JSON、およびXMLのニュアンスに関する本、講演、チュートリアルは無数にありますが、それらはすべて1つの単純な概念に基づいています。 APIは、プログラムが異なる言語で記述されている場合や構造が異なる場合でも、あるプログラムが別のプログラムと対話できるようにする標準化された構文を定義します。



このセクションでは、Web API（特に、Webサーバーがブラウザーと対話できるようにするAPI）に焦点を当てます。ここでは、APIとはこのタイプのインターフェースを意味します。ただし、他のコンテキストでは、APIは一般的な用語でもあり、たとえば、Javaプログラムが同じコンピューターで実行されているPythonプログラムと対話できるようにするインターフェイスを意味する場合があることに注意してください。 APIは必ずしも「インターネット上のインターフェース」を意味するわけではなく、Webテクノロジーを含める必要はありません。



Web APIは、広く宣伝され、十分に文書化されたオープンソースサービスと対話するために開発者によって最も一般的に使用されます。たとえば、アメリカのケーブルスポーツTVチャンネルESPNは、アスリートやゲームのスコアなどに関する情報のAPI（http://www.espn.com/apis/devcenter/docs/）を提供しています。Googleには開発者セクション（https：/ /console.developers.google.com）言語の翻訳、分析、ジオロケーション用のAPIが数十あります。



これらすべてのAPIのドキュメントでは、通常、これらのURLの一部として、またはGETパラメーターとして機能する可変パラメーターを使用して、要求可能なURLの形式でルートまたはエンドポイントについて説明しています。



たとえば、次のURLでは、pathparamはパスパラメータです。



example.com/the-api-route/pathparam



そしてここpathparamは、パラメータ1パラメータの値である：



example.com/the-api-route?param1=pathparam



APIへデータを転送するどちらの方法があるが、非常に広く使用されています、コンピュータサイエンスの他の多くの側面と同様に、変数がパスを介して渡されるタイミングと場所、およびパラメータを介して渡されるタイミングについて、熱心な哲学的議論の対象となっています。



APIリクエストへの応答は、通常、JSONまたはXML形式で返されます。現在、JSONはXMLよりもはるかに人気がありますが、XMLにも遭遇することがあります。多くのAPIでは、応答のタイプを選択できます。通常は、受信する応答のタイプを決定する別のパラメーターを使用します。



APIリクエストに対するJSON応答の例を次に示します。

{"user":{"id": 123, "name": "Ryan Mitchell", "city": "Boston"}}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

そして、これがXML形式のAPIリクエストへの応答です。

<user><id>123</id><name>Ryan Mitchell</name><city>Boston</city></user>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

サイトip-api.com（http://ip-api.com/）には、IPアドレスを実際の物理アドレスに変換する明確で便利なAPIがあります。次の



ip-api.com/json/50.78.253.58 をブラウザに入力して、簡単なAPIリクエストを作成してみると、次の



ような応答が返されます 。

{"ip":"50.78.253.58","country_code":"US","country_name":"United States",
"region_code":"MA","region_name":"Massachusetts","city":"Boston",
"zip_code":"02116","time_zone":"America/New_York","latitude":42.3496,
"longitude":-71.0746,"metro_code":506}

      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

リクエストにはjsonパスパラメータがあることに注意してください。 XMLまたはCSV形式で応答を取得するには、適切な形式に置き換える必要があります



。ip

-api.com / xml / 50.78.253.58 ip-api.com/csv/50.78.253.58API



およびHTTPメソッド



前のセクション、APIを調べ、情報を取得するためにサーバーにGETリクエストを送信しました。 HTTPを介してWebサーバーに情報を要求する主な方法（または方法）は4つあります



。

- 役職;

-プット;

-削除。



技術的には、4種類以上のリクエストがあります（たとえば、まだHEAD、OPTIONS、CONNECTがあります）が、APIで使用されることはめったになく、それらに遭遇する可能性はほとんどありません。 APIの大部分は、これら4つのメソッドに制限されており、場合によってはそれらの一部にさえ制限されています。 GETのみ、またはGETとPOSTのみを使用するAPIは常に存在します。



GETは、ブラウザのアドレスバーにアドレスを入力してサイトにアクセスするときに使用するリクエストです。とき あなたはip-api.com/json/50.78.253.58を訪問し、あなたは、GETメソッドを使用しています。このリクエストは、「ねえ、ウェブサーバー、この情報を教えてください」というコマンドと考えることができます。



GET要求は、定義上、サーバーデータベースの内容を変更しません。何も保存されず、何も変更されません。情報は読み取られるだけです。



POSTは、フォームへの入力または情報の送信時に使用される要求であり、おそらくサーバースクリプトによる処理を目的としています。サイトにログインするたびに、POSTリクエストを行い、ユーザー名と（できれば）暗号化されたパスワードを渡します。 APIを介してPOSTリクエストを行うことで、サーバーに「この情報をデータベースに保存してください」と伝えていることになります。



サイトとやり取りするときのPUTリクエストはあまり使用されませんが、APIで発生することがあります。このリクエストは、オブジェクトまたは情報を変更するために使用されます。たとえば、APIはPOSTリクエストを使用してユーザーを作成し、PUTリクエストを使用してユーザーのメールアドレスを変更できます。



ご想像のとおり、DELETEリクエストはオブジェクトを削除するために使用されます。たとえば、DELETEリクエストをmyapi.com/user/23に送信する と、ユーザーID 23が削除されます。DELETEメソッドは、主に情報を配布したり、ユーザーが作成できるようにするために作成されるため、オープンAPIではあまり見られません。または情報を公開しますが、データベースから削除しないでください。



GET、POST、PUT、およびDELETEリクエストとは異なり、データがリクエストされたURLまたはルートに加えて、リクエストの本文で情報を渡すことができます。

Webサーバーから受信した応答と同様に、リクエスト本文のこのデータは通常JSONであるか、あまり一般的ではありませんがXMLです。特定のデータ形式は、API構文によって決定されます。たとえば、ブログ投稿にコメントを追加するAPIを使用する場合、次のPUTリクエストを作成できます：



example.com/comments？post = 123 次の



ようなリクエスト本文を使用します。

{"title": "Great post about APIs!", "body": "Very informative. Really helped me out with a tricky technical challenge I was facing. Thanks for taking the time to write such a detailed blog post about PUT requests!", "author": {"name": "Ryan Mitchell", "website": "http://pythonscraping.com", "company": "O'Reilly Media"}}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

ブログ投稿ID（123）がURLのパラメーターとして渡され、作成したコメントのコンテンツがリクエスト本文に渡されることに注意してください。パラメータとデータは、パラメータとリクエスト本文の両方で渡すことができます。どのパラメーターが必要で、どこに渡されるかは、API構文によって決定されます。



APIリクエストへの応答の詳細



この章の冒頭のip-api.comの例で見たように、APIの重要な機能は、これらのインターフェイスが適切にフォーマットされた応答を返すことです。最も一般的な応答形式は、XML（eXtensible Markup Language）とJSON（JavaScript Object Notation）です。



近年、いくつかの主な理由から、JSONはXMLよりもはるかに人気があります。まず、JSONファイルは通常、巧妙に作成されたXMLファイルよりも小さいです。たとえば、98文字の長さの次のXMLデータを比較します。

<user><firstname>Ryan</firstname><lastname>Mitchell</
lastname><username>Kludgist</username></user>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

同じJSONデータを見てみましょう。

{"user":{"firstname":"Ryan","lastname":"Mitchell","username":"Kludgist"}}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

これはわずか73文字で、同じXMLデータよりも36％少なくなっています。

もちろん、XMLは次のようにフォーマットできる可能性があります。

<user firstname="ryan" lastname="mitchell" username="Kludgist"></user>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

ただし、このビューはディープデータのネストをサポートしていないため、これはお勧めしません。それでも、エントリの長さは71文字で、同等のJSONとほぼ同じです。



JSONがXMLよりも急速に普及しているもう1つの理由は、Webテクノロジーの変化に関係しています。以前は、API受信者は主にPHPまたは.NETサーバーサイドスクリプトでした。これで、AngularやBackboneなどのフレームワークがAPI呼び出しを送受信することが判明する可能性があります。サーバーテクノロジーは、ある程度、データがどのような形式をとるかを気にしません。ただし、BackboneなどのJavaScriptライブラリでは、JSONの処理が簡単です。



APIはXMLまたはJSON形式のいずれかで応答を返すことが一般的に認められていますが、他のオプションも可能です。 API応答タイプは、このインターフェースを作成したプログラマーの想像力によってのみ制限されます。もう1つの典型的な応答形式はCSVです（ip-api.comの例を参照）。個別のAPIを使用すると、ファイルを作成することもできます。サーバーにリクエストを送信すると、指定したテキストがスーパーインポーズされた画像が生成されます。または、特定のXLSXまたはPDFファイルをリクエストすることもできます。



一部のAPIは、応答をまったく返しません。たとえば、ブログ投稿にコメントを作成するようにサーバーにリクエストを送信すると、サーバーは200のHTTP応答コードしか返すことができません。これは次のことを意味します。すべて順調！"他のクエリは、次のような最小限の応答を返す場合があります。

{"success": true}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

エラーが発生した場合は、次の応答が得られます。

{"error": {"message": "Something super bad happened"}}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

または、APIが適切に構成されていない場合、判読できないスタックトレースまたは英語のテキストが表示される可能性があります。APIにリクエストを送信するときは、通常、受信するレスポンスが実際にJSON形式（またはXML、CSV、または受信する予定の形式）であることを最初に確認するのが理にかなっています。



著者について



Ryan Mitchellは、ボストンのHedgeServのシニアソフトウェアエンジニアであり、データ分析用のAPIとツールを開発しています。ライアンは工学技術大学を卒業しました。 Franklin V. Olinは、ハーバード大学の継続教育コースでソフトウェアエンジニアリングの修士号とデータ分析および処理の証明書を取得しています。 HedgeServに参加する前、ライアンはAbineで働き、PythonでWebスクレイパーと自動化ツールを開発しました。彼は定期的に小売、金融、製薬のWebスクレイピングプロジェクトについてアドバイスしています。ノースイースタン大学とエンジニアリングアンドテクノロジー大学でコンサルタントおよびフリーランスの教師として同時に働いています。フランクリンV.オーリン。



この本についての詳細は、上で見つけることができる 出版社のウェブサイト

» 目次

» 抜粋



については居住者クーポンで25％割引- Pythonの



書籍の紙のバージョンの支払いの際、電子書籍は、電子に送信されます-郵便物。