データアナリストボーナス：ダブリンで新しい家を見つけた方法

今日の翻訳はデータサイエンスに関するものです。ダブリンのデータアナリストは、需要が高く供給が少ない市場で住宅を探していたと語った。

私はいつも、仕事のスキルを日常生活に応用できる専門家を羨ましがっ ています。配管工、歯科医、またはシェフを例にとってみましょう。彼らのスキルは、仕事で役立つだけではありません。



データアナリストとソフトウェアエンジニアにとって、これらのメリットは通常、あまり具体的ではありません。もちろん、私は技術に精通していますが、仕事では主にビジネスセクターを扱っているため、家族の問題を解決するためのスキルの興味深いユースケースを見つけるのは困難です。



妻と私がダブリンで新しい家を買うことに決めたとき、私はすぐにその知識を使う機会を見ました！



記事の内容：

• 需要が高く、供給が少ない
• データを探す
• アイデアからツールへ
• 基本データ
• データ品質の向上
• Google Data Studio
• いくつかの実装の詳細（そして楽しい部分に移ります）
• ジオコーディングアドレス
• 物件が市場に出ている時間の計算
• 分析
• 調査結果
• 結論

以下のデータはスクレイプされていませんが、このスクリプトで生成されてい ます。

需要が高く、供給が少ない

それがどのように始まったかを理解するために、ダブリンで不動産を購入した私の個人的な経験を読むことができます。それは容易ではなかったことを認めなければなりません。市場は非常に需要が高く（近年のアイルランドの優れた経済パフォーマンスのおかげで）、住宅は非常に高価です。ユーロスタットのレポートによる と、アイルランドは2019年にEUと比較して住宅費が最も高かった（EU平均を77％上回っています）。







この図はどういう意味ですか？



1. 私たちの予算に合う家はほとんどなく、需要の高い都市の地域では、さらに少ない家があります（多かれ少なかれ通常の交通インフラがあります）。



2.二次住宅の 状態が非常に悪い場合があります、所有者が販売する前に修理に投資することは有益ではないので。販売中の住宅は、エネルギー効率の評価が低く、配管や電気機器が不十分であることがよくあります。つまり、購入者は、すでに高い価格にリフォーム費用を追加する必要があります。



3. 販売はオークションシステムに基づいており、ほとんどの場合、購入者の入札は開始価格を上回ります。私の知る限り、これは新しい建物には当てはまりませんが、予算を大幅に超えていたため、このセグメントはまったく考慮しませんでした。



大都市でも同じことが起こる可能性が高いので、世界中の多くの人がこの状況に精通していると思います。



私たちの物件検索の他のみんなと同じように、私たちは手頃な価格で完璧なエリアに完璧な家を見つけたいと思っていました。データ分析がこれを行うのにどのように役立ったかを見てみましょう！

データを探す

どのデータサイエンスプロジェクトにもデータ収集段階があり、この特定のケースでは、市場で入手可能なすべての住宅に関する情報を含むソースを探していました。アイルランドには2種類のサイトがあります。

• 不動産業者のウェブサイト、
• アグリゲーター。

どちらのオプションも非常に便利で、売り手と買い手にとって生活がはるかに楽になります。残念ながら、ユーザーインターフェイスと推奨されるフィルターは、必要な情報を抽出してさまざまなプロパティを比較するための最も効率的な方法を常に提供するとは限りません。グーグルのような検索エンジンでは答えるのが難しいいくつかの質問があります：



1。仕事に着くの にどれくらい時間がかかりますか？



2.あるエリアまたは別のエリアにいくつのプロパティがありますか？従来のウェブサイトで市街地を比較することは可能ですが、通常は数平方キロメートルをカバーしています。これは、たとえば、特定の通りの文が高すぎることは、ある種のトリックを示していることを理解するには十分な詳細ではありません。ほとんどの専門サイトには地図がありますが、私たちが望むほど有益ではありません。



3.家の近くにはどんな施設がありますか？



4.プロパティのグループの平均提示価格はいくらですか？



5.物件はどのくらいの期間販売されていますか？この情報が利用できる場合でも、不動産業者が広告を削除して再度配置する可能性があるため、常に信頼できるとは限りません。



消費者にやさしいユーザーインターフェイスを再設計し、データ品質を向上させることで、家を見つけるのがはるかに簡単になり、非常に興味深い洞察を引き出すことができました。

アイデアからツールへ

基本データ

最初のステップは、基本的な情報を収集するためのスクレーパーを作成することでした。

• プロパティの生のアドレス、
• 現在の売り手価格、
• プロパティのあるページへのリンク、
• 部屋の数、バスルームの数、エネルギー効率の評価などの基本的な特性、
• 広告ビューの数（利用可能な場合）、
• プロパティのタイプ（家、アパート、新しい建物）。

実際、これは私がインターネットで見つけることができたすべてのデータです。より詳細な分析を行うには、このデータセットを改善する必要がありました。

データ品質の向上

家を選ぶとき、購入を支持する私の主な議論は、仕事に便利な道です。私にとって、それはドアからドアまでの全旅程で50分以内です。これらの計算のために、私はGoogleのクラウドプラットフォームを使用することにしました：



1. ジオコーディングAPIを使用して、私は、プロパティのアドレスを使用して、緯度と経度の座標を得ました。



2. Directions APIを使用して、自宅から徒歩や公共交通機関で仕事をするのにかかる時間を計算しました。注：サイクリングはウォーキングの約3倍の速さです。



3. APIシートの使用（Places API）各物件周辺のアメニティについての情報をいただきました。特に、薬局、スーパーマーケット、レストランに興味がありました。注：Places APIは非常に高価です。4,000のプロパティのデータベースでは、3種類のアメニティに関する情報を見つけるために12,000のクエリを実行する必要があります。したがって、このデータを最終ダッシュボードから除外しました。



地理的な場所に加えて、私は別の質問に興味がありました：不動産はどのくらい市場に出回っていますか？物件が長期間売却されていない場合、これはモーニングコールです。おそらく、その地域または家自体に問題があるか、提示価格が高すぎます。



逆に、物件が売りに出されたばかりの場合、所有者は最初に受け取ったオファーに同意しないことに留意する必要があります。残念ながら、この情報はかなり簡単に隠すことができます。基本的な機械学習を使用して、広告ビュー数と他のいくつかの指標を使用してこの側面を推定しました。



最後に、フィルタリングを容易にするために、いくつかのサービスフィールドを使用してデータセットを改善しました（たとえば、価格範囲の列を追加することによって）。

Google Data Studio

改善されたデータセットで問題 がなかったので、強力なダッシュボードを作成しました。このタスクのデータ視覚化ツールとしてGoogleDataStudioを選択しました。このサービスにはいくつかの欠点があります（その機能は非常に限られています）が、利点もあります。無料で、Webバージョンがあり、Googleスプレッドシートからデータを読み取ることができます。以下は、ワークフロー全体を説明する図です。

いくつかの実装の詳細

正直なところ、実装は非常に簡単で、ここには新しいものや特別なものはありません。データを収集するための一連のスクリプトと、いくつかの基本的なPandas変換です。Google APIとの相互作用と、物件が市場に出ていた時間の計算に注目する価値があることを除いて。



以下のデータはスクレイプされていませんが、このスクリプトで生成されてい ます。



生データを見てみましょう。



予想どおり、 ファイルには次の列が含まれています。

• id
  
  
  
  ：広告ID。
• _address
  
  
  
  ：物件の住所。
• _d_code
  
  
  
  : . D<>. <> , (, ), — .
• _link
  
  
  
  : , .
• _price
  
  
  
  : .
• type
  
  
  
  : (, , ).
• _bedrooms
  
  
  
  : ().
• _bathrooms
  
  
  
  : .
• _ber_code
  
  
  
  : , : «», .
• _views
  
  
  
  : ( ).
• _latest_update
  
  
  
  : ( ).
• days_listed
  
  
  
  : — , , _last_update
  
  
  
  .

重要なのは、これらすべてを地図に取り入れ、地理的にローカライズされたデータの力を活用することです。これを行うには、GoogleAPIを使用して緯度と経度を取得する方法を見てみましょう。



これを行うには、Google Cloud Platformのアカウントが必要です。次に、リンクのチュートリアルに従ってAPIキーを取得し、対応するAPIを有効にします。以前に書いたように、このプロジェクトでは、Geocoding API、Directions API、Places APIを使用しました（したがって、APIキーを作成するときにこれらの特定のAPIを有効にする必要があります）。以下は、Google CloudPlatformとやり取りするためのコードスニペットです。

# The Google Maps library
import googlemaps
# Date time for easy computations between dates
from datetime import datetime
# JSON handling
import json
# Pandas
import pandas as pd
# Regular expressions
import re
# TQDM for fancy loading bars
from tqdm import tqdm
import time
import random

# !!! Define the main access point to the Google APIs. 
# !!! This object will contain all the functions needed
geolocator = googlemaps.Client(key="<YOUR API KEY>")

WORK_LAT_LNG = (<LATITUDE>, <LONGITUDE>)
# You can set this parameter to decide the time from which 
# Google needs to calculate the directions
# Different times affect public transport
DEPARTURE_TIME = datetime.now

# Load the source data
data = pd.read_csv("/path/to/raw/data/data.csv")

# Define the columns that we want in the geocoded dataframe
geo_columns = [
               "_link", 
               "lat", 
               "lng", 
               "_time_to_work_seconds_transit", 
               "_time_to_work_seconds_walking"
               ]

# Create an array where we'll store the geocoded data
geo_data = []
# For each element of the raw dataframe, start the geocoding
for index, 
in tqdm(data.iterrows()):
    # Google Geo coding
    _location = ""
    _location_json = ""
    try:
        # Try to retrieve the base location, 
        # i.e. the Latitude and Longitude given the address
        _location = geolocator.geocode(row._address)
        _location_json = json.dumps(_location[0])
    except:
        pass

    _time_to_work_seconds_transit = 0
    _directions_json = ""
    _lat_lon = {"lat": 0, "lng": 0}
    try:
        # Given the work latitude and longitude, plus the property latitude and longitude,
        # retrieve the distance with PUBLIC TRANSPORT (`mode=transit`)
        _lat_lon = _location[0]["geometry"]["location"]
        _directions = geolocator.directions(WORK_LAT_LNG, 
              (_lat_lon["lat"], _lat_lon["lng"]), mode="transit")
        _time_to_work_seconds_transit = _directions[0]["legs"][0]["duration"]["value"]
        _directions_json = json.dumps(_directions[0])
    except:
        pass

    _time_to_work_seconds_walking = 0
    try:
        # Given the work latitude and longitude, plus the property latitude and longitude,
        # retrieve the WALKING distance (`mode=walking`)
        _lat_lon = _location[0]["geometry"]["location"]
        _directions = geolocator.directions(WORK_LAT_LNG, (_lat_lon["lat"], _lat_lon["lng"]), mode="walking")
        _time_to_work_seconds_walking = _directions[0]["legs"][0]["duration"]["value"]
    except:
        pass
      
    
    #  This block retrieves the number of SUPERMARKETS arount the property
    '''
    _supermarket_nr = 0
    _supermarket = ""
    try:
        # _supermarket = geolocator.places_nearby((_lat_lon["lat"],_lat_lon["lng"]), radius=750, type="supermarket")
        _supermarket_nr = len(_supermarket["results"])
    except:
        pass
    '''

     #  This block retrieves the number of PHARMACIES arount the property
    '''
    _pharmacy_nr = 0
    _pharmacy = ""
    try:
        # _pharmacy = geolocator.places_nearby((_lat_lon["lat"],_lat_lon["lng"]), radius=750, type="pharmacy")
        _pharmacy_nr = len(_pharmacy["results"])
    except:
        pass
    '''

    #  This block retrieves the number of RESTAURANTS arount the property
    '''
    _restaurant_nr = 0
    _restaurant = ""
    try:
        # _restaurant = geolocator.places_nearby((_lat_lon["lat"],_lat_lon["lng"]), radius=750, type="restaurant")
        _restaurant_nr = len(_restaurant["results"])
    except:
        pass
    '''

    geo_data.append([row._link, _lat_lon["lat"], _lat_lon["lng"], _time_to_work_seconds_transit,
                     _time_to_work_seconds_walking])
    geo_data_df = pd.DataFrame(geo_data)
    geo_data_df.columns = geo_columns
    geo_data_df.to_csv("geo_data_houses.csv", index=False)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

物件が市場に出ている時間の計算

さんが詳しく見てみましょう データを：







25〜例えば、= 47 idの家があります：あなたは、このサンプルで見ることができるように、プロパティのビューの数は、広告がアクティブであった、その間の日数に反映されていません千回再生しましたが、その日に表示されました。データを読み込んだとき。



ただし、この問題はすべてのプロパティに共通しているわけではありません。以下の例で は、ビューの数は、広告がアクティブだった日数に匹敵します。







上記の情報をどのように使用できますか？簡単に！ 2番目のデータセットをモデルのトレーニングセットとして使用し、それを最初のデータセットに適用できます。



2つのアプローチをテストしました



。1。「比較可能な」データセットを取得し、1日あたりの平均ビュー数を計算してから、その値を最初のデータセットに適用します。このアプローチには常識がないわけではありませんが、次の問題があります。すべてのプロパティが1つのグループにまとめられ、1,000万ユーロ相当の住宅の販売広告では、1日あたりの視聴回数が少なくなる可能性があります。予算は狭いグループの人々に利用可能です。



2. 2番目のデータセットでランダムフォレストモデルをトレーニングし、それを最初のデータセットに適用します。







新しい列には概算値しか含まれないことを念頭に置いて、結果を注意深く表示する必要があります。何かがおかしいと思われる場合に、プロパティをより詳細に分析するための開始点として使用しました。

分析

ご列席の皆様、最後のダッシュボードをご 紹介します。それを掘り下げたい場合は、リンクをたどって ください。



注：残念ながら、Googleマップモジュールは記事に埋め込まれていると機能しないため、スクリーンショットを使用する必要がありました。





https://datastudio.google.com/s/qKDxt8i2ezE



マップはダッシュボードの最も重要な部分です。泡の色は家/アパートの価格に依存し、色は利用可能なプロパティのみを考慮します（右上隅のフィルター設定に対応）。泡のサイズは、作業距離を示します。泡が小さいほど、道路は短くなります。



チャートを使用すると、いくつかの特性（たとえば、建物のタイプや部屋の数）に応じて提示価格がどのように変化するかを分析でき、散布図では、作業距離と提示価格を比較します。



最後に、生データテーブル（ Days Listed Random ForestのDL RF



略で 、広告がアクティブだった日数を示します。ランダムフォレストモデル）。

調査結果

分析に飛び込んで、ダッシュボードからどのような結論を導き出すことができるかを見てみましょう。



データセットには約4,000の家とアパートが含まれています。もちろん、すべてを表示することはできません。そのため、購入を検討する準備ができている1つ以上のプロパティを含むレコードのサブセット を特定することがタスクです 。



まず、検索条件を明確にする必要があります。たとえば、次の特性を満たすプロパティを探しているとします



。1。プロパティのタイプ：家。

2.部屋（寝室）の数：3。3

。仕事までの距離：60分未満。

4.エネルギー効率の評価：A、B、C、またはD。

5.価格：25​​万から54万ユーロ。



価格を除くすべてのフィルターを適用して、マップを見てみましょう（100万ユーロより高く20万ユーロ未満のフィルターのみをフィルターで除外します）。







一般に、リフィーの南にある物件の提示価格は、市の南西にあるいくつかの例外を除いて、北よりもはるかに高くなっています。北の「外側のエリア」、つまり北東と北西でさえ、市内中心部の北よりも安価に見えます。この価格設定の理由の1つは、ダブリンの主要路面電車（LUAS）が市内を北から南に直線で横断していることです（西から東に走る別の路線がありますが、すべてのビジネス地区を通るわけではありません）。



これらの考慮事項は、目視検査のみに基づいていることに注意してください。より徹底的なアプローチでは、住宅の価格と公共交通機関のルートからの距離との相関関係をテストする必要がありますが、この関係を証明することには関心がありません。



予算に合わせてフィルターの価格を設定すると、状況はさらに興味深いものになります（上の地図には寝室が3つある家が表示されており、60分以内に仕事に取り掛かることを忘れないでください。また、下の地図に追加されています価格でのみフィルタリング）：







一歩後退しましょう。私たちは余裕のある分野の一般的な考えを持っていますが、今最も難しいことは先にあります-妥協の 探求！もっと予算の選択肢を見つけたいですか？それとも、苦労して稼いだ貯蓄で買える最高の家だと思いますか？残念ながら、データ分析はこれらの質問に答えることができません。これはビジネス上の（そして非常に個人的な）決定です。



2番目のオプションを選択したとします。低価格よりも家や地域の品質を優先します。



この場合、次のオプションを検討する必要があります



。1。提案の集中度が低いエリア-マップ上の孤立した家は、そのエリアにオファーが少ないことを示している可能性があります。つまり、所有者は急いでいません。そのような良い地域で彼らの家と別れます...



2.高価な物件のクラスター内にある家-特定の家の近くにある他のすべての物件が高価な場合、これはその地域の需要が高いことを意味する場合があります。これは単なる追加の注記ですが、空間的自己相関を使用してこの現象を定量化できます（たとえば、MoranのIを計算することによって ）。



最初のオプションが魅力的であるように思われる場合でも、同じエリアの他のオファーと比較して非常に低い価格の物件は、家自体に何らかのキャッチがあることを意味する可能性があることに留意する必要があります（たとえば、小さな部屋や非常に高いリフォーム費用） ）。このため、私たちの目標を考えると最も有望であると私が考える2番目のオプションに焦点を当てて分析を続けます。



この分野での提案を詳しく見てみましょう。







すでにオプションを4,000から200未満に減らしたので、ポイントを分割してクラスターを比較する必要があります。



クラスター検索の自動化はこの分析にあまり追加しませんが、とにかくDBSCANアルゴリズムを適用しましょう 。..。一部のグループが非球状である可能性があるため、DBSCANを使用します（たとえば、k-meansはこのデータベースでは正しく機能しません）。理論的には、ポイント間の地理的距離を計算する必要がありますが、適切な近似が得られるため、ユークリッドシステムを使用します。

import pandas as pd
from sklearn.cluster import DBSCAN

data = pd.read_csv("data.csv")
data["labels"] = DBSCAN(eps=0.01, min_samples=3).fit(data[["lat","lng"]].values).labels_
print(data["labels"].unique())
data.to_csv("out.csv")
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

アルゴリズムはかなり良い結果を示しましたが、私は次のようにクラスターを修正します（ダブリンのビジネス地区の知識を考慮に入れて）：







住宅の最高品質と快適な道路を優先するため、低価格のエリアは拒否しますクラスター2、3、4、6、および9は除外できます。クラスター2、3、および4は、ダブリン北部の最も予算に優しい地域のいくつかに位置していることに注意してください（おそらく公共交通機関のインフラストラクチャが開発されていないため）。クラスター11は、仕事から遠く離れた場所にある高価なオプションを提示するため、除外することもできます。



より高価なクラスターを見ると、7番は作業距離の点で最高の1つです。それ ダブリン北部の美しい住宅街、ドラムコンドラ。路面電車に比べてあまり便利な場所ではありませんが、バス路線が通っています。クラスター8では、住宅価格と労働距離はドラムコンドラと同じです。分析する価値のあるもう1つのクラスターは10番です。供給が少ない地域にあるようです。つまり、ここの人々はおそらく住宅を販売することはめったになく、この地域は公共ルートにも非常に便利な場所にあります。輸送（すべての地域が同じである場合）人口密度）。



最後に、クラスタフェニックスパークの隣に位置1および5、最大のフェンスで囲まれ-に 公共の公園。





クラスター7





クラスター8





クラスター10





クラスター1





クラスター5



素晴らしい！最初に見る価値のある26のプロパティが見つかりました。これで、各オファーを注意深く分析し、最終的には不動産業者との視聴を手配できます。

結論

私たちはダブリンについてほとんど何も知らずに検索を開始し、最終的には、家を購入するときに市内のどのエリアが特に需要があるかをよく理解しました。



注意してください、私たちはこれらの家の写真を見ることさえせず、それらについて何も読んでいませんでした！よく整理されたダッシュボードを見るだけで、最初は到達できなかったいくつかの有用な結論が得られました。



このデータはもはや有用ではなく、分析を改善するためにいくつかの統合を行うことができます。いくつかの考え：



1。アメニティデータセット（Places APIを使用してコンパイルしたもの）を調査に統合しませんでした。クラウドサービスの予算が大きいため、この情報をダッシュ​​ボードに簡単に追加できます。



2.アイルランドでは、統計局のWebサイトに多くの興味深いデータが公開されてい ます。たとえば、四半期ごとおよび犯罪の種類ごとに、各警察署への電話の数に関する情報を見つけることができます。したがって、どのエリアで最も盗難が多いかを知ることができます。投票所ごとに国勢調査データを取得できるため、一人当たりの犯罪率を計算することもできます。このような高度な機能には、適切な地理情報システム（QGISなど）または地理データを処理できるデータベース（ PostGISなど）が必要であることに注意してください 。



3.アイルランドには、住宅不動産登録簿と呼ばれる以前の住宅価格のデータベースがあります 。彼らのウェブサイトには、販売日、価格、住所など、2010年1月1日以降にアイルランドで購入されたすべての住宅物件に関する情報が含まれています。現在の住宅価格を過去の住宅価格と比較することで、需要が時間の経過とともにどのように変化したかを確認できます。



4.住宅保険の価格は、住宅の場所に大きく依存します。少しの努力で、保険会社のサイトを廃棄して、保険会社の「リスク要因モデル」をダッシュ​​ボードに統合することができました。



ダブリンのような市場では、新しい家を見つけることは、特に都市に引っ越したばかりで、それをよく知らない人にとっては、気の遠くなるような作業になる可能性があります。



このツールのおかげで、妻と私は自分自身（および不動産業者）の時間を節約できました。私たちは4回見に行き、3人の売り手に価格を提示し、そのうちの1人が私たちの申し出を受け入れました。