データサイエンティストノート：データクエリ言語の個人的な概要

個人的な経験から、いつ、どこで何が役に立ったかを教えます。調査と論文。次に何をどこで掘るのかが明確になりましたが、ここでは私は専ら主観的な個人的な経験を持っています。おそらくすべてがあなたとは完全に異なります。



クエリ言語を知り、処理できることが重要なのはなぜですか？データサイエンスの核となるのは、作業のいくつかの最も重要な段階であり、最初で最も重要なのは（もちろん、それなしでは何も機能しません！）データの取得または取得です。ほとんどの場合、何らかの形式のデータがどこかにあり、そこから「取得」する必要があります。 



クエリ言語では、まさにこのデータを抽出できます！そして今日、私は私に役立つそれらのクエリ言語についてあなたに話します、そして私は教えます-どこでそしてどのように正確に-なぜそれが勉強する必要があるのか​​を示します



合計で、データへのクエリのタイプには3つの主要なブロックがあり、この記事で分析します。

• 「標準」クエリ言語は、リレーショナル代数やSQLなどのクエリ言語について話すときに通常理解するものです。
• スクリプトクエリ言語：たとえば、Pythonのパンダトリック、numpy、またはシェルスクリプト。
• 知識グラフとグラフデータベースのクエリ言語。

ここに書かれていることはすべて、状況の説明と「なぜそれが必要だったのか」を備えた、便利な個人的な経験です-誰もがあなたがする前にこれらの言語を扱ったので、似たような状況があなたに会うことができる方法を試し、事前にそれらの準備を試みることができます（緊急に）プロジェクトに応募するか、必要な場所でプロジェクトに参加することもできます。

「標準」クエリ言語

標準のクエリ言語は、クエリについて話すときに通常それらについて考えるという意味で正確です。

関係代数

今日、なぜリレーショナル代数が必要なのですか？クエリ言語が特定の方法で配置されている理由をよく理解し、それらを意識的に使用するには、基礎となるコアを理解する必要があります。



リレーショナル代数とは何ですか？



正式な定義は次のとおりです。リレーショナル代数は、リレーショナルデータモデルのリレーションに対する操作の閉じたシステムです。より人間的には、これはテーブルに対する操作のシステムであり、結果も常にテーブルになります。Habrのこの記事にある



すべてのリレーショナル操作を参照してください。ここでは、なぜ知る必要があるのか​​、そしてそれがどこで役立つのかを説明します。何のために？







一般的に使用されているクエリ言語と、特定のクエリ言語の式の背後にある操作について理解し始めます。多くの場合、クエリ言語で何がどのように機能するかをより深く理解できます。





この記事から引用。操作例：テーブルを結合するjoin。



教材：



スタンフォードからの良い入門コース。一般に、関係代数と理論に関する資料はたくさんあります-Coursera、Udacity。優れた学術コースを含む、膨大な量のオンライン資料もあります。私の個人的なアドバイスは、関係代数を非常によく理解することです-これが基礎です。

SQL

この記事から引用。



実際、SQLはリレーショナル代数の実装です。重要な注意点がありますが、SQLは宣言的です。つまり、リレーショナル代数の言語でクエリを作成すると、実際にカウントする方法を言うことになりますが、SQLを使用して抽出するものを指定すると、DBMSはすでにリレーショナル代数の言語で（効果的な）式を生成します（それらの同等性はCoddの定理の下で私たちに知られています） ..。





この記事から引用。



何のために？



リレーショナルDBMS：Oracle、Postgres、SQL Serverなどはまだ事実上​​どこにでもあり、それらと対話する必要がある可能性が非常に高いため、SQLを読み取る（可能性が非常に高い）か、書き込む必要があります（非常に可能性が高い）。また、可能性は低いです）。



何を読んで学ぶか



上記の同じリンク（リレーショナル代数）から、このような膨大な量の資料があります。



ちなみに、NoSQLとは？



「「NoSQL」という用語は完全に自発的な起源であり、一般に受け入れられている定義やその背後にある科学的機関がないことをもう一度強調する価値があります。」Habréに関する対応する記事。



実際、多くの問題を解決するために完全なリレーショナルモデルは必要ないことに気づきました。特に、パフォーマンスが基本であり、集計を伴う特定の単純なクエリが支配的である場合は特にそうです。メトリックをすばやく読み取ってデータベースに書き込むことが重要であり、ほとんどの機能はリレーショナルです。不必要であるだけでなく、有害であることが判明しました-それが私たちにとって最も重要なこと（特定のタスクのために）を台無しにするのであれば、なぜ何かを正規化するのですか？



また、従来のリレーショナルモデルの固定数学スキーマではなく、柔軟なスキーマが必要になることがよくあります。これにより、システムを展開して迅速に作業を開始し、結果を処理することが重要な場合、アプリケーション開発が非常に簡単になります。または、保存されているデータのスキーマとタイプはそれほど重要ではありません。



たとえば、エキスパートシステムを作成していて、特定のドメインに情報をメタ情報とともに保存したい場合（すべてのフィールドがわからない場合があり、各レコードのJSONを保存するのは面倒です）、これにより、データモデルを拡張して高速な反復を行うための非常に柔軟な環境が得られます。 NoSQLの場合は、さらに好ましく、読みやすくなります。エントリの例（私のプロジェクトの1つから、NoSQLが必要な場所に適切でした）。

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775," ","ru"],
"en_wiki_pagecount":2338861}

NoSQLの 詳細については、こちらをご覧ください。



何を勉強しますか？



むしろ、タスク、タスクのプロパティ、およびこの説明に適合する利用可能なNoSQLシステムの分析に長けている必要があります。そして、すでにこのシステムを研究しています。

スクリプトクエリ言語

最初は、PythonはPythonと何の関係があるようです。これはプログラミング言語であり、クエリに関するものではありません。

• Pandasは、データサイエンスの直接的なスイスのナイフであり、大量のデータ変換、集約などが行われています。
• Numpyは、ベクトルコンピューティング、行列、線形代数です。
• Scipyは、このパッケージの多くの計算、特に統計です。
• Jupyterラボ-多くの探索的データ分析はラップトップにうまく適合します-できるのは良いことです。
• リクエスト-ネットワーキング。
• Pysparksはデータエンジニアに非常に人気があり、その人気のために、おそらくこれと対話するか、スパークする必要があります。
• * Seleniumは、サイトやリソースからデータを収集するのに非常に便利です。データを取得する他の方法がない場合もあります。

私の一番のヒント：Pythonを学びましょう！

パンダ

例として次のコードを取り上げましょう。

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])\
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})\
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

実際、コードが従来のSQLパターンに適合していることがわかります。

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

ただし、重要な部分は、このコードがスクリプトとパイプラインの一部であるということです。実際、リクエストはPythonパイプラインに埋め込まれています。この状況では、クエリ言語はPandasやpySparkなどのライブラリから提供されます。



一般に、pySparkでは、次の精神でクエリ言語を介した同様のタイプのデータ変換が見られます。

df.filter(df.trip_type = “return”)\
  .groupby(“day”)\
  .agg({duration: 'mean'})\
  .sort()

どこで何を読むか



Python自体を研究するための資料を見つけることは問題ではありません。ネット上には、パンダ、pySpark、Spark（およびDS自体）のコースに関する膨大な数のチュートリアルがあります。一般的に、ここの資料はグーグルで素晴らしいです、そして私が焦点を合わせるために1つのパッケージを選ばなければならなかったならば、もちろんそれはパンダでしょう。DS + Pythonバンドルには多くの資料もあります。

クエリ言語としてのシェル

実際、私が使用しなければならなかったデータ処理および分析プロジェクトの多くは、Python、java、およびシェルコマンド自体でコードを呼び出すシェルスクリプトです。したがって、一般に、bash / zsh /などのパイプラインを高レベルの要求と見なすことができます（もちろん、そこでループをプッシュすることはできますが、これはシェル言語のDSコードでは一般的ではありません）、簡単な例を挙げましょう-wikidataのQIDをマップする必要がありましたロシア語と英語のwikiへの完全なリンク。このために、bashのコマンドから簡単なクエリを作成し、出力用にpythonで簡単なスクリプトを作成しました。これを次のようにまとめました。

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

どこ

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' 

実際、これは必要なマッピングを作成したパイプライン全体でした。すべてを見ると、ストリームモードで機能していました。

• pv filepath-ファイルサイズに基づいて進行状況バーを表示し、その内容を渡します
• unpigz -cはアーカイブの一部を読み取り、jqを提供しました
  
  
• キーを持つjq-ストリームはすぐに結果を生成し、Pythonでポストプロセッサに渡しました（最初の例と同じように）
• 内部的には、ポストプロセッサは出力をフォーマットした単純なステートマシンです。 

合計すると、ビッグデータ（0.5TB）でストリームモードで動作する複雑なパイプラインであり、大きなリソースはなく、単純なパイプラインといくつかのツールで構成されています。

もう1つの重要なヒント：ターミナルで効率的に作業し、bash / zsh /などで書き込みます。

どこで役に立ちますか？はい、ほとんどどこにでもあります。ここでも、ネット上で研究するための資料がたくさんあります。特に、これは私の前の記事です。

Rスクリプティング

繰り返しますが、読者は叫ぶかもしれません-まあ、これは完全なプログラミング言語です！そしてもちろん、彼は正しいでしょう。しかし、私は通常、Rを常にそのようなコンテキストで処理する必要があり、実際、それはクエリ言語に非常に似ていました。



Rは、統計計算フレームワークと静的コンピューティング及び視覚化言語（に従う本）。





ここから 撮影。ちなみに、良い素材をお勧めします。



なぜ科学者にRを知ってもらうのですか？少なくとも、Rでデータ分析に従事しているIT以外の人々の巨大な層があるため、私は次の場所で会いました。

• 製薬部門。
• 生物学者。
• 金融部門。
• 統計を扱う、純粋に数学的な教育を受けている人々。
• 特殊な統計および機械学習モデル（多くの場合、Rパッケージとしてアップストリームバージョンでのみ見つけることができます）。

なぜ実際にクエリ言語なのですか？よく見られる形式では、実際には、データの読み取りやクエリパラメータ（モデル）の修正、ggplot2などのパッケージ内のデータの視覚化を含むモデルの作成要求です。これもクエリの記述形式です。



レンダリングのクエリの例

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

一般に、Rの多くのアイデアは、データフレームやデータのベクトル化など、パンダ、numpy、scipyなどのpythonパッケージに移行されています。したがって、一般に、Rの多くのものは使い慣れていて便利に思えます。



研究のための多くの情報源があります、例えば、これ。

知識グラフ

ここで私は少し変わった経験をしています。なぜなら、私はまだかなり頻繁に知識グラフとグラフのクエリ言語を使用する必要があるからです。したがって、この部分はもう少しエキゾチックなので、基本を簡単に見ていきましょう。



従来のリレーショナルデータベースでは、固定スキーマがあります。ここでは、スキーマは柔軟であり、各述語は実際には「列」などです。



人をモデル化し、重要なことを説明したいとします。たとえば、ダグラス・アダムスの特定の人を取り上げましょう。この説明を基本とします。





www.wikidata.org/wiki/Q42



リレーショナルデータベースを使用している場合、膨大な数の列を持つ1つまたは複数の巨大なテーブルを作成する必要があります。そのほとんどは、NULLであるか、デフォルトのFalse値で埋められます。私たちの多くは韓国国立図書館にエントリを持っています-もちろん、それらを別々のテーブルに置くこともできますが、これは最終的には、固定のリレーショナルロジックを使用して述語で柔軟なロジックをモデル化する試みになります。





したがって、すべてのデータがグラフとして、またはバイナリおよび単一の論理式として格納されていると想像してください。



どこでこれに遭遇することができますか？まず、wikiデータ、およびグラフデータベースまたは接続されたデータを操作します。



以下は、私が使用し、使用した主なクエリ言語です。

SPARQL

Wiki:

SPARQL ( . SPARQL Protocol and RDF Query Language) — , RDF, . SPARQL W3C .

しかし実際には、それは論理的な単項および二項述語へのクエリの言語です。ブール式で何が修正され、何が修正されないかを条件付きで述べているだけです（非常に単純化されています）。



SPARQLクエリが実行されるRDF（Resource Description Framework）ベース自体はトリプレットでobject, predicate, subjectあり、クエリは次の精神で指定された制約に従って必要なトリプレットを選択します。p_55（X、q_33）が真になるようなXを見つけます-もちろん、p_55は何ですか-ID 55との関係、およびq_33はID 33のオブジェクトです（これが全体の話であり、ここでもすべての種類の詳細が省略されています）。



データ表示の例：





写真と国の例はここからです。



基本的なクエリの例







実際、変数？Countryの値を見つけたいので、述語

member_ofの場合、member_of（？country、q458）とq458が欧州連合のIDであることが真です。



pythonエンジン内の実際のSPARQLクエリの例：







原則として、私はSPARQLを書くのではなく読む必要がありました。そのような状況では、データがどのように取得されるかを正確に理解するために、少なくとも基本的なレベルで言語を理解することが役立つスキルになるでしょう。 



これやこれのように、オンラインにはたくさんの学習資料があります。私自身は通常、特定の構造と例をグーグルで検索しますが、これまでのところ十分です。

論理クエリ言語

このトピックの詳細については、こちらの私の記事をご覧ください。ここでは、論理言語がクエリの作成に適している理由について簡単に説明します。実際、RDFはp（X）およびh（X、Y）の形式の論理ステートメントの単なるコレクションであり、論理クエリは次のようになります。



output(X) :- country(X), member_of(X,“EU”).



ここでは、新しい述語出力/ 1（/ 1は単一を意味します）の作成について説明しています。その国（X）がXに当てはまる場合、つまり、Xは国であり、member_of（X、「EU」）でもあります。



つまり、この場合のデータとルールの両方が一般的に同じ方法で表示されるため、タスクのモデル化が非常に簡単で優れています。



業界のどこで会いましたか：そのような言語でクエリを作成する会社との大規模なプロジェクト全体、およびシステムのコアにある現在のプロジェクト-かなりエキゾチックなことのように見えますが、時々発生します。



wikidataを処理する論理言語のコードスニペットの例：