Tarantoolでは、超高速のデータベースとアプリケーションを組み合わせて操作できます。これがいかに簡単かです

5年前にTarantoolを使って作業しようとしましたが、うまくいきませんでした。しかし最近、私はHadoopについて、MapReduceがどのように機能するかについて話し合うウェビナーを主催しました。そこで、「このタスクにTarantoolを使用してみませんか？」という質問がありました。



好奇心のために、私はそれに戻って最新バージョンをテストすることにしました-そして今回はプロジェクトが本当に好きでした。次に、Tarantoolで簡単なアプリケーションを作成し、ロードしてパフォーマンスをテストする方法を示します。すべてがいかに簡単でクールであるかがわかります。

タランツールとは

Tarantoolは、それ自体を超高速データベースとして位置付けています。そこで、必要なデータを押し出すことができます。さらに、それらを複製し、シャード（つまり、大量のデータを複数のサーバーに分割し、それらの結果を組み合わせて）して、障害に強い「マスター-マスター」バンドルを作成します。



第二に、それはアプリケーションサーバーです。その上にアプリケーションを記述したり、データを操作したり、特定のルールに従ってバックグラウンドで古いレコードを削除したりできます。 Tarantulaで直接Httpサーバーを作成できます。これはデータを処理します。データを発行し、そこに新しいデータを書き込み、すべてをマスターに減らします。



私は、彼らがどのようにして300行のメッセージキューを作成したかについての記事を読みました。このキューは、1秒あたり20,000メッセージの最小パフォーマンスを持っています。ここでは、非常に大きなアプリケーションを実際に拡張して作成でき、PostgreSのように保存されることはありません。



このようなサーバーについては、単純なことですが、この記事で説明しようと思います。

インストール

テストのために、3つの標準仮想マシン（20ギガバイトのハードドライブ、Ubuntu 18.04）を起動しました。 2つの仮想CPUと4ギガバイトのメモリ。



Tarantoolをインストールします-bashスクリプトを実行するか、リポジトリを追加して、apt get installTarantoolを実行します。スクリプトへのリンクは（curl -L https://tarantool.io/installer.sh | VER = 2.4 sudo -E bash）です。次のようなコマンドがあります



。tarantoolctl -Tarantulaインスタンスを管理するためのメインコマンド。

/ etc / tarantool-すべての構成はここにあります。

var / log / tarantool-これはログが配置される場所です。

var / lib / tarantool-これはデータが保存される場所であり、インスタンスに分割されます。



instance-availableとinstance-enableのフォルダがあります-起動されるものが含まれています-luaコードを含むインスタンス構成ファイルで、リッスンするポート、使用可能なメモリ、ビニールエンジンの設定、起動時にトリガーされるコードが記述されていますサーバー、シャーディング、キュー、廃止されたデータの削除など。



インスタンスはPostgreSのように機能します。たとえば、異なるポートでハングするデータベースの複数のコピーを実行するとします。複数のデータベースインスタンスが同じサーバーで起動され、異なるポートでハングしていることがわかりました。それらは完全に異なる設定を持つことができます-1つのインスタンスが1つのロジックを実装し、2番目が別のロジックを実装します。

インスタンス管理

Tarantulaインスタンスを管理できるtarantoolctlコマンドがあります。たとえば、tarantoolctl check exampleは、構成ファイルをチェックして、構文エラーがなければファイルはOKであると言います。



インスタンスのステータスを確認できます-tarantoolctlstatusの例。開始、停止、再起動を実行できるのと同じ方法です。



インスタンスが実行されている場合、インスタンスに接続するには2つの方法があります。



1.管理コンソール



デフォルトでは、Tarantoolはソケットを開き、そこでプレーンASCIIテキストを送信してTarantulaを制御します。コンソールへの接続は常にadminユーザーの下で行われ、認証がないため、Tarantulaを管理するためにコンソールポートを移動する必要はありません。



この方法で接続するには、Tarantoolctl enter instancenameと入力します。このコマンドはコンソールを起動し、管理者ユーザーとして接続します。コンソールポートを外部に公開しないでください。ユニットソケットのままにしておくことをお勧めします。そうすれば、ソケットへの書き込みアクセス権を持つ人だけがタランチュラに接続できるようになります。



この方法は、管理上のものに必要です。データを操作するには、2番目の方法であるバイナリプロトコルを使用します。



2.バイナリプロトコルを使用して特定のポートに接続する



構成には、外部通信用にポートを開くlistenディレクティブがあります。このポートはバイナリプロトコルで使用され、そこで認証が有効になります。



この接続には、ポート番号へのtarantoolctl接続が使用されます。これを使用して、リモートサーバーに接続し、認証を使用して、さまざまなアクセス権を付与できます。

データロガーとボックスモジュール

Tarantoolはデータベースであると同時にアプリケーションサーバーでもあるため、さまざまなモジュールがあります。ボックスモジュールに関心があります-それはデータを扱う作業を実装します。ボックスに何かを書き込むと、Tarantoolはデータをディスクに書き込んだり、メモリに保存したり、その他の処理を実行したりします。

録音

たとえば、boxモジュールに入り、box.once関数を呼び出します。サーバーが初期化されると、Tarantoolにコードが実行されます。データを保存するスペースを作成します。

local function bootstrap()
    local space = box.schema.create_space('example')
    space:create_index('primary')
    box.schema.user.grant('guest', 'read,write,execute', 'universe')

    -- Keep things safe by default
    --  box.schema.user.create('example', { password = 'secret' })
    --  box.schema.user.grant('example', 'replication')
    --  box.schema.user.grant('example', 'read,write,execute', 'space', 'example')
end

その後、データを検索できるプライマリインデックス（primary）を作成します。デフォルトでは、パラメータを指定しない場合、プライマーインデックスの各エントリの最初のフィールドが使用されます。



次に、ゲストユーザーに許可を与え、その下でバイナリプロトコルを介して接続します。インスタンス全体で読み取り、書き込み、および実行を許可します。



従来のデータベースと比較して、ここではすべてが非常に単純です。スペースがあります。データを保存するだけのエリアです。各エントリはタプルと呼ばれます。これはMessagePackにパックされています。これは非常にクールなフォーマットです-バイナリであり、占有するスペースが少なくなります-27に対して18バイト







です。操作するのに非常に便利です。ほとんどすべての行、すべてのデータレコードは、完全に異なる列を持つことができます。



Box.spaceコマンドを使用して、すべてのスペースを確認できます。特定のインスタンスを選択するには-box.spaceの例を記述し、その完全な情報を取得します。



Tarantoolには、MemoryとVinylの2つの組み込みエンジンがあります。メモリはすべてのデータをメモリに保存します。したがって、すべてが簡単かつ迅速に機能します。データはディスクにダンプされ、先読みログメカニズムもあるため、サーバーがクラッシュしても何も失われません。



Vinylは、より馴染みのある形式でデータをディスクに保存します。つまり、メモリよりも多くのデータを保存でき、Tarantulaがディスクからデータを読み取ります。



ここで、メモリを使用します。

unix/:/var/run/tarantool/example.control> box.space.example
---
- engine: memtx
  before_replace: 'function: 0x41eb02c8'
  on_replace: 'function: 0x41eb0568'
  ck_constraint: []
  field_count: 0
  temporary: false
  index:
    0: &0
      unique: true
      parts:
      - type: unsigned
        is_nullable: false
        fieldno: 1
      id: 0
      space_id: 512
      type: TREE
      name: primary
    primary: *0
  is_local: false
  enabled: true
  name: example
  id: 512
...

unix/:/var/run/tarantool/example.control>

インデックス：



プライマリインデックスは、スペースがないと何も機能しないため、任意のスペースに対して作成する必要があります。他のデータベースと同様に、最初のフィールドであるレコードIDを作成します。



パーツ：



ここでは、インデックスの構成を示します。これは1つの部分で構成されています。最初に使用するフィールドは符号なし、正の整数です。ドキュメントから思い出すと、最大数は18兆になります。素晴らしいたくさん。



次に、insertコマンドを使用してデータを挿入できます。

unix/:/var/run/tarantool/example.control> box.space.example:insert{1, 'test1', 'test2'}
---
- [1, 'test1', 'test2']
...

unix/:/var/run/tarantool/example.control> box.space.example:insert{2, 'test2', 'test3', 'test4'}
---
- [2, 'test2', 'test3', 'test4']
...

unix/:/var/run/tarantool/example.control> box.space.example:insert{3, 'test3'}
---
- [3, 'test3']
...

unix/:/var/run/tarantool/example.control> box.space.example:insert{4, 'test4'}
---
- [4, 'test4']
...

unix/:/var/run/tarantool/example.control>

最初のフィールドはプライマリキーとして使用されるため、一意である必要があります。列の数に制限されないため、必要な数のデータを挿入できます。これらは、上記で説明したMessagePack形式で指定されます。

データ出力

次に、selectコマンドでデータを表示できます。



キー{1}を指定したBox.example.selectは、必要なレコードを表示します。キーを省略すると、所有しているすべてのレコードが表示されます。列数はすべて異なりますが、ここでは原則として列の概念はなく、フィールド番号があります。



絶対に任意の量のデータが存在する可能性があります。たとえば、2番目のフィールドでそれらを検索する必要があります。このために、新しいセカンダリインデックスを作成します。

box.space.example:create_index( ‘secondary’, { type = ‘TREE’, unique = false, parts = {{field = 2, type =’string’} }}) 

Create_indexコマンドを使用します。

これをセカンダリと呼びます。



その後、パラメータを指定する必要があります。インデックスタイプはTREEです。一意ではない可能性があるため、Unique = falseと入力します。



次に、インデックスがどの部分で構成されているかを示します。Fieldは、インデックスをバインドするフィールドの番号であり、タイプ文字列を指定します。そして、それが作成されました。

unix/:/var/run/tarantool/example.control> box.space.example:create_index('secondary', { type = 'TREE', unique = false, parts = {{field = 2, type = 'string'}}})
---
- unique: false
  parts:
  - type: string
    is_nullable: false
    fieldno: 2
  id: 1
  space_id: 512
  type: TREE
  name: secondary
...

unix/:/var/run/tarantool/example.control>

これが私たちがそれを呼ぶことができる方法です：

unix/:/var/run/tarantool/example.control> box.space.example.index.secondary:select('test1')
---
- - [1, 'test1', 'test2']
...

保存

インスタンスを再起動してデータを再度呼び出そうとすると、インスタンスが存在しないことがわかります。すべてが空です。これは、Tarantoolがチェックポイントを作成してデータをディスクに保存するために発生しますが、次の保存の前に作業を停止すると、すべての操作が失われます。たとえば、2時間前の最後のチェックポイントから回復するためです。



20 GBを常にディスクにダンプするのはまあまあなので、毎秒保存することもできません。



このために、先読みログの概念が考案され、実装されました。データが変更されるたびに、小さな先読みログファイルにエントリが作成されます。



チェックポイントの前の各エントリはそれらに保存されます。これらのファイルには、サイズを設定します（たとえば、64 MB）。いっぱいになると、録音は2番目のファイルに移動し始めます。また、再起動後、Tarantoolは最後のチェックポイントから復元し、それ以降のすべてのトランザクションを停止するまでロールオーバーします。







このような記録を作成するには、box.cfg設定（example.luaファイル内）でオプションを指定する必要があります。

wal_mode = “write”;

データ使用量

これまでに作成した内容を使用すると、Tarantulaを使用してデータを保存でき、データベースとして非常に迅速に機能します。そして今、ケーキの上に桜があります-あなたはすべてで何ができますか？

アプリケーションを書く

たとえば、タランチュラ用のそのようなアプリケーションを書いてみましょう





シンボルを定義するラベルをluaで宣言します。このプレートは、ランダムな線を生成するために必要です。

local charset = {}  do -- [0-9a-zA-Z]
    for c = 48, 57  do table.insert(charset, string.char(c)) end
    for c = 65, 90  do table.insert(charset, string.char(c)) end
    for c = 97, 122 do table.insert(charset, string.char(c)) end
end

その後、関数--randomStringを宣言し、括弧内に長さの値を示します。

local function randomString(length)
    if not length or length <= 0 then return '' end
    math.randomseed(os.clock()^5)
    return randomString(length - 1) .. charset[math.random(1, #charset)]
end

次に、http-routerとhttp-serverをTarantula-server、JSONに接続し、これをクライアントに送信します。

local http_router = require('http.router')
local http_server = require('http.server')
local json = require('json')

その後、httpサーバーのすべてのインターフェイスのポート8080から開始します。これにより、すべての要求とエラーがログに記録されます。

local httpd = http_server.new('0.0.0.0', 8080, {
    log_requests = true,
    log_errors = true
})

次に、GETメソッドを使用したリクエストがポート8080 / countに到達した場合、1行から関数を呼び出すというルートを宣言します。ステータス（200、404、403、または指定したもの）を返します。

router:route({method = 'GET', path = '/count'}, function()
    return {status = 200, body = json.encode({count = get_count()})}
end)

本文では、json.encodeを返します。その中で、countとgetcountを指定します。これらは呼び出され、データベース内のレコード数を示します。



方法2

router:route({method = 'GET', path = '/token'}, function() 
    local token = randomString(32) 
    local last = box.space.example:len() 
    box.space.example:insert{ last + 1, token } 
    return {status = 200, body = json.encode({token = token})}
end)

ここで、ライン内のルータ：ルート（{メソッド=「 GET」、パス=「/トークン」}、関数（） 、我々は関数を呼び出して、トークン生成する。



バーは、ローカルトークン= randomString（32） - 32文字のRandomnaya文字列である。

ライン地元の最後= box.space.example：lenは（）我々は最後の要素を引き出し、

そしてラインにbox.space.example：挿入{、1 +最後のトークン}私達は私達のデータベースへの書き込み、である、私達はちょうど1。このことにより、IDを増やすことができます行われちなみに、このような不器用な方法だけでなく、タランチュラにはこのビジネスのシーケンス



があります。そこにトークンを書き込みます。



したがって、アプリケーションを1つのファイルに書き込みました。その中で、データをすぐに処理でき、ボックスモジュールがすべての汚い作業を行います。 ..。



httpをリッスンし、データを処理します。すべてが1つのインスタンスにあり、アプリケーションとデータの両方です。したがって、すべてが十分に迅速に行われます。



実行するには、httpモジュールをインストールします。





また、実行するにはプロメテウスが必要です。

root@test2:/# tarantoolctl rocks install prometheus
Installing http://rocks.tarantool.org/prometheus-scm-1.rockspec

Cloning into 'prometheus'...
remote: Enumerating objects: 19, done.
remote: Counting objects: 100% (19/19), done.
remote: Compressing objects: 100% (19/19), done.
remote: Total 19 (delta 2), reused 5 (delta 0), pack-reused 0
Receiving objects: 100% (19/19), 10.73 KiB | 10.73 MiB/s, done.
Resolving deltas: 100% (2/2), done.
prometheus scm-1 is now installed in /.rocks (license: BSD)

root@test2:/#

開始して、モジュールにアクセスできます

root@test2:/# curl -D - -s http://127.0.0.1:8080/token
HTTP/1.1 200 Ok
Content-length: 44
Server: Tarantool http (tarantool v2.4.2-80-g18f2bc82d)
Connection: keep-alive

{"token":"e2tPq9l5Z3QZrewRf6uuoJUl3lJgSLOI"}

root@test2:/# curl -D - -s http://127.0.0.1:8080/token
HTTP/1.1 200 Ok
Content-length: 44
Server: Tarantool http (tarantool v2.4.2-80-g18f2bc82d)
Connection: keep-alive

{"token":"fR5aCA84gj9eZI3gJcV0LEDl9XZAG2Iu"}

root@test2:/# curl -D - -s http://127.0.0.1:8080/count
HTTP/1.1 200 Ok
Content-length: 11
Server: Tarantool http (tarantool v2.4.2-80-g18f2bc82d)
Connection: keep-alive

{"count":2}root@test2:/#

/ countは200ステータスを与え

ます。/tokenはトークンを発行し、このトークンをデータベースに書き込みます。

テスト速度

50,000クエリでベンチマークを実行してみましょう。500の競争力のあるリクエストがあります。

root@test2:/# ab -c 500 -n 50000 http://127.0.0.1:8080/token
This is ApacheBench, Version 2.3 <$Revision: 1807734 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)
Completed 5000 requests
Completed 10000 requests
Completed 15000 requests
Completed 20000 requests
Completed 25000 requests
Completed 30000 requests
Completed 35000 requests
Completed 40000 requests
Completed 45000 requests
Completed 50000 requests
Finished 50000 requests


Server Software:        Tarantool
Server Hostname:        127.0.0.1
Server Port:            8080

Document Path:          /token
Document Length:        44 bytes

Concurrency Level:      500
Time taken for tests:   14.578 seconds
Complete requests:      50000
Failed requests:        0
Total transferred:      7950000 bytes
HTML transferred:       2200000 bytes
Requests per second:    3429.87 [#/sec] (mean)
Time per request:       145.778 [ms] (mean)
Time per request:       0.292 [ms] (mean, across all concurrent requests)
Transfer rate:          532.57 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0   10 103.2      0    3048
Processing:    12   69 685.1     15   13538
Waiting:       12   69 685.1     15   13538
Total:         12   78 768.2     15   14573

Percentage of the requests served within a certain time (ms)
  50%     15
  66%     15
  75%     16
  80%     16
  90%     16
  95%     16
  98%     21
  99%     42
 100%  14573 (longest request)
root@test2:/#

トークンが発行されます。そして、私たちは常にデータを記録しています。リクエストの99％は42ミリ秒で完了しました。したがって、2つのコアと4ギガバイトのメモリがある小さなマシンでは、1秒あたり約3500の要求があります。



約50,000のトークンを選択して、その値を確認することもできます。



httpだけでなく、データを処理するバックグラウンド関数を実行できます。さらに、さまざまなトリガーがあります。たとえば、更新時に関数を呼び出したり、何かをチェックしたり、競合を修正したりできます。



アプリケーションスクリプトはデータベースサーバー自体に直接記述でき、無制限で、任意のモジュールを接続し、任意のロジックを実装できます。



アプリケーションサーバーは、外部サーバーにアクセスし、データを収集してデータベースに保存できます。このデータベースのデータは、他のアプリケーションで使用されます。



これはTarantula自体によって行われ、別のアプリケーションを作成する必要はありません。

最後に

これは多くの作業の最初の部分にすぎません。2つ目はMail.ruGroupブログでまもなく公開される予定であり、この記事に間違いなくリンクを追加します。



オンラインで作成するイベントに参加したり、リアルタイムで質問したりすることに興味がある場合は、DevOps byREBRAINチャンネルに参加してください。



クラウドへの移行が必要な場合、またはインフラストラクチャについて質問がある場合は、遠慮なくリクエストを残してください。



PS私たちは月に2回の無料監査を行っています。おそらくあなたのプロジェクトはその中に含まれるでしょう。