Postgresプロセスのメモリコストの測定

これは、Postgresの最強の開発者の1人であるAndresFreundによる投稿の大まかな翻訳です。開発者が強いという事実に加えて、この記事は非常に興味深いものであり、LinuxOSがどのように機能するかの詳細を明らかにしています。

グリッド後の接続がメモリを使いすぎるという主張を聞くのはよくあることです。これは、クライアント接続を処理するためのプロセスモデルを、各接続が別々のスレッドで提供される別のモデルと比較するときによく言及されます。

私に関しては、ここで議論することがたくさんあります。さらに、いくつかの改善を行い、メモリ使用量を減らすことができます。

メモリオーバーヘッドに関するこの懸念は、topやpsなどのユーティリティを使用してメモリ消費量を測定する最も簡単な方法がかなりだまされているという1つの一般的な理由によるものだと思います。

実際、新しい接続ごとに使用されるメモリがどのように増加するかを測定することは特に困難です。

この投稿では、Linuxで実行されているPostgresについて説明します。私が最も経験を積んだのはこの方向です。

続行する前に、正確で正確な測定では、1つの接続のオーバーヘッドが2MiB未満であることを強調したいと思います（投稿の最後にある結論を参照してください）。

一見

, , ( ). (huge pages), . . , Postgres:

andres@awork3:~$ psql
postgres[2003213][1]=# SELECT pg_backend_pid();
┌────────────────┐
│ pg_backend_pid │
├────────────────┤
│        2003213 │
└────────────────┘
(1 row)

andres@awork3:~/src/postgresql$ ps -q 2003213 -eo pid,rss
    PID   RSS
2003213 16944
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

16MiB.

!?! ,

. , pgprewarm, (shared buffers):

postgres[2003213][1]=# SHOW shared_buffers ;
┌────────────────┐
│ shared_buffers │
├────────────────┤
│ 16GB           │
└────────────────┘
(1 row)

postgres[2003213][1]=# SELECT SUM(pg_prewarm(oid, 'buffer')) FROM pg_class WHERE relfilenode <> 0;
┌────────┐
│  sum   │
├────────┤
│ 383341 │
└────────┘

andres@awork3:~$ ps -q 2003213 -eo pid,rss
    PID   RSS
2003213 3169144
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

3GB. , , . , :

postgres[2003213][1]=# SELECT pg_size_pretty(SUM(pg_relation_size(oid))) FROM pg_class WHERE relfilenode <> 0;
┌────────────────┐
│ pg_size_pretty │
├────────────────┤
│ 2995 MB        │
└────────────────┘
(1 row)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

, , :

postgres[3244960][1]=# SELECT sum(abalance) FROM pgbench_accounts ;
┌─────┐
│ sum │
├─────┤
│   0 │
└─────┘
(1 row)

andres@awork3:~/src/postgresql$ ps -q 3244960 -eo pid,rss
    PID   RSS
3244960 2700372
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

, Postgres 3GB 2.7GB . , huge_pages=off, ps (shred - ) , . .

- 4KiB, , 2MiB.

, , . Debian wiki .

huge_pages=on, . , " ":

andres@awork3:~$ ps -q 3245907 -eo pid,rss
    PID   RSS
3245907  7612
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

, 7MiB. (page table) , - , 512 (4KiB * 512 = 2MiB).

:

postgres[3245843][1]=# ;SELECT SUM(pg_prewarm(oid, 'buffer')) FROM pg_class WHERE relfilenode <> 0;
…
postgres[3245851][1]=# SELECT sum(abalance) FROM pgbench_accounts ;
…

andres@awork3:~$ ps -q 3245907,3245974 -eo pid,rss
    PID   RSS
3245907 12260
3245974  8936
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

, 12MiB 9MiB , 3GiB 2.7GiB.

.

, Linux , , : RSS ps top.

4.5, /proc/$pid/status :

• VmRSS . (VmRSS = RssAnon + RssFile + RssShmem)

  
  
  
  
  

• RssAnon .

  
  
  
  
  

• RssFile .

  
  
  
  
  

• RssShmem ( SysV shm, tmpfs )

  
  
  
  
  

andres@awork3:~$ grep -E '^(Rss|HugetlbPages)' /proc/3247901/status
RssAnon:	    2476 kB
RssFile:	    5072 kB
RssShmem:	    8520 kB
HugetlbPages:	       0 kB

postgres[3247901][1]=# SELECT SUM(pg_prewarm(oid, 'buffer')) FROM pg_class WHERE relfilenode <> 0;

andres@awork3:~$ ps -q 3247901 -eo pid,rss
    PID   RSS
3247901 3167164

andres@awork3:~$ grep -E '^(Rss|HugetlbPages)' /proc/3247901/status
RssAnon:	    3148 kB
RssFile:	    9212 kB
RssShmem:	 3154804 kB
HugetlbPages:	       0 kB
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

RssAnon "" , .. . RssFile , postgres. RssShmem .

ps - - .

, huge_pages=on:

andres@awork3:~$ grep -E '^(Rss|HugetlbPages)' /proc/3248101/status
RssAnon:	    2476 kB
RssFile:	    4664 kB
RssShmem:	       0 kB
HugetlbPages:	  778240 kB

postgres[3248101][1]=# SELECT SUM(pg_prewarm(oid, 'buffer')) FROM pg_class WHERE relfilenode <> 0;

andres@awork3:~$ grep -E '^(Rss|HugetlbPages)' /proc/3248101/status
RssAnon:	    3136 kB
RssFile:	    8756 kB
RssShmem:	       0 kB
HugetlbPages:    3846144 kB
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

, . :

, RssFile - (Postgres mmap() - ). .

, RssAnon . ps , postgres ( postmaster). Linux ( fork()), Copy-on-Write , .

, . , 4.14 ( ) /proc/$pid/smaps_rollup . Pss " " ( smaps_rollups Pss ). , .

postgres[2004042][1]=# SELECT SUM(pg_prewarm(oid, 'buffer')) FROM pg_class WHERE relfilenode <> 0;
┌────────┐
│  sum   │
├────────┤
│ 383341 │
└────────┘
(1 row)

postgres[2004042][1]=# SHOW huge_pages ;
┌────────────┐
│ huge_pages │
├────────────┤
│ off        │
└────────────┘
(1 row)

andres@awork3:~$ grep ^Pss /proc/2004042/smaps_rollup
Pss:             3113967 kB
Pss_Anon:           2153 kB
Pss_File:           3128 kB
Pss_Shmem:       3108684 kB
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

Pss_Anon , Pss_File , Pss_Shmem ( ) .

, . pgbench (scale 1000, -S -M prepared -c 1024) :

postgres[2004042][1]=# SELECT count(*) FROM pg_stat_activity ;
┌───────┐
│ count │
├───────┤
│  1030 │
└───────┘
(1 row)

postgres[2004042][1]=# SELECT pid FROM pg_stat_activity WHERE application_name = 'pgbench' ORDER BY random() LIMIT 1;
┌─────────┐
│   pid   │
├─────────┤
│ 3249913 │
└─────────┘
(1 row)

andres@awork3:~$ grep ^Pss /proc/3249913/smaps_rollup
Pss:                4055 kB
Pss_Anon:           1185 kB
Pss_File:              6 kB
Pss_Shmem:          2863 kB
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

huge_pages=on:

andres@awork3:~$ grep ^Pss /proc/2007379/smaps_rollup
Pss:                1179 kB
Pss_Anon:           1173 kB
Pss_File:              6 kB
Pss_Shmem:             0 kB
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

Pss , . , . `/proc/$pid/status`.

, , VmPTE ( ) , Vm* , VmStk copy-on-write.

, huge_pages=off:

andres@awork3:~$ grep ^VmPTE /proc/2004042/status
VmPTE:      6480 kB
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

huge_pages=on:

VmPTE:	     132 kB
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

- , , .

これらの測定に基づいて、かなり単純な読み取り専用OLTPロードを実行するプロセスには、VmPTEにPss_Anonを含めると、huge_pages =オフで約7.6MiB、huge_pages =オンで約1.3MiBのオーバーヘッドがあると想像できます。

ある種の「見えない」オーバーヘッドや、バッファ内の大量のデータなどがあると想像しても、接続オーバーヘッドは2MiB未満であるという以前のステートメントに戻ると思います。

翻訳者からの補足。Postgres 14では、Postgres自体の観点から現在のプロセスによる詳細なメモリ使用率を示す新しいpg_backend_memory_contextsビューが導入されています。