...

MariaDB バッファプールのサイズ設定:InnoDB バッファプールに関する実践ガイドと経験則

私がどのようにしてその バッファプール MariaDBにおいて、アクティブなデータセットの大部分がRAM上に収まり、読み取り・書き込みアクセスが低速なストレージを待つことがほとんどないよう、実用的な観点から適切なサイズ設定を行います。 その際、InnoDBバッファプールについては明確な経験則を用い、ヒット率やI/Oを監視しながら、OSやサービスに負荷をかけすぎないよう、サイズを段階的に調整しています。.

中心点

以下の要点を確認すれば、的確な判断を下すための概要を素早く把握できます。.

  • RAMの割合: 専用DBサーバー上で60~80の%、共有ホスト上で40~60の%
  • アクティブなデータ: ホットデータの80~90、%をプールに収めること
  • ヒット率: 目標値が99以上なら%、それ以外はI/Oおよびレイテンシを確認する
  • 段階的に 調整:10~20回の%ステップで検証する
  • 全体像: OSキャッシュ、接続、ログ、およびサービスへの配慮

InnoDB バッファプールの役割

InnoDBキャッシュは、頻繁にアクセスされるデータページやインデックスページを RAM これにより、データキャリアへの高コストなアクセスが削減されます。このメモリの容量が大きいほど、エンジンはより頻繁に、直接 キャッシュ そして、レイテンシは低くなります。本番環境では、innodb_buffer_pool_size を適切に設定することが最も効果的な対策の一つとなります。これは、読み取りおよび書き込みパスに直接影響を与えるためです。 そのため、ワークロードが一定の処理量で動作するよう、私は他の調整項目よりもまずこのバッファの設定を優先しています。実践的な手順についてさらに詳しく知りたい方は、この簡潔な バッファプールの最適化 さらなる考察のきっかけ。.

目安:利用可能なRAMの割合

まず、利用可能なスペースを基準にプールの大きさを決めます ワーキングメモリ, 、他のサービスが実行されている場合は、物理RAM全体ではなく。 データベース専用サーバーでは、通常 innodb_buffer_pool_size に 60~80パーセントを割り当て、複合ホストでは 40~60パーセントを割り当てるようにしています。この幅を持たせることで、ファイルシステムキャッシュ、接続、バックグラウンドプロセスに十分な余裕を確保しつつ、 バッファ を最小限に抑える。その後、実際の負荷下で、ヒット率とI/Oの目標値が達成されているかを確認する。導入段階では、以下の目安が参考になる。その後、実際の測定値に基づいて微調整を行う。.

物理RAM 典型的なバッファプール(専用DBサーバー) OSおよびサービス用予備
4 GB 2.0~2.8 GB 1.2~2.0 GB
8 GB 4.0~5.6 GB 2.4~4.0 GB
16 GB 10~12 GB 4~6 GB
32 GB 20~24 GB 8~12 GB
64 GB 40~48 GB 16~24 GB

アクティブなデータセット:サイズを算出する方法

RAMルールは初期値を提供しますが、その アクティブ データセットによって目標サイズが決まります。まず、主要なテーブルとそのインデックスのサイズを調査し、特に負荷の高い構造に焦点を当てます。 その後、スローログやパフォーマンスデータなどを用いて、最も頻繁に実行されるクエリとこれらのテーブルとの相関関係を分析します。ホットデータの80~90パーセントがプールに収まる場合、エンジンは追加の処理を必要とせずに読み取りアクセスの大部分を処理します。 ディスクI/O. リソースが不足している場合は、最も重要なテーブルを優先するか、リソースプールを少しずつ増やしていきます。.

ヒット率とI/O負荷の測定

サイズが合っているかどうかは、以下の点から判断しています。 ヒット率 バッファプールの利用率と、ストレージサブシステムのI/O数値です。利用率が99%を著しく下回る状態が継続する場合は、1秒あたりの読み取り・書き込み回数と、個々のクエリの応答時間を並行して確認します。 ユーザー数がそれほど多くないにもかかわらず、I/Oスループットが継続的に高い場合は、多くの場合、バッファプールが小さすぎることを示唆しています。 バッファ 。この場合、正常に動作するRAMがまだ利用可能で、システムがスワップを開始しない限り、プールサイズを拡大します。体系的な微調整には、この簡潔な ヒット率に関するガイド 実践的なチェックポイント付き。.

主要指標を素早く把握:実務上の照会

実際の運用では、ステータス値から直接ヒット率を算出しており、これにより、プールが小さすぎるのか、それともフルスキャンや非効率的なスキャン計画がキャッシュヒット率を低下させているのかを素早く把握しています。.

-- おおよそのヒット率:
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_read_requests';
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_reads';
-- 計算式:1 - (Innodb_buffer_pool_reads / Innodb_buffer_pool_read_requests)

さらに、以下の価値観が私にとって指針となっています:

  • Innodb_pages_read/Innodb_pages_written:読み取り/書き込み負荷の比率
  • Innodb_buffer_pool_pages_dirty: ダーティページの数
  • Innodb_checkpoint_age とチェックポイントの所要時間(SHOW ENGINE INNODB STATUS による)

このデータをiostatやvmstatと組み合わせることで、ボトルネックがCPU、メモリ、それともストレージのいずれであるかを素早く把握できます。 クエリ数が安定しているにもかかわらず、InnoDB_buffer_pool_readsの数値が著しく上昇している場合は、プールを拡大するか、クエリプランを確認すべきという明確なシグナルだと私は考えています。.

実用的なチューニング:ステップバイステップ

まずは控えめなところから始めます セッティング RAMの使用率に応じて、負荷がかかった状態のシステムを監視します。その後、ヒット率、I/O、スワップ、CPU使用率に関するデータを収集し、次の手順を確実なものにします。 続いて、innodb_buffer_pool_sizeを10~20%刻みで調整し、チャンクサイズや最大チャンク数との互換性に注意を払います。 最新のMariaDBバージョンでは動的な調整が可能であるため、メンテナンスウィンドウ内での変更作業を短時間で済ませることができます。調整のたびに、主要なクエリの応答時間を比較し、バッファプールサイズを拡大したことによるメリットを キャッシュ 測定可能な状態のままである。.

オンラインでのリサイズの実践

オンラインでの変更については、断片化や不必要な再編成を避けるため、体系的な手順を踏んで進めています:

  1. 私はチェックする innodb_buffer_pool_chunk_size そして innodb_buffer_pool_instances, 、インスタンスサイズとチャンクサイズの組み合わせによって、新しい目標値が正確に表示されるようにするためです。.
  2. サイズを大きくするには、次のようにします。 SET GLOBAL innodb_buffer_pool_size = … 段階的に進め、RAMの使用状況や発生しうるレイテンシの急上昇を即座に監視してください。.
  3. その間、副作用がないか確認するために、ダーティページ、ページクリーナーの動作、およびチェックポイントの所要時間を監視しています。.
  4. 変更前後の基本指標(ヒット率、応答時間の95パーセンタイルおよび99パーセンタイル)を記録し、この措置を客観的に評価できるようにしています。.

大幅なスケールアップを行う際は、追加で短いメンテナンス時間を確保するようにしています。バージョンやインスタンス数、負荷プロファイルによっては、チャンクの内部再編成に時間がかかる場合があるためです。.

制約と技術的枠組み

プールのサイズが小さすぎると、管理の手間や誤アクセスが不釣り合いに増大してしまうため、あまり意味がありません。一方、設定が大きすぎると、 OSリソース 不必要です。一定の規模以上になると、innodb_buffer_pool_instances オプションによってロックを軽減できますが、最近の推奨事項では再びインスタンス数を少なくすることが推奨されています。私はインスタンス数をできるだけ少なく抑え、実際の競合が確認されてから初めて増やしています。オンラインでのサイズ変更の際は、 チャンクサイズ, 、新しい値が正しく引き継がれ、パフォーマンスの低下が生じないようにするためです。インスタンスごとの上限値は、管理上のオーバーヘッドや断片化を抑えるために、実用的な観点から設定しています。.

NUMA、HugePages、およびSwappiness

大規模なホストでは、私は以下の点を考慮に入れています。 NUMAトポロジー, 、これにより、バッファプールが特定のノードで「リソース不足」に陥るのを防ぐためです。私は、メモリを均等に分散させる(インターリーブ)方式を採用するか、負荷が特定のノードに集中している場合は、そのサービスを意図的にそのノードに固定しています。. 透明な巨大なページ 予測可能なレイテンシの挙動に対してはこれを無効にし、静的なHugePagesは、明らかなメリットが確認できる場合にのみ使用します。Linuxのパラメータ vm.swappiness カーネルが過度にスワップを行わないように、またInnoDBキャッシュが頻繁にアクセスされるデータをRAMに保持できるように、この設定は控えめ(低め)にしています。.

貯蔵施設の全体図

適切なサイジングでは、全体を考慮に入れる必要があります エネルギー収支 InnoDBキャッシュだけでなく、マシン全体のリソースを考慮しています。ファイルシステムキャッシュ、接続、ログ、バックグラウンドプロセス、そして必要に応じて他のアプリケーションのためのスペースを確保するように計画しています。InnoDBを多用するワークロードの場合、MyISAMキーバッファのサイズを小さく抑え、不要なリソースが占有されないようにしています。 共有ホスティング環境では、Webサーバー、PHP-FPM、またはキャッシュサービスによる負荷のピークに対応できるよう、より保守的な見積もりを立てています。この連携によりボトルネックを防ぎ、安定した 応答時間 と。

コンテナと仮想化

コンテナやVMでは、プロセスのビューが 利用可能なRAM (cgroups/Quota) が実際の割り当てと一致しているか確認します。そうしないと、バロニング、オーバーコミット、およびハードメモリ制限により、予期せぬスワッピングやOOMキルが発生する可能性があります。私はバッファプールを 保証された ゲスト内のメモリを監視するとともに、ホスト側も監視して、静的なボトルネックが発生しないようにする。.

一般的なシナリオの実例

4 GBの小さなVPS上で、約2 GBを バッファ を設定し、Webサーバー、PHP、OSに十分な余裕を持たせ、スワップが発生しないようにします。16 GBのメモリを搭載した中規模のデータベースサーバーでは、10~12 GBを目安とします。これにより、短いトランザクションが多数発生するイントラネットアプリケーションは、高い ヒット率 メリットがあります。64 GBのOLTPホストは、多くの場合40~48 GB程度に落ち着くため、さらに複数のインスタンスが適切かどうかを確認します。 いずれの場合も、短期間後に変更内容を再検証し、実際の利用状況に合わせて調整します。このようにして、単に静的な数値に頼るのではなく、ストレージとI/Oの健全なバランスを維持しています。.

OLTP 対 レポートおよび長期実行ジョブ

異なる アクセスパターン これらは、理想的なプールサイズに大きな影響を与えます。特に、ホットセットがRAMに収まり、LRUキューが安定している場合、OLTPワークロードは大きな恩恵を受けます。一方、大規模なスキャンを伴うレポーティングやETLジョブは、キャッシュを「追い出してしまう」可能性があります。そのため、私は innodb_old_blocks_time, 、これにより、フルスキャンがYoung-Sublist内の「ホットページ」を即座に上書きしてしまうのを防ぐ。同時に、負荷の高いレポートは閑散帯に実行するようにスケジュールするか、レプリカに隔離することで、プライマリサーバーがレイテンシの目標値を維持できるようにしている。.

他のパラメータとの相互作用

プールが最も大きな効果をもたらしますが、他にも パラメータ これらによって全体像が完成します。書き込みパスが効率的に保たれ、チェックポイントが頻繁に発生しないよう、innodb_log_file_size と innodb_log_buffer_size に注意を払っています。接続やスレッドの設定により、ワークロードのプロファイルに合わせて並列処理を調整しています。 フラッシュ戦略とチェックポイント処理のロジックを最適化し、負荷のピークがシステムに与える影響を軽減しています。中央の バッファ しっかりとした仕上がりになるなら、こうした細かな作業は本当に価値がある。.

リドゥログ、ダーティページ、チェックポイント

書き込み負荷とバッファサイズは、 リドゥログの容量 およびダーティページの量に関連しています。プールが大きければ、発生するダーティページも増える可能性があります。一方、リドゥログの容量が小さすぎると、InnoDBはチェックポイントをより頻繁に実行せざるを得なくなり、負荷のピークが発生します。したがって、私は innodb_log_file_size 書き込みレートに合わせてログプールを調整し、チェックポイントの所要時間を測定します。 innodb_max_dirty_pages_pct (およびそれに相当する「Low-Watermark」)を使って、より積極的にフラッシュを行うタイミングを調整しています。SSDでは、従来、HDD向けの最適化機能を無効にしています。例えば、 innodb_flush_neighbors, 、一方、回転するプレート上では、どちらかといえば保守的にフラッシュします。その innodb_flush_method ファイルシステムとコントローラーに合わせて選択し、二重キャッシュを回避して、一貫したレイテンシを実現します。.

ストレージの影響:SSD 対 HDD

ストレージの速度が遅ければ遅いほど、十分なバッファプールはレイテンシに大きな影響を及ぼします。 高速なNVMe SSDでもサイズ設定は重要ですが、95 %と99 %のヒット率の差は、HDDベースのインフラに比べてそれほど顕著には感じられません。 私は、キューの深さ、レイテンシのパーセンタイル、およびライト増幅を監視しています。I/Oパスがすでに限界に達している場合は、クエリプラン、インデックス、バッファプール、リドゥログ、そして最後にストレージ容量の順に対処します。.

実務におけるモニタリング

持続的な成功には、信頼できる 指標. パフォーマンス・スキーマのデータとシステム指標を組み合わせて、ヒット率、I/O負荷、RAM使用量、スワップ使用状況を把握しています。 レートが低下しているにもかかわらず読み取り負荷が高い場合は、通常、ストレージ容量が不足しているか、クエリプランの効率が悪いことを示しています。パフォーマンス・スキーマによる測定を素早く開始するために、私はこれを利用しています モニタリングツール 参考として。重要なのは相関関係です。キャッシュヒット、I/O、およびクエリ時間の相互作用によって初めて、私はそれを評価するのです。 結果 その通りです。.

バッファのウォームアップと永続性

再起動後は、ウォームアップ時間を短くしたい。そこで、これを有効にします。 ダンプ/ロード シャットダウンおよび起動時のバッファプールを調整し、頻繁にアクセスされるページがより速くRAMに戻るようします。さらに、アクセスパターンが非常に安定している場合は、必要なホットテーブルを(例えば、調整済みのSELECT文などを通じて)事前に読み込みます。 その際、OSに過度な負荷をかけないことが重要です。キャッシュが満たされる間、RAM、I/O、CPUを監視し、積極的なプリロードよりも本番環境の負荷を優先します。.

日常生活のための手っ取り早いチェックリスト

  • 初期値の設定:60~80 % RAM(専用)または 40~60 %(共有)――OS用に十分な余裕を残す。.
  • ホットセットの特定:最も頻繁に使用されるクエリのテーブルとインデックスを合計し、80~90%の%目標達成率を目指す。.
  • ヒット率の測定:1 − (reads/read_requests) ≥ 99、%を目標とする。並列I/Oと応答時間を確認する。.
  • 10~20の%ステップごとに増分し、各ステップの後にレイテンシ、ダーティページ、チェックポイントを検証する。.
  • リドゥログとフラッシュ戦略を書き込み負荷に合わせて調整し、チェックポイントのピークを平準化する。.
  • NUMA/Swappiness/THPを確認し、コンテナの制限を遵守し、スワップは厳格に回避する。.
  • ウォームアップを高速化する(ダンプ/ロード)、old_blocks_time を使用してフルスキャンの「ノイズ」を除去する。.
  • プールが十分に大きいにもかかわらずレイテンシが残る場合は、RAMを増やすだけでなく、プラン/インデックス/ロックを調査してください。.

簡単にまとめると

の寸法を測ってみた。 バッファ まず、利用可能なRAMを確認し、その後、アクティブなデータを実際の使用状況と照らし合わせて検証します。 目標は、ホットデータの約80~90パーセントがプールに収まり、ヒット率が約99パーセントになることです。その後、I/Oと応答時間が適切になるまで、10~20パーセントずつ微調整を行います。 ボトルネックが発生しないよう、インスタンス数、チャンクサイズ、システムの総要件による制限を厳格に遵守します。明確なガイドライン、測定、そして的確な調整を組み合わせることで、MariaDBインスタンスを信頼性高く、かつ低 レイテンシー の作品だ。

現在の記事

データセンター内のサーバーで、MariaDBのバッファプールが最適化されている
データベース

MariaDB バッファプールのサイズ設定:InnoDB バッファプールに関する実践ガイドと経験則

明確な経験則と例示値を用いた、MariaDBのバッファプールサイジングに関する実践的なガイドです。MariaDBデータベースのパフォーマンスを大幅に向上させるために、InnoDBバッファプールを最適にサイジングする方法をご確認ください。安定したワークロードにおけるバッファプールサイジングに焦点を当てています。.

データセンター内のCPUスケジューリングとレイテンシグラフを備えたLinuxサーバー
サーバーと仮想マシン

Linuxスケジューラのレイテンシを測定・最適化し、カーネルのパフォーマンスを向上させる

Linuxのスケジューラ遅延を測定・最適化し、カーネルのパフォーマンスを向上させるための実践的なガイド。焦点:Linuxにおけるスケジューラ遅延の分析による、正確なCPUスケジューリングと安定したサーバーの応答時間の実現。.