MySQL的缓冲池[Buffer Pool]你知道多少？
MySQL的缓存池本质上是一个内存缓存，通过将数据缓存在磁盘上来提高数据性能。其核心参数是innodb_buffer_pool_size，控制缓冲区的大小以提高数据库性能。
内部结构比较复杂，包括一个维护空闲缓存页的空闲链表，这是一个双向链表，用来跟踪哪些缓存页没有被使用，还有一个链表删除链接，存储需要刷新的脏页回到磁盘。
哈希表用于快速搜索数据。
它通过表空间和页号查找缓存页地址，以减少磁盘访问。
另外，LRU（最近最少使用）链接列表用于管理页面的访问顺序，将数据刷新到磁盘是保证数据一致性的重要步骤。
在多实例环境中，要特别注意Pagesmadeyoung的计数规则，只有当冷数据区域中的页面移动到热数据区域的顶部时，该规则才会递增。
最后，通过查看相关信息，我们可以监控和优化缓冲区使用情况，以确保最佳的数据库性能。
了解这些细节对于优化 MySQL 性能至关重要。
MySQL缓冲池(buffer pool)，终于懂了！！！（收藏）
应用系统运行时，为了提高数据访问效率，将经常访问的数据存储在缓存中，以减少数据库访问次数。操作系统使用缓冲池机制通过将数据预加载到内存中来加速数据访问，以避免每次都访问磁盘。
MySQL作为数据存储系统，也有缓冲池机制，旨在减少查询数据时的磁盘I/O操作。
今天我们就来深入研究一下InnoDB缓冲池的相关概念。
InnoDB缓冲池主要用于缓存表数据和索引数据，并将磁盘上的数据加载到内存中，以避免每次访问时进行磁盘读写操作。
然而，将所有数据放入缓冲池并不是最佳解决方案，因为缓存访问速度快但容量有限。
当数据库存储大量数据时，缓冲池容量可能只占一小部分。
内存访问速度很快，但容量也有限。
因此，InnoDB缓冲池的策略是只存储“最热”的数据，以尽量减少磁盘访问。
为了优化缓冲池管理和数据消除，InnoDB使用LRU（最近最少使用）算法。
在介绍具体的管理细节之前，我们先来了解一下“预读”机制。
预读是指在访问数据时，系统会将将来可能需要的数据加载到缓存中，以减少后续的磁盘I/O操作。
预读机制可以有效提升性能，激发InnoDB以页为单位缓存数据，并在缓冲池中实现预读策略。
预读的有效性基于数据访问的“局部性”原则，即当使用某些数据时，很可能会使用附近的其他数据。
预读机制允许InnoDB提前加载可能访问的页面，以避免将来的磁盘I/O操作。
InnoDB的缓冲池通常按照页（通常是4K）大小进行管理，以实现高效的数据访问。
为了进一步优化缓冲池管理，InnoDB针对新生代和老生代（新生代和老年代）引入了LRU算法改进。
这一改进包括将LRU分为两部分：年轻代和老年代。
当新页面添加到缓冲池时，它们首先被放入老年代。
只有当数据真正被读取时，才会被移至新一代。
这种设计有助于减少数据移动并保持缓冲池中热数据的持久性。
在数据访问方式上，InnoDB引入了“老年代驻留时间窗口”机制，保证频繁访问的数据能够在缓冲池中保留更长的时间，以提高整体性能。
在解决预读失败和缓冲池污染问题的同时，InnoDB改进的LRU算法在降低磁盘访问频率、提高数据访问效率方面表现良好。
通过合理分配新老代资源，InnoDB缓冲池可以在保证性能的同时更好地响应频繁访问的数据需求，从而为用户提供更高效、稳定的数据库服务。
Mysql数据库InnoDB缓冲池（Buffer Pool）
1、InnoDB缓冲池简介 InnoDB在内存中维护一个称为缓冲池的存储区域，用于缓存数据和索引。了解InnoDB缓冲区如何工作以及如何使用它们在内存中存储经常访问的数据对于调优Mysql非常重要。
您可以通过配置 InnoDB 缓冲的各个方面来提高 MySQL 性能。
理想情况下，您可以将缓冲池设置为实际需要的值，为服务器上运行的其他进程留下足够的内存，以防止过度交换。
缓冲池越大，InnoDB 就越像内存库，从磁盘读取数据一次，然后只从内存读取数据。
大内存64位系统可以将缓冲池划分为多个部分，以尽量减少并发操作时与内存结构的冲突。
即使备份或报告等活动突然增加，经常访问的数据也可以保留在内存中。
您可以控制 InnoDB 何时以及如何将数据页异步提前读取到缓冲池中，以预测很快将需要某些数据页。
你可以控制后台进程何时将脏页刷新到磁盘，以及InnoDB是否根据工作负载动态调整脏页刷新的频率。
InnoDB 可以配置为维持当前缓冲池状态，以避免服务器重新启动后较长的热启动时间。
还可以在服务器运行时保存当前缓冲池状态。
2. Innodb缓冲池LRU算法 Innodb将缓冲池作为链表使用，并通过最近最少使用（LRU）变换算法对其进行管理。
当需要将新页面添加到缓冲池时，InnoDB会删除最近最少使用的页面并将新页面添加到链表的中间。
这种“中间插入策略”将一个链表视为两个子链表。
链表的头部是最近访问的“新”（或“年轻”）页面，链表的尾部是最近访问的子链接列表。
这是“上一页”页面的子列表。
该算法将查询中经常使用的页面保留在新的子列表中。
前面的子列表包含不太常用的页面。
这些页面将来可能会被删除。
LRU算法的基本操作如下。
缓冲池的3/8用作传输子列表。
链表的中点是新子链表的尾部和旧子链表的头之间的边界。
当InnoDB将一个页面读入缓冲池时，它会将该页面插入到链表的中点（前一个子链表的头部）。
当用户执行某些操作时，例如需要InnoDB执行预读操作的数据页或查询，InnoDB会将它们读入缓冲池。
当访问旧子列表中的页面时，该页面会移向缓冲池的头部（新子列表的头部），使其“更年轻”。
当一个页面因需要而被读入缓冲池时，第一次读取会立即发生，使该页面年轻。
由于预读，当一个页面被读入缓冲池时，第一次访问不会立即发生。
该页面在被删除之前可能根本无法被读取。
随着数据库活动的进行，缓冲池中未访问的页面将变为移动到链表的末尾，使其失效。
其他页面将更新，但新的和现有子列表中的页面将更旧。
当页面插入列表的中点时，先前子列表中的页面会变旧。
最终，长时间未使用的页面到达其先前子列表的末尾并被删除。
默认情况下，查询读取的页面会立即移动到新的子列表。
这意味着它们将在缓冲池中停留更长时间。
表扫描（由 mysqldump 或不带 where 子句的 select 语句等操作引起）可以将大量新数据放入缓冲池并删除相同数量的旧数据，即使新数据从未使用过。
类似地，由后台进程预加载的页面仅被访问一次，然后移动到新链表的头部。
在这些情况下，使用过的页面通常会被推送到旧的子列表并被删除。
InnoDB标准监控输出在BUFFERPOOLANDMEMORY部分包含几个属于缓冲池LRU算法的字段。
3.InnoDB缓冲池配置选项 有几个配置选项会影响InnoDB缓冲池的各个方面。
innodb_buffer_pool_size：确定缓冲池的大小。
innodb_buffer_pool_chunk_size：定义InnoDB缓冲池大小改变时的chunk大小。
innodb_buffer_pool_instances：将缓冲池划分为用户指定数量的独立区域。
每个区域都有自己的LRU链表和关联的数据结构，以减少并发内存读写期间的冲突。
innodb_old_blocks_pct：指定用作旧子列表的缓冲池。
innodb_old_blocks_time：指定插入旧子链表中的页面在第一次访问后应保留在旧子链表中的时间量（以毫秒为单位），然后再移至新子链表。
innodb_read_ahead_threshold：控制InnoDB在将页面提前读入缓冲池时的线性预读敏感性。
innodb_random_read_ahead：启用随机预读技术，将页面提前读取到缓冲池中。
innodb_adaptive_flushing：决定是否根据工作负载动态调整缓冲池的脏页刷新率。
innodb_flush_neighbors：决定当一个页面从缓冲池中刷新时，同一范围内的其他脏页是否也被刷新。
innodb_flushing_avg_loops：InnoDB 维护先前计算的刷新状态快照的迭代次数，用于控制自适应刷新对更改负载的响应能力。
innodb_lru_scan_length：影响缓冲池刷新操作的算法和启发式的参数。
主要由性能专家用来调试 I/O 密集型工作负载。
innodb_max_dirty_pages_pct：InnoDB尽力从缓冲区中刷新数据，以便脏页的百分比不超过该值。
innodb_max_dirty_pages_pct_lwm：低水位线，表示启用pre -flush控制脏页率时脏页的百分比。
innodb_buffer_pool_filename：指定用于存储由innodb_buffer_pool_dump_at_shutdown或innodb_buffer_pool_dump_now生成的表空间ID和页ID列表的文件名。
innodb_buffer_pool_dump_at_shutdown：在mysql服务器关闭时缩短下次重新启动时间。
指定是否将缓冲页写入缓冲池。
innodb_buffer_pool_load_at_startup：指定在 MySQL 服务器启动时通过加载相同的先前缓冲页面来自动缓冲池预热。
innodb_buffer_pool_dump_now：立即将缓冲页写入缓冲池。
innodb_buffer_pool_load_now：通过加载一组数据页立即准备缓冲池，而不是等待服务器重新启动。
innodb_buffer_pool_dump_pct：指定从每个缓冲池读取和发出的最近使用的页面的百分比。
innodb_buffer_pool_load_abort：中止由innodb_buffer_pool_load_at_startup或innodb_buffer_pool_load_now触发的缓冲池恢复过程。
MySQL 缓冲池 Buffer Pool 详解
MySQL的缓冲池BufferPool是存储系统中提高性能的重要机制。它是在InnoDB存储引擎级别，而不是在MySQL服务器级别。
BufferPool以页为单位存储数据页和索引页，通过减少磁盘I/O来加速数据访问。
其核心组件包括LRU链表、Free链表和Flush链表，通过它们来管理数据的加载、更新和删除。
首先，BufferPool由数据页和控制块组成。
默认数据页大小为 16 KB。
控制块存储页号、地址等元数据信息。
当进行读或写操作时，首先在BufferPool中查找数据页。
如果丢失，则从磁盘读取并加载到缓存中。
写操作首先写入BufferPool和protocol buffer，脏页由后台线程定期刷新。
数据页管理基于三个链表：空闲链表记录空闲数据页，LRU链表按访问频率排序并剔除长时间未使用的数据页，Flush链表负责刷新脏页。
BufferPool中的控制块和数据页通过链接紧密相连。
每个控制块仅存在于内存中，并通过指针链接到空闲链表节点，从而避免内存中的重复。
BufferPool的数据页不仅包含数据和索引，还可以包含undo页、插入缓存、自适应哈希索引等。
初始化时，BufferPool内存被划分为控制块和缓存页，并通过空闲链表管理数据页的动态分配和释放。
在读写操作期间，使用数据页缓存哈希表快速查找数据，以避免不必要的磁盘访问。
总的来说，MySQL的BufferPool通过复杂的链表管理和数据缓存策略，有效地提高了数据库的读写性能。
