当前位置: gbaiyou->培训 > PostgreSQL技术大讲堂 - 第23讲:缓冲区管理器

PostgreSQL技术大讲堂 - 第23讲:缓冲区管理器

2023-07-21作者:gbaiyou来源:www.gbaiyou.com

PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。

第23讲:缓冲区管理器

内容1 : 缓冲区概述

内容2 : 缓冲区管理器结构

内容3 : 缓冲区管理器锁

内容4 : 缓冲区管理器如何工作

内容5 : 环形缓冲区

内容6 : 脏块写


缓冲区概述

· 缓冲区结构(存放各种类型的数据块)

    数据文件页—表和索引块

    可用空间地图块

    可见性地图块

    缓冲区数组索引--buffer_ids

· Buffer Tag结构

    RelFileNode (分别为表对象oid、数据库oid、表空间oid)

    页面的fork number (分别为0、1、2)

    页面number 示例:

    缓冲区标记{(16821、16384、37721)、0、7}

    1、标识第七个块中的页

    2、其关系的OID和fork号分别为37721和0(0即为存放表数据的文件)

    3、该块存放在OID为16384的数据库中,表空间的OID为16821

· Backend进程读数据块到缓冲区

· 写脏块

    下面进程工作时会导致脏块写:

    · Checkpointer

    · background writer


缓冲区管理器结构

· 管理器结构

· 第一层(Buffer Table)

    在这一层内置的hash函数将buffer_tags映射到插槽,插槽中记录了buffer_tags和描述层的buffer_id的映射关系。

· 第二层(Buffer Descriptor)

    描述层包含了很多重要的信息,包括buffer_tag与缓冲池插槽id的映射关系,访问次数统计,锁等信息。

    · Tag

     · buffer_id

     · refcount (被进程访问过一次加一,被时钟扫描过后减一,为零时可用)

     · usage_count

     · context_lock and io_in_progress_lock

     · Flags

     dirty bit

             valid bit

         io_in_progress bit

     · freeNext

· Buffer Descriptors Layer (Loading the first page)

    先请求一个缓冲区空间,buffer table层把描述层的buffer_id与buffer_tag进行映射;然后在描述层把buffer_tag与缓冲区id进行映射;最后把数据块读到相应的缓冲区槽中。

· 第三层(Buffer Pool)

    缓冲池是存储数据文件页(如表和索引)的简单数组。缓冲池数组的索引称为buffer_ids。

    缓冲池被分割成大小为8 KB的插槽,等于页面大小。因此,每个槽可以存储整个页面。缓冲区管理器锁

· Buffer Manager Locks

    缓冲区管理器为许多不同的目的使用许多锁

    锁是缓冲区管理器同步机制的一部分;它们与任何SQL语句和SQL选项都不相关

· Buffer Table 层的锁

    BufMappingLock保护整个缓冲表的数据完整性。它是一个轻量锁,可以在共享和独占模式下使用。在缓冲区表中搜索条目时,后端进程保存共享的BufMappingLock。当插入或删除条目时,后端进程持有独占锁。

· Buffer Descriptor 层锁

    每个缓冲区描述符使用两个轻量级锁

        · content_lock

        · io_in_progress_lock

· content_lock

content_lock是一种典型的强制访问限制的锁。它可以用于共享和独占模式。

当执行下列操作之一时,将获取独占内容锁:

· dml操作

· 物理删除元组或压缩存储页上的可用空间(vacuum和HOT处理)

· 冻结存储页中的元组

· io_in_progress_lock

    io_in_progress锁用于等待缓冲区上的I/O完成。当PostgreSQL进程从存储器加载/写入页面数据时,该进程在访问存储器时持有相应描述符的独占io_in_progress锁。

· spinlock

    下面显示如何固定缓冲区描述符:

    1、获取缓冲区描述符的自旋锁。

    2、将其refcount和usage_count的值增加1。

    3、松开旋转锁。

    下面显示如何将脏位设置为“1”:

    1、获取缓冲区描述符的自旋锁。

    2、使用按位操作将脏位设置为“1”。

    3、松开旋转锁。


缓冲区管理器如何工作

· 访问已存放在缓冲区中的数据块

· 加载数据块到空的缓冲池插槽

· 加载数据块到一个需要释放的缓冲池插槽

· 缓冲区块替换机制

    替换页面算法

        · 时钟扫描(8.1开始及以后的版本)

        · LRU算法(8.1以前的版本)

· 时钟扫描算法

    缓冲区描述符显示为蓝色或青色框,框中的数字显示每个描述符的使用计数,每扫描一次则减一,缓冲区每被访问过一次则加一。


Ring Buffer

· Ring Buffer

· Bulk-reading

    需要大块的缓冲池时,如果扫描缓冲池时其大小超过(共享缓冲区/4)四分之一的空间时,还没有找到足够的缓冲池,则分配256KB环形缓冲区。

· Bulk-writing

    执行下面列出的SQL命令时。在这种情况下,环缓冲区大小为16MB。

        COPY FROM command.

        CREATE TABLE AS command.

        CREATE MATERIALIZED VIEW or REFRESH MATERIALIZED VIEW command.

        ALTER TABLE command.

· Vacuum-processing

    当自动真空机进行真空处理时。在这种情况下,环缓冲区大小为256 KB。


脏块写

· Flushing Dirty Pages

    检查点进程和后台写入进程将脏页刷新到存储区,检查点与后台写进程分离。

    检查点进程将检查点记录写入WAL段文件,并在检查点启动时刷新脏页。

    后台写进程的作用是减少检查点密集写的影响。后台写进程持续一点一点地刷新脏页,对数据库活动的影响最小。

    默认情况下,后台写入程序每200毫秒唤醒一次(由bgwriter_delay定义),并最多刷新为100页(由bgwriter_lru_maxpages 定义)


共享池缓冲区参数设置

· 共享缓冲区相关参数

    shared_buffers参数设置 show shared_buffers;

    Alter system set shared_buffers=256M;

    wal_buffers参数设置 show wal_buffers;

    Alter system set wal_buffers =4M;

    effective_cache_size 参数设置 show effective_cache_size;

    提供可用于磁盘高速缓存的内存量的估计值。它只是一个建议值,而不是确切分配的内存或缓存大小。它不会实际分配内存,而是会告知优化器内核中可用的缓存量。在一个索引的代价估计中,更高的数值会使得索引扫描更可能被使用,更低的数值会使得顺序扫描更可能被使用。在设置这个参数时,还应该考虑PostgreSQL的共享缓冲区以及将被用于PostgreSQL数据文件的内核磁盘缓冲区。默认值是4GB。

以上就是【PostgreSQL从小白到专家】第23讲 - 缓冲区管理  的内容,欢迎一起探讨交流钉钉交流群:35,82,24,60,往期视频及文档内容联系CUUG

  • PolarDB-X高可用与容灾(WIP)
  • 大连财经学院 - 国产数据库工作室揭牌仪式圆满成功(CUUG)
  • 河北工程技术学院 - 国产数据库工作室揭牌仪式圆满成功
  • postgresql从小白到高手 - 第38讲:数据库备份
  • 11月18日直播!杭州峰会大咖晚宴煮酒论英雄+PG技术大讲堂(34)
  • 11月27日,CUUG新鲜出炉的Oracle DB 19C OCP证书
  • Oracle 19c OCM认证好考吗?CUUG OCM成绩公布
  • Oracle 19c OCM认证考试成绩出炉!- CUUG WDP培训中心
  • 菏泽学院 - 国产数据库工作室揭牌仪式圆满成功
  • 2023年12月,PostgreSQL认证培训红头文件【工信部人才交流中心】
  • 2024年第13届PostgreSQL中国技术大会来啦!
  • OCP认证能不能在家中考试,不去VUE考点考试吗?
  • 恭喜CUUG Guo同学以较高分数通过19c OCM认证考试!
  • Oracle数据库加入AI功能,Database 23c改名为Database 23ai
  • DB-Engines:PostgreSQL is the DBMS of the Year 2023
  • PostgreSQL技术大讲堂 - 第44讲:pg流复制部署
  • PostgreSQL技术大讲堂 - 第45讲:poc-tpcc测试
  • PostgreSQL技术大讲堂 - 第46讲:poc-tpch测试
  • PostgreSQL技术大讲堂 - 第47讲:JMETER工具使用
  • PostgreSQL技术大讲堂 - 第48讲:PG高可用实现keepalived
  • PostgreSQL技术大讲堂 - 第50讲:PG分区表管理
  • 3月30日,工信部人才交流中心PostgreSQL认证考试顺利结束
  • 2024年4月8日,工信人才发布红头文件:PostgreSQL数据库管理人才研修与评测班
  • 恭喜CUUG入选2024年工业和信息化重点领域人才能力评价支撑机构
  • 天津职业技术师范大学《PolarDB开源数据库工作室》授牌仪式顺利完成
  • 温州大学国产开源数据库工作室成功举办PostgreSQL技能培训活动
  • 2024-02-02,恭喜CUUG 刘同学通过Oracle考试获得OCP 19c证书
  • 5月16日,开源驱动教育创新研讨会(青岛站)成功举办-CUUG
  • postgresql技术大讲堂 - 第39讲:数据库完全恢复
  • 温州大学 - 开源国产数据库工作室成立揭牌仪式圆满结束
  • postgresql从小白到高手 - 第37讲:postgres物理备份和恢复概述
  • postgresql从小白到高手 - 第36讲:postgresql逻辑备份
  • postgresql从小白到高手 - 第35讲:中间件PgBouncer部署
  • PostgreSQL PGCP是什么级别的认证?
  • PGCP中级认证考试的三个维度考核
  • 国内PostgreSQL认证,工信部人才交流中心PG技术能力提升培训认证
  • 今天(5月6日),CUUG 赵同学收到19c OCM认证考试证书!
  • 5月17日,PolarDB开源数据库沙龙(青岛站)成功举办-CUUG
  • postgresql技术大讲堂 - 第40讲:数据库不完全恢复
  • PostgreSQL技术大讲堂 - 第41讲:表空间备份与恢复
  • PostgreSQL技术大讲堂 - 第42讲:pg_rman部署与使用
  • PostgreSQL技术大讲堂 - 第43讲:流复制原理
  • 1月17日阿里云PolarDB开发者大会PolarDB DevCon
  • 阿里云PolarDB开发者大会圆满结束,CUUG两次获奖
  • 2024-1-12,恭喜CUUG 王同学获得Oracle OCP证书
  • 2024年首张Oracle OCP证书-CUUG胡同学
  • 北京培黎职业学院 - PolarDB开源国产数据库工作室成立揭牌 - CUUG
  • PostgreSQL技术大讲堂 - 第51讲:老陈与德哥聊一聊数据库调优
  • oracle ocp证书有效期多长时间
  • PostgreSQL技术大讲堂 - 第52讲:与德哥背后的男人们聊如何实现自动性能调优