当前位置: gbaiyou->优技培训 > PostgreSQL技术大讲堂 - 第15讲:数据文件与块存储结构

PostgreSQL技术大讲堂 - 第15讲:数据文件与块存储结构

2023-05-10作者:gbaiyou来源:www.gbaiyou.com

PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。

Part 15:数据文件与块存储结构

内容1:表的OID与数据文件对应关系

内容2:PostgreSQL数据文件存储方式

内容3:数据文件、空闲空间地图和可见性地图

内容4:块空间使用方法


对象OID与数据文件对应关系

· PG数据库的一张表或者索引对应一个数据文件。与Oracle集中式的存储方式不同,各有优缺点

· 作为数据库对象的表和索引在内部由各个oid管理,而这些数据文件则由变量relfilenode管理。

· 表和索引的relfilenode值开始时基本上(但并不总是)与相应的oid匹配

sampledb=# SELECT relname, oid, relfilenode FROM pg_class WHERE relname = 'sampletbl';

relname | oid | relfilenode

-----------+-------+-------------

sampletbl | 18740 | 18740

(1 row)

· 相关表的数据文件路径:

$ cd $PGDATA

$ ls -la base/16384/18740

-rw------- 1 postgres postgres 8192 Apr 21 10:21 base/16384/18740

· TRUNCATE、REINDEX、CLUSTER等操作会造成relfilenode号的改变,因为先删除原来的数据文件,再创建一个新的会更快。

sampledb=# SELECT relname, oid, relfilenode FROM pg_class WHERE relname = 'sampletbl';

relname | oid | relfilenode

-----------+-------+-------------

sampletbl | 18740 | 18812

(1 row)

· 使用内置函数pg_relation_file path查看表的文件路径:

sampledb=# SELECT pg_relation_filepath('sampletbl');

pg_relation_filepath

----------------------

base/16384/18812

(1 row)

· 文件尺寸超过1GB后,新文件的产生规则:

$ cd $PGDATA

$ ls -la -h base/16384/19427*

-rw------- 1 data/base/16384/19427

-rw------- 1 data/base/16384/19427.1


相关联的其它数据文件

· 空闲空间地图和可见性地图(‘_fsm’和‘_vm’):

$ cd $PGDATA

$ ls -la base/16384/18751*

-rw------- 1 base/16384/18751

-rw------- 1 base/16384/18751_fsm

-rw------- 1 base/16384/18751_vm

· 当insert操作时空闲空间文件用来查看哪些数据块有空闲空间存放新行

· 当进行vacuum操作时可见性地图文件用来提高操作的效率

· 相关的三类文件在内部称为每个关系的分岔(fork);数据文件的fork号为0、空闲空间文件fork号为1,可见性地图文件的fork号为2。


数据块内部结构

· 数据文件内部布局

固定长度的页(或块),默认值为8192字节(8kb)

页面的内部布局取决于数据文件类型

· 表中的页包含以下三种数据:

header data -由page header data结构定义的头数据在页面的开头分配。它的长度为24字节,包含有关该页的一般信息。结构的主要变量如下页所述。

line pointer(s) -行指针为4字节长,并保存指向每个堆行的指针。它也被称为项指针。行指针形成一个简单的数组,它起到元组索引的作用。每个索引从1开始按顺序编号,称为偏移量编号。当一个新的行被添加到页面中时,一个新的行指针也被推到数组中以指向新的行

heap tuple(s) -堆元组(行)是记录数据本身。它们从页面底部开始按顺序堆叠。因为PostgreSQL需要同时了解并发控制(CC)和WAL。


INSERT操作

· Writing Heap Tuples:


UPDATE操作

· 更新一行记录:

update操作时,数据库的操作过程是先delete后insert,被删除的行空间不会立刻释放,vacuum操作时会释放。


读操作

· Reading Heap Tuples:

以上就是Part 15 - PostgreSQL 数据文件和块存储结构 的内容,欢迎进群一起探讨交流QQ交流群:752027153微信交流群:联系客服拉你进微信PG交流群钉钉交流群:35822460,钉钉群专门有视频讲解

  • PolarDB-X高可用与容灾(WIP)
  • 大连财经学院 - 国产数据库工作室揭牌仪式圆满成功(CUUG)
  • 河北工程技术学院 - 国产数据库工作室揭牌仪式圆满成功
  • postgresql从小白到高手 - 第38讲:数据库备份
  • 11月18日直播!杭州峰会大咖晚宴煮酒论英雄+PG技术大讲堂(34)
  • 11月27日,CUUG新鲜出炉的Oracle DB 19C OCP证书
  • Oracle 19c OCM认证好考吗?CUUG OCM成绩公布
  • Oracle 19c OCM认证考试成绩出炉!- CUUG WDP培训中心
  • 菏泽学院 - 国产数据库工作室揭牌仪式圆满成功
  • 2023年12月,PostgreSQL认证培训红头文件【工信部人才交流中心】
  • 2024年第13届PostgreSQL中国技术大会来啦!
  • OCP认证能不能在家中考试,不去VUE考点考试吗?
  • 恭喜CUUG Guo同学以较高分数通过19c OCM认证考试!
  • Oracle数据库加入AI功能,Database 23c改名为Database 23ai
  • DB-Engines:PostgreSQL is the DBMS of the Year 2023
  • PostgreSQL技术大讲堂 - 第44讲:pg流复制部署
  • PostgreSQL技术大讲堂 - 第45讲:poc-tpcc测试
  • PostgreSQL技术大讲堂 - 第46讲:poc-tpch测试
  • PostgreSQL技术大讲堂 - 第47讲:JMETER工具使用
  • PostgreSQL技术大讲堂 - 第48讲:PG高可用实现keepalived
  • PostgreSQL技术大讲堂 - 第50讲:PG分区表管理
  • 3月30日,工信部人才交流中心PostgreSQL认证考试顺利结束
  • 2024年4月8日,工信人才发布红头文件:PostgreSQL数据库管理人才研修与评测班
  • 恭喜CUUG入选2024年工业和信息化重点领域人才能力评价支撑机构
  • 天津职业技术师范大学《PolarDB开源数据库工作室》授牌仪式顺利完成
  • 温州大学国产开源数据库工作室成功举办PostgreSQL技能培训活动
  • 2024-02-02,恭喜CUUG 刘同学通过Oracle考试获得OCP 19c证书
  • 5月16日,开源驱动教育创新研讨会(青岛站)成功举办-CUUG
  • postgresql技术大讲堂 - 第39讲:数据库完全恢复
  • 温州大学 - 开源国产数据库工作室成立揭牌仪式圆满结束
  • postgresql从小白到高手 - 第37讲:postgres物理备份和恢复概述
  • postgresql从小白到高手 - 第36讲:postgresql逻辑备份
  • postgresql从小白到高手 - 第35讲:中间件PgBouncer部署
  • PostgreSQL PGCP是什么级别的认证?
  • PGCP中级认证考试的三个维度考核
  • 国内PostgreSQL认证,工信部人才交流中心PG技术能力提升培训认证
  • 今天(5月6日),CUUG 赵同学收到19c OCM认证考试证书!
  • 5月17日,PolarDB开源数据库沙龙(青岛站)成功举办-CUUG
  • postgresql技术大讲堂 - 第40讲:数据库不完全恢复
  • PostgreSQL技术大讲堂 - 第41讲:表空间备份与恢复
  • PostgreSQL技术大讲堂 - 第42讲:pg_rman部署与使用
  • PostgreSQL技术大讲堂 - 第43讲:流复制原理
  • 1月17日阿里云PolarDB开发者大会PolarDB DevCon
  • 阿里云PolarDB开发者大会圆满结束,CUUG两次获奖
  • 2024-1-12,恭喜CUUG 王同学获得Oracle OCP证书
  • 2024年首张Oracle OCP证书-CUUG胡同学
  • 北京培黎职业学院 - PolarDB开源国产数据库工作室成立揭牌 - CUUG
  • PostgreSQL技术大讲堂 - 第51讲:老陈与德哥聊一聊数据库调优
  • oracle ocp证书有效期多长时间
  • PostgreSQL技术大讲堂 - 第52讲:与德哥背后的男人们聊如何实现自动性能调优