标签云
asm恢复 bbed bootstrap$ dul kcbzib_kcrsds_1 kccpb_sanity_check_2 kcratr_nab_less_than_odr kgegpa MySQL恢复 ORA-00312 ORA-00704 ORA-00742 ORA-01110 ORA-01190 ORA-01200 ORA-01555 ORA-01578 ORA-01595 ORA-600 2662 ORA-600 3020 ORA-600 4000 ORA-600 4137 ORA-600 4193 ORA-600 4194 ORA-600 16703 ORA-600 kcbzib_kcrsds_1 ORA-600 KCLCHKBLK_4 ORA-15042 ORA-15196 ORACLE 12C oracle dul ORACLE PATCH Oracle Recovery Tools oracle加密恢复 oracle勒索 oracle勒索恢复 oracle异常恢复 ORACLE恢复 Oracle 恢复 ORACLE数据库恢复 oracle 比特币 OSD-04016 YOUR FILES ARE ENCRYPTED 勒索恢复 比特币加密文章分类
- Others (2)
- 中间件 (2)
- WebLogic (2)
- 操作系统 (106)
- 数据库 (1,801)
- DB2 (22)
- MySQL (79)
- Oracle (1,637)
- Data Guard (53)
- EXADATA (8)
- GoldenGate (24)
- ORA-xxxxx (166)
- ORACLE 12C (72)
- ORACLE 18C (6)
- ORACLE 19C (15)
- ORACLE 21C (3)
- Oracle 23ai (8)
- Oracle ASM (69)
- Oracle Bug (8)
- Oracle RAC (54)
- Oracle 安全 (6)
- Oracle 开发 (28)
- Oracle 监听 (29)
- Oracle备份恢复 (611)
- Oracle安装升级 (101)
- Oracle性能优化 (62)
- 专题索引 (5)
- 勒索恢复 (86)
- PostgreSQL (33)
- pdu工具 (7)
- PostgreSQL恢复 (11)
- SQL Server (32)
- SQL Server恢复 (13)
- TimesTen (7)
- 达梦数据库 (3)
- 达梦恢复 (1)
- 生活娱乐 (2)
- 至理名言 (11)
- 虚拟化 (2)
- VMware (2)
- 软件开发 (43)
- Asp.Net (9)
- JavaScript (12)
- PHP (2)
- 小工具 (26)
-
最近发表
- obet(Oracle Block Editor Tool)第二版发布
- Oracle数据块编辑工具( Oracle Block Editor Tool)-obet
- Oracle坏块修复工具:Patch_blk
- ORA-01172 ORA-01151故障处理
- C_OBJ#_INTCOL#坏块导致数据库无法open故障处理
- ORA-600 kkkicreatecgmap:!efn3
- Oracle 19c 202510补丁(RUs+OJVM)-19.29
- 记录一次raid恢复之后数据库故障处理(ora-01200,ORA-26101,ORA-600)
- nbu备份文件img格式直接rman恢复
- ORA-600 kokasgi1故障处理(sys被重命名)
- Patch_SCN for Linux 功能完善
- ORA-600 2662错误处理-202510
- system表空间丢失部分文件恢复
- arm环境vg损坏mysql数据库恢复
- redhat系列7/8进入单用户模式
- Failed to open \EFI\redhat\grubx64.efi – Not Found 故障处理
- 11.2.0.4升级到19c详细操作过程
- Postgres数据库truncate表无有效备份恢复
- 一次幸运的ORA-07445 kdxlin故障恢复
- ORA-704 ORA-604 ORA-1426故障分析处理
分类目录归档:PostgreSQL
Postgres数据库truncate表无有效备份恢复
创建一个Postgres表,并插入数据
postgres=# CREATE TABLE "PeisInterfaceLog"( postgres(# "PeisInterfaceLogId" text, postgres(# "PeisDepartmentId" text, postgres(# "PeisDepartmentName" text, postgres(# "PeisInterfaceSubjectType" text, postgres(# "PeisInterfaceSubjectId" text, postgres(# "PeisInterfaceNo" text, postgres(# "PeisInterfaceName" text, postgres(# "PeisInterfaceDirection" text, postgres(# "PeisInterfaceCallAddress" text, postgres(# "PeisInterfaceLogStartTime" timestamp, postgres(# "PeisInterfaceInputContent" json, postgres(# "PeisInterfaceInputTranscodeContent" json, postgres(# "PeisInterfaceOutContent" json, postgres(# "PeisInterfaceOutTranscodeContent" json, postgres(# "PeisInterfaceSuccessSign" int4, postgres(# "PeisInterfaceLogStatusCode" text, postgres(# "PeisInterfaceLogNote" text, postgres(# "PeisInterfaceLogTimestamp" timestamp, postgres(# "PeisInterfaceLogInfo" text, postgres(# "PeisPatientRegisterId" text postgres(# ); CREATE TABLE postgres=# \i /postgres/COPY/public_copy.sql SET COPY 722957 postgres=# select count(1) from "PeisInterfaceLog"; count -------- 722957 (1 row)
验证truncate操作,引起Postgres中oid的变化
postgres=# checkpoint;
CHECKPOINT
postgres=# show data_directory;
data_directory
----------------
/pgdata
(1 row)
postgres=# select oid, datname from pg_database ;
oid | datname
-------+-----------
13676 | postgres
1 | template1
13675 | template0
(3 rows)
postgres=# select relname, relowner, relfilenode from pg_class where relowner = 10 and relname like '%PeisInterfaceLog%';
relname | relowner | relfilenode
------------------+----------+-------------
PeisInterfaceLog | 10 | 16384
(1 row)
postgres=# truncate table "PeisInterfaceLog";
TRUNCATE TABLE
postgres=# select count(1) from "PeisInterfaceLog";
count
-------
0
(1 row)
postgres=# select relname, relowner, relfilenode from pg_class where relowner = 10 and relname like '%PeisInterfaceLog%';
relname | relowner | relfilenode
------------------+----------+-------------
PeisInterfaceLog | 10 | 16394
(1 row)
使用工具进行初始化字典信息
PDU.public=# b;
开始初始化...
-pg_database:</pgdata/global/1262>
数据库:postgres
-pg_schema:</pgdata/base/13676/2615>
-pg_class:</pgdata/base/13676/1259> 共88行
-pg_attribute:</pgdata/base/13676/1249> 共2950行
模式:
▌ public 1张表
PDU.public=# use postgres;
┌────────────────────────────────────────┐
│ 模式 │ 表数量 │
├────────────────────────────────────────┤
│ public │ 1 │
└────────────────────────────────────────┘
postgres.public=# set public;
┌──────────────────────────────────────────────────┐
│ 表名 │ 表大小 │
├──────────────────────────────────────────────────┤
│ PeisInterfaceLog │ 0 │
└──────────────────────────────────────────────────┘
仅显示表大小排名前 1 的表名
postgres.public=# \d PeisInterfaceLog;
┌──────────────────────────────────────────────────────────────┐
│ 列类型 │
└──────────────────────────────────────────────────────────────┘
text,text,text,text,text,text,text,text,text,timestamp,json,json,json,json,int4,text,text,timestamp,text,text
配置软件磁盘扫描操作(pdu.ini中配置)
#dropScan需要扫描的磁盘 DISK_PATH=/data/test.dd #dropScan时跳跃的数据块数量,数值越小覆盖磁盘越全面,速度越慢 BLOCK_INTERVAL=5
启用磁盘扫描操作
PDU.public=# p idxmode off;
┌─────────────────────────────────────────────────────────────────┐
│ 参数 │ 当前值 │
├─────────────────────────────────────────────────────────────────┤
│ startwal │ │
│ endwal │ │
│ startlsnt │ │
│ endlsnt │ │
│ starttime │ │
│ endtime │ │
│ resmode(Data Restore Mode) │ TIME │
│ exmode(Data Export Mode) │ CSV │
│ encoding │ UTF8 │
│ restype(Data Restore Type) │ DELETE │
----------------------DropScan----------------------
│ dsoff(DropScan startOffset) │ 0 │
│ blkiter(Block Intervals) │ 5 │
│ itmpcsv(Items Per Csv) │ 100 │
│ idxmode │ off │
└─────────────────────────────────────────────────────────────────┘
PDU.public=# ds;
▌全量扫描恢复模式
▌数据文件扫描
┌────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
表名 │ 结果
├────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┤
PeisInterfaceLog 99.976 %(21469593600) 数据页: 71158 成功: 722947 (疑似乱码: 2809 ) 失败: 0
耗时 15.28 秒
└────────────────────────────────────────────────────────────────────────────────────────────────────┘
扫描完毕,文件目录如下:
restore/dropscan/PeisInterfaceLog
PDU.public=# ds copy;
已导出:
/restore/dropscan/PeisInterfaceLog/COPY.sql
PDU.public=#
[root@xifenfei PeisInterfaceLog]# more COPY.sql
[root@xifenfei PeisInterfaceLog]# cat /restore/dropscan/PeisInterfaceLog/COPY.sql
COPY PeisInterfaceLog FROM '/restore/dropscan/PeisInterfaceLog/09-28-21:29:55_226738176_32760blks_336787items.csv';
COPY PeisInterfaceLog FROM '/restore/dropscan/PeisInterfaceLog/09-28-21:30:01_595968000_32767blks_330416items.csv';
COPY PeisInterfaceLog FROM '/restore/dropscan/PeisInterfaceLog/09-28-21:30:04_1116061696_5631blks_55744items.csv';
把恢复数据导入到Postgres数据中
[root@xifenfei ~]# su - postgres [postgres@xifenfei ~]$ psql psql (12.8) Type "help" for help. postgres=# \i /restore/dropscan/PeisInterfaceLog/COPY.sql COPY 336787 COPY 330416 COPY 55744 postgres=# select count(1) from "PeisInterfaceLog"; count -------- 722947 (1 row)
经过上述扫描测试证明该工具实现了在Postgres中truncate数据的绝大部分数据恢复(这里的乱码不是由于没有扫描到数据,主要是由于个别字符串由于类型判断关系识别不对导致乱码抛弃).
如果你遇到Postgres 数据库由于drop/truncate等误操作,而且无有效备份进行恢复,面临数据丢失风险,请第一时间保护现场(数据文件所在分区尽可能不要有写入操作),联系我们提供专业恢复技术支持:
电话/微信:17813235971 Q Q:107644445
E-Mail:dba@xifenfei.com
pg_wal中文件的名称中的logseq和实际文件中的logseq不匹配
一个朋友由于某种原因给我发了一个pg_wal里面的wal文件,让我帮忙分析下故障原因,我打开文件之后发现文件编号小的修改时间比编号大的文件修改时间要新

wal日志文件命名规则:
我们看到的wal日志是这样的:0000000100004D6E000000CF
其中前8位:00000001表示timeline
中间8位:00004D6E表示logid
最后8位:000000CF表示logseg
在上述截图中,可以看到logseq为CF的文件比D0的要新很多,这个初步给人感觉不太正常.使用pg_waldump分别对其进行dump操作

[postgres@xifenfei bin]$ pg_waldump /data/wal/0000000100004D6E000000D0|head -10 pg_waldump: fatal: could not find a valid record after 4D6E/D0000000
这样可以看出来CF的wal文件可以正常dump出来,但是D0的文件dump报pg_waldump: fatal: could not find a valid record after类似异常.通过od命令分别对两个文件进行分析
[postgres@xifenfei bin]$ od -x /data/wal/0000000100004D6E000000CF|head -1 0000000 d101 0006 0001 0000 0000 cf00 4d6e 0000 [postgres@xifenfei bin]$ od -x /data/wal/0000000100004D6E000000D0|head -1 0000000 d101 0007 0001 0000 0000 9400 4d6e 0000
从第8个字节到第12个字节结束为logseq的值,这里明显可以看出来D0文件的logseq值和实际文件中的不一致.尝试把D0修改为94之后即可正常的pg_waldump进行分析

通过这里可以的出来一个结论,pg_wal中文件的名称中的logseq和实际文件中的logseq不匹配.出现这种问题的本质是由于pg_wal中的wal日志是相当oracle的redo,是通过类似重命名机制(看到有文档介绍是说硬链接指向旧文件然后删除旧文件)引起的问题.
由于空间满导致PostgreSQL数据库异常处理
朋友和我反馈pg库异常,通过查看日志确认最初故障是由于磁盘空间满,导出出现类似:无法扩展文件 “pg_tblspc/16394/PG_13_202007201/16395/5055912.143″: No space left on device错误
2025-07-28 09:06:02.703 HKT [15352] 错误: 无法扩展文件 "pg_tblspc/16394/PG_13_202007201/16395/5055912.143": No space left on device 2025-07-28 09:06:02.703 HKT [15352] 提示: 检查空闲磁盘控件. 2025-07-28 09:06:02.703 HKT [15352] 语句: insert into 语句 2025-07-28 09:06:02.703 HKT [576] 错误: 无法扩展文件 "pg_tblspc/16394/PG_13_202007201/16395/4477723.73": No space left on device 2025-07-28 09:06:02.703 HKT [576] 提示: 检查空闲磁盘控件. 2025-07-28 09:06:02.703 HKT [576] 语句: update 语句 2025-07-28 09:06:02.706 HKT [11940] 错误: 无法扩展文件 "pg_tblspc/16394/PG_13_202007201/16395/5055912.143": No space left on device 2025-07-28 09:06:02.706 HKT [11940] 提示: 检查空闲磁盘控件. 2025-07-28 09:06:02.706 HKT [11940] 语句: insert into 语句
后续对d盘空间进行了清理,pg报无法打开文件”pg_tblspc/16394/PG_13_202007201/16395/4477706.16″(目标数据块5544906): Permission denied
2025-07-28 10:53:10.435 HKT [11920] 语句: insert into语句 2025-07-28 10:53:10.435 HKT [18300] 错误: 无法打开文件"pg_tblspc/16394/PG_13_202007201/16395/4477706.16"(目标数据块5544906): Permission denied
和报:警告: 无法写入pg_tblspc/16394/PG_13_202007201/16395/4477706的块5545387错误
2025-07-28 11:05:11.008 HKT [5380] 警告: 无法写入pg_tblspc/16394/PG_13_202007201/16395/4477706的块5545387 2025-07-28 11:05:11.008 HKT [5380] 详细信息: 多次失败 --- 写错误可能是永久性的 2025-07-28 11:05:11.015 HKT [12072] 错误: 无法打开文件"pg_tblspc/16394/PG_13_202007201/16395/4477706.17"(目标块5545398):上一段只有952个块 2025-07-28 11:05:11.015 HKT [12072] 上下文: 写入关系pg_tblspc/16394/PG_13_202007201/16395/4477706的块5545398 2025-07-28 11:05:11.015 HKT [12072] 语句: select 语句 2025-07-28 11:05:11.016 HKT [12072] 警告: 无法写入pg_tblspc/16394/PG_13_202007201/16395/4477706的块5545398 2025-07-28 11:05:11.016 HKT [12072] 详细信息: 多次失败 --- 写错误可能是永久性的
查看4477706相关文件情况,初步看部分文件大小不对,结合上述报错,可以断定该表异常

通过查询pg字典确认该表具体名称
xifenfei=# select oid,relname,relnamespace from pg_class where relfilenode=4477706; oid | relname | relnamespace -------+------------------+-------------- 16880 | xifenfei01_log | 2200 (1 行记录)
尝试pg_dump导入数据报错:多次失败 — 写错误可能是永久性的
这次运气比较好,损坏的对象是一个日志表,可以直接清理掉,对该日志表进行清理,然后正常导出数据,如果遇到的损坏表是业务需要的表,可以使用pdu(PostgreSQL表文件损坏恢复—pdu恢复损坏的表文件)进行恢复


加我QQ(107644445)
