PostgreSQL 重复数据处理的操作方法

PostgreSQL简介

PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统（ORDBMS），是以加州大学计算机系开发的POSTGRES，4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性，如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样，PostgreSQL也可以用许多方法扩展，例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。另外，因为许可证的灵活，任何人都可以以任何目的免费使用、修改和分发PostgreSQL。

我们在使用postgresql数据库的时候，如果一张数据表在未做任何约束的情况下，很可能会出现几条完全一样的数据，即重复数据。如下图所示:

那么如果我们要删除其中的2条该怎么办呢？第一种我们可以清空表的内容，再使用INSERT INTO语句再将内容插入到表中。此方法可行，但对于专业人士来讲，并不推荐

第二种我们可以结合pg数据库中的ctid(和物理存储有关，指的是一条记录位于哪个数据块的哪个位移上面)来进行删除。这里我们使用依然先使用SELECT语句进行查询。

这样我们就可以使用唯一标识的ctid对重复数据进行删除操作，使用以下两种方式都可以删除tb_5201351表中2条数据。

DELETE FROM tb_5201351 WHERE ctid in ('(0,2)','(0,3)');

上面的方法原理是我们依次手工输入要删除指定ctid对应的数据，如果数据较多的话，我们还可以使用如下语句进行删除。

DELETE FROM tb_5201351 WHERE ctid not in (select min(ctid) from tb_5201351);

执行后的结果如下图所示：