kettle提取postgresql数据

kettle提取postgresql数据步骤如下

创新互联公司专业为企业提供嘉定网站建设、嘉定做网站、嘉定网站设计、嘉定网站制作等企业网站建设、网页设计与制作、嘉定企业网站模板建站服务，十余年嘉定做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。

1 遍历区域和像素

其中xingzheng是行政区域数据表，thematic是专题像素分类表

2 影像分割

通过查询某个区域和影像的交，达到影像分割的目的，

查询区域gid=24，波段为1，像素值为4的像素个数的sql语句为：

其中函数ST_Intersects查询两个几何的交集，示例如下

3 栅格统计与数据提取

通过提取函数ST_ValueCount，查询分割后的栅格、指定波段和像素的像素总个数，并乘以单个像元值大小，实现数据面积提取。

其中28.15132773 * 28.15132773为单个像元值面积大小，具体使用albers投影（双标准纬线投影）计算得出，0.000001单位换算成平方公里。

区域gid和像素类型作为输入，实现影像分割和栅格面积统计，完整的sql如下：

4 kettle数据提取转换

kettle数据提取转换过程如下：

kettle遍历区域和像素，如kettle数据转换图所示“表输入2”，sql见步骤1；

kettle影像分割和栅格统计，如kettle数据转换图所示“表输入”，sql见步骤3；

将提取出的数据保存到文件中。

如何遍历几百万条postgresql表

1、通过命令行查询

\d 数据库 —— 得到所有表的名字

\d 表名 —— 得到表结构

2、通过SQL语句查询

"select * from pg_tables" —— 得到当前db中所有表的信息（这里pg_tables是系统视图）

"select tablename from pg_tables where schemaname='public'" —— 得到所有用户自定义表的名字（这里"tablename"字段是表的名字，"schemaname"是schema的名字。用户自定义的表，如果未经特殊处理，默认都是放在名为public的schema下）

如何批量地把XML文件导入Postgresql数据库

读取XML节点数据保存在实体属性里，在将实体集合遍历输出到SQL语句执行新增。

postgresql 怎么做快照

1．在服务器端选中一台客户机右击，然后点击“客户端属性”，弹出客户端属性对话框

2.在客户端对话框中，先将下端还原操作系统的“勾”去掉，然后点击“高级”出现客户端高级设置对话框，在系统盘设置中将缓存存放位置选为服务端，其他地方不要做任何更改。

3.重启该客户机，开始安装软件，安装过程中，会发现该机器缓存大小这一栏里缓存数值不断增加，直至安装完软件。（重新启动，再次运行该软件，以便确定该软件是否运行正常）

4.关闭客户机，等服务器上该客户机状态显示为未运行后，在服务端点击“镜像管理”

5.在镜像菜单中选中该客户机使用的镜像，单击“快照管理”按钮。

6.选中该客户机使用的快照节点，然后点击“生成快照”

7.在cache文件选项中选中制作快照的客户机，会自动填充下面的缓存路径，在快照信息子项中输入快照名名称和快照描述信息，点击“确定”按钮后，快照则做好了。

8选中所有客户机右击打开客户端属性对话框，在“启动菜单设置”中，将新做成的快照节点推送到用于启动的镜像这一栏中移动到最顶端，点击确定。

PostGreSQL采用“快照”方式来实现MVCC。具体地说，这意味着每一个事务中的查询仅能看到：

1.该事务启动之前已经提交的事务所作出的数据更改。

2.当前事务中该查询之前的查询所作出的更改。

PostGreSQL在每个事务启动时为该事务获取一个当前的数据库快照，快照中数据结构如下：

typedef struct SnapshotData

{

SnapshotSatisfiesFunc satisfies; /*行测试函数指针*/

TransactionId xmin; /* id小于xmin的所有事务更改在当前快照中可见 */

TransactionId xmax; /* id大于xmax的所有事务更改在当前快照中可见 */

uint32 xcnt; /* 正在运行的事务的计数 */

TransactionId *xip; /* 所有正在运行的事务的id列表 */

/* note: all ids in xip[] satisfy xmin = xip[i] xmax */

int32 subxcnt; /* # of xact ids in subxip[], -1 if overflow */

TransactionId *subxip; /* array of subxact IDs in progress */

CommandId curcid; /* in my xact, CID curcid are visible */

uint32 active_count; /* refcount on ActiveSnapshot stack */

uint32 regd_count; /* refcount on RegisteredSnapshotList */

bool copied; /* false if it’s a static snapshot */

} SnapshotData;

Transaction启动时形成快照就是要记录该Transaction可见的TransactionID，排除不可见的ID。PostGreSQL中每一个版本的数据有两个ID，其中一个是CreationID即插入该数据的TransactionID，一个是ExpiredID，即删除或更新该数据的TransactionID。对一个Transaction可见的数据的ID要满足以下条件：

1.CreationID当前TransactionID

2.ExpiredID当前TransactionID或ExpiredID不存在

Transaction启动形成快照的过程：

遍历当前所有活动的Transaction，记录在一个活动Transaction的ID数组中；根据Transaction的先后顺序，选择当前Transaction可见的最小TransactionID，记录在xmin，选择可见的最大TransactionID，记录在xmax中。

PostGreSQL8.5中进行最终的版本选择是在从外存中获取一个页面的数据之后，由一个检验函数（HeapTupleSatisfiesMVCC等一系列函数）检验所有该页面数据的数据对当前Transaction的可见性，如果不可见，则将数据除去，最后返回所有可见数据。

在postgresql中如何从数据库中检索出所有的表名

1、查看当前数据库中所有的模式。

2、如果想查看模式中所有的对象信息，可以通过\d 模式名.* 加上通配符的方式来进行查看。

3、在查看模式中的对象时一般使用的方式都是模式名.对象名的方式。

4、在postgresql中有一个类型于linux系统中$PATH的环境变量search_path，默认情况下它的值是当前数据库值和公共模式值。

5、如果想其它模式也添加在搜索路径中可通过如下命令来进行设置。

6、设置完成后如果我们再访问tec模式下的对象，就不需要再使用模式名.对象名的方式了，直接使用对象名即可进行操作。

文章名称：postgresql遍历的简单介绍
URL链接：http://scyanting.com/article/dscoijd.html