Yangming's Blog

beware the barrenness of a busy life

Cstore与Postgresql的fdw

02 Jun 2016 » CitusDB, PostgreSQL

概述

创建PG的插件的方式分为两种，一种利用hook，一种叫Forigin Data Wrapper（FDW）。实现FDW需要实现两个C函数，Handler和 Validator （可选），然后写一个control文件。control文件是在 create extension … 的时候调用，执行相应的sql文件来建立和数据库的关联。

完成fdw的开发工作，主要的工作就是实现两个C函数，即用户自定义函数的编写，其中Handler函数的返回是一个结构体，其中包含很多函数指针，见struct FdwRoutine。外表的scan是必须要实现的方法，同时也支持了对外表的其他操作，择需而定。

关键变量：

root和baserel的信息能够减少必须要从外部表获得的信息数量，从而降低消耗。 baserel 是 RelOptInfo 类型 baserel->baserestrictinfo 是一个链表。其中都是Restrictinfo 类型， Restrictinfo类型 在pg的relation.h文件中。和sql中的WHERE和join/on相关。所以使用这个信息来过滤元素，达到优化。 如果对于一个基本表，那么会出现在基本表的baserestrictinfo中 多个表就是在joininfo中，总之就是用来过滤的。

而FDW的回调函数GetForeignRelSize, GetForeignPaths, GetForeignPlan, 和 PlanForeignModify 必须和pg的planner运行机制相符。

关键回调

1. GetForeignRelSize

void GetForeignRelSize (PlannerInfo *root,
                   		RelOptInfo *baserel,
                   		Oid foreigntableid);

root：查询的全局信息 baserel：查询关于这个表的信息 foreigntableid：pg_class中关于这个外部表的Oid 该函数在指定外部表扫描计划的时候调用，利用baserel->baserestrictinfo来估算好表返回的元组数，更新baserel-rows的值

GetForeignPaths
void GetForeignPaths (	PlannerInfo *root,
						RelOptInfo *baserel,
						Oid foreigntableid);

生成外部表扫描的路径，可能有多条路径，每条路径要有相应的cost。调用create_foreign_path来生成一个ForeignPath结构，然后add_path添加到baserel->pathlist中 ForeignPath结构如下:

  typedef struct ForeignPath
  {
    Path    path;
    Path     *fdw_outerpath;
    List     *fdw_private;
  } ForeignPath;

Cstoregetforeignpath

从进程的Recache中取到foreigntableid，对应的RelationData，double check

取到查询需要的列的列表，querycolimnlist 取到该表的数据文件的块大小 relationPageCount 取到该表的关系的属性总数，relationColumnCount

由上述信息得到查询列/总列数的比值 querycolumnratio，由此估算查询的页数，从而计算磁盘数据读取代价

最终总代价由，startucost+totalcpucost+totaldiskaccessCost 最后由上述得到的信息构造一个Path，ForeignPath

GetForeignPlan
ForeignScan * GetForeignPlan (	PlannerInfo *root,
								RelOptInfo *baserel,
								Oid foreigntableid,
								ForeignPath *best_path,
								List *tlist,
								List *scan_clauses,
								Plan *outer_plan);

基于之前得到的path，得到ForeignScan计划，推荐函数中使用make_foreignscan来生成scanplan

void
cstoreGetForeignPaths (PlannerInfo *root,
                RelOptInfo *baserel,
                Oid foreigntableid);
BeginForeignScan
void BeginForeignScan (ForeignScanState *node,
						int eflags);

在开始扫描之前做一些初始化的工作 注意：eflags & EXEC_FLAG_EXPLAIN_ONLY 为 true的时候，只做针对ExplainForeignScan和EndForeignScan的初始化工作。

CstoreGetforeignPlan 抽取出scanClause中的的regular clause（而不是pseudo constant clause） 只抽取需要的列，构造foreignPrivateList，这作为fdw_private

IterateForeignScan
TupleTableSlot * IterateForeignScan (
				ForeignScanState *node);

每次返回一行结果，其中TupleTableSlot中可能物理tuple或者虚拟tuple，虚拟cube是为了性能提升考虑的，直接引用了底层plannode的结果，省去一次数据拷贝。

ReScanForeignScan

重新扫描，由于参数可能变化，所以重新扫描和之前可能不一样

Cstore文件结构

cstore表文件分为两部分，table footer file 和 table data file

/*
 * StripeMetadata represents information about a stripe. This information is
 * stored in the cstore file's footer.
 */
typedef struct StripeMetadata
{
	uint64 fileOffset;
	uint64 skipListLength;
	uint64 dataLength;
	uint64 footerLength;

} StripeMetadata;


/* TableFooter represents the footer of a cstore file. */
typedef struct TableFooter
{
	List *stripeMetadataList;
	uint64 blockRowCount;

} TableFooter;

其中存有stripeMetadataList，就是table data 文件中各个stripe的元信息； 每个stripe分为三部分： stripe skip list column data stripe footer 。 元信息中存下了每个stripe在文件中的偏移，以及各部分的长度，便于读取各个部分的信息。

table data file

csoredatafile 其由很多stripe构成； 每个stripe中是按列存放的， 每列数据包括exists序列、 value序列 物理上，exists序列是连续存放的，同样，value序列也是连续存放的，放在exists后面;

逻辑上，exists和value都分成若干块，由于每个block中的rowcount不能超过在table footer中定义blockrowcount的大小，所以逻辑上每列分成相同几块，columndata就像是一个二维数组，二维数组的某个元素就是某一列的某一块（这里的block不是磁盘上的block）。

/*
    * StripeSkipList can be used for skipping row blocks. It contains a column block
     * skip node for each block of each column. blockSkipNodeArray[column][block]
      * is the entry for the specified column block.
       */
typedef struct StripeSkipList
{
        ColumnBlockSkipNode **blockSkipNodeArray;
            uint32 columnCount;
                uint32 blockCount;

} StripeSkipList;

每个stripe都有一个stripe skip list,其中有一个二维的数组: blockskipnodearray[][] blockskipnodearray[ci][bi] 便是第ci列的第bi块的信息，其中有该块的列是否有最大最小值，最大最小值是什么，该块有多少行，该块的exist序列在整个的exists序列中的偏移及长度，该块的value序列在整个的value序列中的偏移及长度，压缩类型

/*
    * StripeSkipList can be used for skipping row blocks. It contains a column block
     * skip node for each block of each column. blockSkipNodeArray[column][block]
      * is the entry for the specified column block.
       */
typedef struct StripeSkipList
{
        ColumnBlockSkipNode **blockSkipNodeArray;
            uint32 columnCount;
                uint32 blockCount;

} StripeSkipList;

每次读取一个stripe的时候，首先读取stripe footer,其中包含三个数组，长度就是columncount, 分别存有每列的skip list size, exist序列的size，value序列的size.

Cstore的读取写入

读取

读取数据首先先读取 table footer中的信息，信息存入readstate，readstate记录了当前读到哪个stripe了，以及一个stripebuffer, stripe buffer 就是已经用 project column 和 where clause 将column data过滤过了。（将一个大的二维数组过滤成一个小的二维数组，project column将不用的列过滤掉，where clause将不用的行过滤掉。） 每次需要返回的一行数据时，从stripebuffer中读取一行数据，对于已经过滤掉的列，就被设置成null了。

写入

writestate中维护了一个当前正在写的stripe，当我们要写入行数据时，添加到当前的stripe中，在每列数据后追加，同时更新相应的skip node,当每个block写满后，这整个block就被压缩，然后，如果总的行数达到stripemaxrowcount，就将这个stripe写盘，更新table footer中的元信息

Foreign data wrapper

使用FDW

在contrib中，自带一些fdw；

或者 https://wiki.postgresql.org/wiki/Foreign_data_wrappers

  1. make && make install ，讲相应配置文件和库文件拷贝到PG的lib目录，
  2. create extension … 加载这个插件

编写FDW

  1. 实现两个C函数，Handler和 Validator (可选)。
  2. 然后写一个control文件，control文件是在create extension加载的文件，根据这个文件，PG去寻找对应的sql文件，在 create extension … 的时候，执行相应的sql文件，来建立和数据库的关联。
  3. 配置好上述 control文件和sql文件后，按照fdw的函数模板，编写动态链接库，即FDW插件。

Handler

handler中是很多函数指针，用来匹配PG中执行计划执行。对于外表的scan是必须要实现的方法，同时也支持了对外表的其他操作，择需而定。

fdw的回调函数GetForeignRelSize, GetForeignPaths, GetForeignPlan, PlanForeignModify 必须和pg的planner运行机制相符。

关键函数
GetForeignRelSize
void GetForeignRelSize (PlannerInfo *root,
                   		RelOptInfo *baserel,
                   		Oid foreigntableid);

root：查询的全局信息 baserel：查询关于这个表的信息 foreigntableid：pg_class中关于这个外部表的Oid 该函数在制定外部表扫描计划的时候调用，利用baserel->baserestrictinfo来估算好表返回的元组数，更新baserel->rows的值

GetForeignPaths
void GetForeignPaths (	PlannerInfo *root,
						RelOptInfo *baserel,
						Oid foreigntableid);

生成外部表扫描的路径，可能有多条路径，每条路径要有相应的cost。从进程的Recache中取到foreigntableid，对应的RelationData，double check

取到查询需要的列的列表，querycolimnlist 取到该表的数据文件的块大小 relationPageCount 取到该表的关系的属性总数，relationColumnCount

由上述信息得到查询列/总列数的比值 querycolumnratio，由此估算查询的页数，从而计算磁盘数据读取代价

最终总代价由，startucost+totalcpucost+totaldiskaccessCost 最后由上述得到的信息构造一个Path，ForeignPath

GetForeignPlan
ForeignScan * GetForeignPlan (	PlannerInfo *root,
								RelOptInfo *baserel,
								Oid foreigntableid,
								ForeignPath *best_path,
								List *tlist,
								List *scan_clauses,
								Plan *outer_plan);

基于之前得到的path，得到ForeignScan计划。

BeginForeignScan
void BeginForeignScan (ForeignScanState *node,
						int eflags);

在开始扫描之前做一些初始化的工作 注意：eflags & EXEC_FLAG_EXPLAIN_ONLY 为 true的时候，只做针对ExplainForeignScan和EndForeignScan的初始化工作。

IterateForeignScan
TupleTableSlot * IterateForeignScan (
				ForeignScanState *node);

每次返回一行结果，其中TupleTableSlot中可能物理tuple或者虚拟tuple，虚拟cube是为了性能提升考虑的，直接引用了底层plannode的结果，省去一次数据拷贝。

ReScanForeignScan

重新扫描，由于参数可能变化，所以重新扫描和之前可能不一样

Related Posts