最新公告
  • 欢迎您光临牛品源码,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • DataWorks百问百答33:数据同步怎么配置ODPS分区?

    同步任务可以支持ODPS的数据列、分区列、常量列,但_不支持函数列_ 

    • ODPS分区配置支持linux shell通配符,* 表示0个或多个字符,? 代表任意一个字符
    • 默认情况下,读取的分区需要存在,如果分区不存在任务会报错。 如果您希望分区不存在时任务仍然成功,您可以转换为脚本模式,在odps的parameter端下面配置successOnNoPartition参数,即 \\\”successOnNoPartition\\\”: true

    例如:分区表 test存在 pt=1,ds=hangzhou pt=1,ds=shanghai pt=2,ds=hangzhou pt=2,ds=beijing 四个分区,如果你想读取 pt=1,ds=shanghai 这个分区的数据,分区信息中配置: pt=1,ds=shanghai;

    如果你想读取 pt=1下的所有分区,分区信息中配置 :pt=1,ds=;如果你想读取整个 test 表的所有分区的数据,分区信息中配置 :pt=,ds=*

    • 如果需要指定最大分区,可以配置如下信息:

    /query/ ds=(select MAX(ds) from DataXODPSReaderPPR)

    • 如果需要按条件过滤,可以配置如下信息:

    /query/ pt>=20170101 and pt<20170110,表示pt分区大于等于20170101且小于20170110的所有数据

    ODPS写插件指定分区技巧

    • 需要写入数据表的分区信息,必须指定到最后一级分区。把数据写入一个三级分区表,必须配置到最后一级分区

    例如:pt=20150101/type=1/biz=2

    • 不支持写入多个分区

    DataWorks百问百答历史记录 请点击这里查看>>

    更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

    发表评论

    售后服务:

    • 售后服务范围 1、商业模板使用范围内问题免费咨询
      2、源码安装、模板安装(一般 ¥50-500)服务答疑仅限SVIP用户
      3、单价超过200元的模板免费一次安装,需提供服务器信息。
      付费增值服务 1、提供dedecms模板、WordPress主题、discuz模板优化等服务请详询在线客服
      2、承接 WordPress、DedeCMS、Discuz 等系统建站、仿站、开发、定制等服务
      3、服务器环境配置(一般 ¥50-500)
      4、网站中毒处理(需额外付费,1000元/次/质保三个月)
      售后服务时间 周一至周日(法定节假日除外) 9:00-23:00
      免责声明 本站所提供的模板(主题/插件)等资源仅供学习交流,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担,有部分资源为网上收集或仿制而来,若模板侵犯了您的合法权益,请来信通知我们(Email: niupinyuanma@foxmail.com),我们会及时删除,给您带来的不便,我们深表歉意!