数据转换与监控:优化旺店通到金蝶云星空的集成过程

  • 轻易云集成顾问-卢剑航

旺店通·企业奇门数据集成到金蝶云星空:新优化适配器方案

在本案例中,我们将探讨如何通过新优化适配器方案,将旺店通·企业奇门系统的销售出库单数据高效、稳定地集成到金蝶云星空。具体来说,焦点集中于处理货品类型为1且销售价格不为0的数据。

方案背景

为了确保数据集成过程中的全面性和可靠性,本次实施采用了诸如实时监控与日志记录、自定义数据转换逻辑,以及批量快速写入等技术手段。这些不仅保证了业务透光度,还确保了高吞吐量的数据流动能力,从而显著提升整体效能。

接口调用

首先,通过调用旺店通·企业奇门的API wdt.stockout.order.query.trade,从其系统中定时抓取必要的销售出库单数据,并进行预处理。这里需要特别注意的是分页和限流问题,以避免对源系统造成不必要的负载压力。在获取并清洗完毕的数据之后,再使用金蝶云星空提供的API batchSave进行批量写入操作,这一过程中同样需要关注异常处理及错误重试机制,以保证最终的一致性和完整性。

关键技术要点

  1. 自定义数据转换逻辑:由于旺店通·企业奇门与金蝶云星空之间存在一定的数据格式差异,因此我们设计了一套灵活的数据映射规则来解决这一问题。

  2. 实时监控与告警系统:引入集中化管理平台,对整个流程中的各类指标(包括任务状态、性能指标等)实现全程跟踪,并设置合理的告警策略以应对潜在风险。

  3. 大规模数据处理能力:利用平台提供的大规模、高吞吐量的数据写入能力,每分钟上千条记录能够平滑无误地同步至目标端,极大缩短了交易确认时间,提高业务响应速度。

  4. 高度智能化异常检测与处理机制:即便出现网络波动或服务不可用等情况,新优化适配器也可通过内置的多层次容错机制来自动重试或报警通知运维人员及时介入调整。

接下来,我们将详细剖析每一个步骤所涉及到的具体配置方法及代码示例,为您深入解读这项复杂但颇具实用价值的数据集成功能。 企业微信与ERP系统接口开发配置

调用源系统旺店通·企业奇门接口wdt.stockout.order.query.trade获取并加工数据

在轻易云数据集成平台中,调用源系统接口是数据处理生命周期的第一步。本文将深入探讨如何通过调用旺店通·企业奇门接口wdt.stockout.order.query.trade来获取并加工销售出库单数据。

接口调用配置

首先,我们需要配置接口调用的元数据。以下是元数据配置的详细信息:

{
  "api": "wdt.stockout.order.query.trade",
  "effect": "QUERY",
  "method": "POST",
  "number": "order_no",
  "id": "order_no",
  "name": "order_no",
  "idCheck": true,
  "joinBatch": "wdt.stockout.batch.detail",
  "request": [
    {
      "field": "start_time",
      "label": "开始时间",
      "type": "datetime",
      "describe": "增量获取数据,start_time作为开始时间,格式:yyyy-MM-dd HH:mm:ss",
      "value": "{{LAST_SYNC_TIME|datetime}}"
    },
    {
      "field": "end_time",
      "label": "结束时间",
      "type": "datetime",
      "describe": "增量获取数据,end_time作为结束时间,格式:yyyy-MM-dd HH:mm:ss",
      "value": "{{CURRENT_TIME|datetime}}"
    },
    {
      "field": "status",
      "label": "状态",
      "type": "string",
      "describe": 
        ["5已取消", 
            "55已审核", 
            "95已发货", 
            "105 部分打款", 
            "110已完成", 
            "113:异常发货"],
        "value":"110"
    },
    {
      ...
    }
  ],
  ...
}

请求参数解析

  1. start_timeend_time:用于增量获取数据,这两个字段分别表示开始时间和结束时间。它们的值通过模板变量{{LAST_SYNC_TIME|datetime}}{{CURRENT_TIME|datetime}}自动填充。
  2. status:表示订单状态,我们选择了“110已完成”状态,以确保只获取已完成的销售出库单。
  3. shop_noswarehouse_no:分别表示店铺编号和仓库编号,用于指定从哪些店铺和仓库获取数据。
  4. is_by_modified:定义是否用最后修改时间来查询。设置为“1”表示按照出库单的最后修改时间进行返回。

数据过滤条件

为了确保我们只处理特定类型的数据,我们在元数据中定义了过滤条件:

"condition":[
  [
    {"field":"details_list.goods_type","logic":"eqv2","value":"1"},
    {"field":"details_list.sell_price","logic":"neqv2","value":"0"},
    {"field":"consign_time","logic":"egt","value":"2023-12-10timestamp"}
  ]
]

这些条件确保我们只处理货品类型为1且销售价格不为0的数据,并且发货时间不早于2023年12月10日。

分页处理

由于接口返回的数据可能非常庞大,我们需要进行分页处理:

"otherRequest":[
  {"field":"page_size","label":"分页大小","type":"string","describe":"每页返回的数据条数,输入值范围1~100,不传本参数,输入值默认为40,使用举例单击这里","value":"30"},
  {"field":"page_no","label":"页号","type":"string","describe":"不传值默认从0页开始"}
]

这里我们设置每页返回30条记录,并从第一页开始抓取。

数据清洗与转换

在获取到原始数据后,我们需要对其进行清洗与转换。轻易云平台提供了自动填充响应(autoFillResponse)功能,可以帮助我们简化这一过程:

"autoFillResponse": true

此外,我们还可以使用beatFlat功能将嵌套结构的数据展平,以便后续处理:

"beatFlat":["details_list","_batch_list"]

延迟处理

为了避免频繁调用接口导致系统负载过高,我们可以设置延迟处理:

"delay":15

这意味着每次请求之间会有15秒的间隔。

通过上述配置和步骤,我们能够高效地调用旺店通·企业奇门接口wdt.stockout.order.query.trade,并对获取到的数据进行清洗与转换,为后续的数据写入和分析打下坚实基础。 轻易云数据集成平台金蝶集成接口配置

使用轻易云数据集成平台将旺店通销售出库单转换并写入金蝶云星空API接口

在数据集成过程中,ETL(Extract, Transform, Load)转换是至关重要的一步。本文将详细探讨如何利用轻易云数据集成平台,将从旺店通获取的销售出库单数据进行转换,并通过金蝶云星空API接口写入目标系统。

数据请求与清洗

首先,我们从源系统(旺店通)获取销售出库单的数据。假设这些数据已经通过轻易云平台的初步处理和清洗,接下来我们需要对这些数据进行进一步的ETL转换,以符合金蝶云星空API的要求。

数据转换与写入

为了将清洗后的数据转换为金蝶云星空所需的格式,我们需要配置一系列的元数据。以下是具体的元数据配置示例:

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "FBillTypeID",
      "label": "单据类型",
      "type": "string",
      "describe": "...",
      "parser": {"name": "ConvertObjectParser", "params": "FNumber"},
      "value": "XSCKD01_SYS"
    },
    {
      "field": "F_QDUT_Text1",
      "label": "旺店通单号",
      "type": "string",
      ...
    },
    ...
  ],
  ...
}
单据类型与组织信息
{
  "field": "FBillTypeID",
  "label": "单据类型",
  ...
}

此字段用于指定金蝶云星空中的单据类型,例如标准销售出库单XSCKD01_SYS。我们使用ConvertObjectParser解析器来确保字段值符合金蝶系统的要求。

{
  ...
  {
    "field": "FStockOrgId",
    ...
    }
}

发货组织和销售组织字段根据不同的shop_no值进行映射。例如,当shop_no为'005'时,发货组织和销售组织都设置为'DZ'。

客户与部门信息
{
  ...
  {
    "field": "FCustomerID",
    ...
    }
}

客户字段同样根据shop_no值进行映射,例如,当shop_no为'002'时,客户ID设置为'CUST0018'。

{
  ...
  {
    "field": "FSaleDeptID",
    ...
    }
}

销售部门字段也根据不同的shop_no值进行映射,例如,当shop_no为'007'时,销售部门设置为'3002'。

明细信息

明细信息包含多个子字段,如物料编码、实发数量、含税单价等。这些字段需要根据具体业务逻辑进行映射和转换。例如:

{
  ...
  {
    "field": "FMaterialID",
    ...
    }
}

物料编码字段从源系统的数据中提取,并使用解析器转换为目标系统所需格式。

{
  ...
  {
    "field": "FRealQty",
    ...
    }
}

实发数量字段直接从源系统的数据中提取,无需复杂处理。

特殊处理逻辑

对于某些特殊字段,如批号、生产日期、有效期等,需要根据具体业务规则进行处理。例如:

{
  ...
  {
    'field': 'FLot',
    'value': '_function case \'{{list.details_list_goods_no}}\' when \'5.40.54001210300\' then \'20230927B1\' ... end'
  },
}

批号字段根据物料编码进行条件判断,并赋予相应值。

最终写入目标平台

所有配置完成后,通过调用金蝶云星空API接口,将转换后的数据写入目标平台。以下是一个示例请求:

{
  'FormId': 'SAL_OUTSTOCK',
  'Operation': 'Save',
  'IsAutoSubmitAndAudit': false,
  'IsVerifyBaseDataField': true,
  'SubSystemId': '21',
  'InterationFlags': 'STK_InvCheckResult',
   ... 
}

该请求包含了所有必要的信息和参数,通过POST方法发送到金蝶云星空API接口,实现最终的数据写入操作。

通过上述步骤,我们成功地将从旺店通获取的销售出库单数据,经过ETL转换后,写入到金蝶云星空系统中。这不仅提高了数据处理效率,还确保了各个环节的数据准确性和一致性。 数据集成平台可视化配置API接口

更多系统对接方案