利用轻易云平台进行ETL转换：从金蝶数据到目标平台数据写入

  • 轻易云集成顾问-蔡威

案例分析：金蝶云星空数据集成至轻易云平台

在本案例中，我们探讨如何实现将金蝶云星空中的生产用料清单数据高效集成到轻易云数据集成平台。具体任务是通过GY查询金蝶生产用料清单-好-物料不为空方案，确保各项业务数据及时、准确地传输和处理。

首先，我们需要解决的是从金蝶云星空系统获取目标数据的问题。为此，可以利用其API接口executeBillQuery执行查询操作，并设置相关参数以过滤出非空的生产用料信息。这一步至关重要，因为它决定了后续的数据完整性和质量。

其次，在获取到符合条件的数据后，需要考虑如何快速、稳定地写入到轻易云集成平台。同样，通过调用轻易云提供的API进行批量写入操作。在这一过程中，需特别注意以下几点技术要点：

  1. 高吞吐量支持： 由于业务需求可能涉及大量生产用料清单记录，因此系统必须具备高吞吐量的数据写入能力，以应对大规模的数据处理需求。这不仅能提升时效性，还能够避免因网络延迟或其他因素造成的数据滞留问题。

  2. 分页与限流管理： 金蝶云星空接口通常会对返回结果进行分页以及应用请求次数限制。为了优化这些限制，在实现过程中可以采用批次处理方式，将大批量数据分割为若干小段逐步抓取，同时控制每次请求的频率，保证不会超出限制范围。

  3. 自定义转换逻辑： 两个平台之间的字段命名及数值格式往往存在差异，这就要求在编排集成流程时灵活使用自定义转换逻辑，对原始数据做必要的字段匹配和格式调整，使得最终进入轻易云的平台数据库结构保持一致。另外，可以借助可视化工具帮助设计这些转换过程，更加直观且减少人为错误。

  4. 监控与告警机制： 数据流动过程中的实时监控与异常检测也非常关键。无论是链路异常还是意外中断，都需要及时发现并处理，以保证整体运作顺畅。同时，集中式监控和告警系统可以提供一个统一视图，展示所有关键指标，并在发生异常情况时立即通知相关人员采取措施。

接下来，将详细介绍上述技术步骤，从配置具体参数，到API调用细节，以及潜在问题解决方法等，全方位展现实际运行方案“GY查询金蝶生产用料清单-好-物料不为空”的全貌。 用友BIP接口开发配置

调用源系统金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，第一步是从源系统获取数据。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取生产用料清单，并对数据进行初步加工。

接口配置与请求参数

首先，我们需要配置接口和请求参数。根据提供的元数据配置，以下是关键参数及其描述：

  • api: executeBillQuery
  • method: POST
  • number: FBillNo
  • id: FEntity_FEntryID
  • request: 包含多个字段，每个字段都有其特定的属性，如field、label、type、describe和value

具体请求字段如下：

[
  {"field":"FEntity_FEntryID","label":"FEntity_FEntryID","type":"string","describe":"id","value":"FEntity_FEntryID"},
  {"field":"FMoEntrySeq","label":"生产订单行号","type":"string","describe":"生产订单号","value":"FMoEntrySeq"},
  {"field":"FID","label":"实体主键","type":"string","describe":"实体主键","value":"FID"},
  {"field":"FBillNo","label":"单据编号","type":"string","describe":"单据编号","value":"FBillNo"},
  {"field":"FInventoryDate","label":"库存日期","type":"string","describe":"日期","value":"FInventoryDate"},
  {"field":"FPrdOrgId","label":"生产组织","type":"string","describe":"生产组织","value":"FPrdOrgId.FNumber"},
  {"field":"FSupplyOrg","label":"发料组织","type":"string","describe":"发料组织","value":"FSupplyOrg.FNumber"},
  {"field":"FWorkshopID","label":"生产车间","type":"string","describe":"生产车间","value":"FWorkshopID.FNumber"},
  {"field":"FMoBillNo","label":"生产订单编号","type":"string","describe":"","value":""},
  {"field": "FMaterialId", "label": "产品编码", "type": "string", "describe": "物料编码", "value": "FMaterialId.FNumber"}
]

请求示例

为了从金蝶云星空获取数据，我们需要构建一个POST请求。以下是一个示例请求体：

{
  "FormId": "PRD_PPBOM",
  "FieldKeys": [
    "FBillNo",
    "FID",
    "FEntity_FEntryID",
    "FMoEntrySeq",
    ...
  ],
  "FilterString": "FModifyDate>='2023-01-01' and FMaterialID2.FNumber <> '' and FPrdOrgId.FNumber='T04'",
  "Limit": 2000,
  "StartRow": 0
}

数据处理与转换

在接收到响应后，需要对数据进行初步处理和转换。轻易云平台提供了自动填充响应（autoFillResponse）功能，可以简化这一过程。

例如，假设我们收到以下响应：

{
  "Result": {
    "ResponseStatus": {
      ...
    },
    "Result": [
      {
        "FBillNo": "BOM0001",
        ...
      },
      ...
    ]
  }
}

我们可以通过配置自动填充响应，将这些结果直接映射到目标系统所需的格式。

异常处理与补偿机制

在实际操作中，可能会遇到各种异常情况，如网络问题或接口超时。轻易云平台提供了异常补偿机制（omissionRemedy），可以在指定时间间隔内重新发起请求，以确保数据的完整性。

例如，通过以下配置，可以每5分钟重新尝试获取未成功的数据：

{
  "crontab": "*\/5 * * * *",
  ...
}

实践案例

假设我们需要查询最近10分钟内修改过的物料清单，并且子项物料编码不为空，生产组织为T04。可以通过以下方式实现：

  1. 配置过滤条件：

    {
 "FilterString": "FModifyDate>='{{MINUTE_AGO_10|datetime}}' and FMaterialID2.FNumber <> '' and FPrdOrgId.FNumber='T04'"
}

  2. 发起查询请求并处理响应：

    {
 ...
 // 构建请求体并发送POST请求
 // 接收响应并进行初步处理
 ...
}

通过以上步骤，我们能够高效地从金蝶云星空获取所需的数据，并为后续的数据转换和写入做好准备。这不仅提高了数据集成的效率，也确保了数据的一致性和准确性。 金蝶与CRM系统接口开发配置

使用轻易云数据集成平台进行ETL转换与写入

在轻易云数据集成平台中，数据处理的第二阶段至关重要，即将已经集成的源平台数据进行ETL（Extract, Transform, Load）转换，并转为目标平台API接口所能够接收的格式，最终写入目标平台。本文将深入探讨这一过程，重点关注API接口和数据集成的技术细节。

数据请求与清洗

在数据请求与清洗阶段，我们从源系统（金蝶生产用料清单）获取原始数据。假设我们已经成功获取了所需的数据，并进行了初步的清洗和预处理，确保数据完整且无误。

数据转换与写入

接下来，我们进入关键的ETL转换阶段。此时，我们需要将清洗后的数据转换为目标平台（轻易云集成平台）API接口所能接受的格式，并通过POST方法写入目标平台。

根据提供的元数据配置：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "number": "number",
  "id": "id",
  "name": "编码",
  "idCheck": true
}

我们可以看到，目标API接口为“写入空操作”，使用POST方法进行数据提交。以下是具体步骤：

  1. 定义数据模型 首先，我们需要定义一个符合目标API接口要求的数据模型。根据元数据配置，我们知道需要包含以下字段：

    • number：物料数量
    • id：唯一标识符
    • name：物料编码

  2. 数据转换 将源系统的数据映射到上述定义的数据模型中。例如，从金蝶生产用料清单中提取相应字段，并进行必要的格式转换。

    def transform_data(source_data):
   transformed_data = []
   for item in source_data:
       transformed_item = {
           "number": item["quantity"],
           "id": item["unique_id"],
           "name": item["material_code"]
       }
       transformed_data.append(transformed_item)
   return transformed_data

  3. ID检查 根据元数据配置中的idCheck: true，我们需要确保每个记录都有唯一标识符（ID）。这可以通过在转换过程中添加检查逻辑来实现。

    def check_id_uniqueness(data):
   seen_ids = set()
   for item in data:
       if item["id"] in seen_ids:
           raise ValueError(f"Duplicate ID found: {item['id']}")
       seen_ids.add(item["id"])
   return True

  4. 构建API请求 使用POST方法将转换后的数据发送到目标API接口。这里使用Python中的requests库作为示例：

    import requests

def post_to_api(transformed_data):
   url = 'https://api.example.com/写入空操作'
   headers = {'Content-Type': 'application/json'}
   response = requests.post(url, json=transformed_data, headers=headers)
   if response.status_code == 200:
       print("Data successfully written to target platform.")
   else:
       print(f"Failed to write data: {response.status_code}, {response.text}")

  5. 执行流程 最后，将上述步骤串联起来执行整个流程：

    source_data = get_source_data()  # 假设此函数获取源系统的数据
cleaned_data = clean_source_data(source_data)  # 假设此函数进行初步清洗
transformed_data = transform_data(cleaned_data)

if check_id_uniqueness(transformed_data):
   post_to_api(transformed_data)

通过以上步骤，我们实现了从源系统到目标平台的数据ETL转换和写入。在这个过程中，充分利用了轻易云集成平台提供的元数据配置，确保了每个环节都符合预期并高效运行。

这种全生命周期管理和透明化操作界面，使得业务流程更加高效透明，同时也大大简化了复杂异构系统间的数据集成工作。 金蝶云星空API接口配置

版权声明

该文章《利用轻易云平台进行ETL转换：从金蝶数据到目标平台数据写入》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星辰与旺店通无缝集成
更多系统对接方案