数据集成生命周期：金蝶云星空采购入库数据的ETL转换与写入

  • 轻易云集成顾问-贺强

金蝶云星空数据集成案例：cgrk-2金蝶采购入库查询 数据测试

在现代企业的运营过程中，数据的及时、准确处理是关键任务之一。本文将深入探讨如何通过轻易云数据集成平台，实现金蝶云星空系统中的采购入库查询（cgrk-2）数据高效、可靠地集成为业务决策提供支持。

我们首先来介绍如何使用executeBillQuery接口从金蝶云星空获取相关数据，以及利用轻易云集成平台进行写入操作。在该实例中，我们重点探讨以下几个技术要点：

  1. 调用金蝶云星空API接口 executeBillQuery：此步骤是整个集成流程的基础。我们需要确保能够定时、可靠地抓取到最新的数据，并处理分页和限流问题，以防止遗漏任何重要信息。

  2. 批量数据快速写入到轻易云平台：通过高吞吐量的数据写入能力，使得大量的采购入库记录能迅速、安全地被传输至目标系统，提升整体处理效率。

  3. 自定义数据转换逻辑：为了适应特定的业务需求和原始与目标系统之间的数据结构差异，我们引进了灵活的数据转换策略。这不仅保证了各个字段的精确匹配，还使得后续分析和应用更为便捷。

  4. 监控与告警机制：实施集中监控与实时告警功能，可以全程跟踪各项任务状态，尤其是在发生异常情况时及时预警并采取措施，这大幅度提高了系统运行的可靠性。

  5. 异常处理与错误重试机制：在实际操作过程中，我们设计了一套完备的异常捕获及自动重试方案，当遇到网络抖动或其他临时故障导致请求失败时，能够自动进行多次尝试直至成功，从而保证整个流程的不间断运行。

以上即是本次案例分享所涉及的一些主要技术主题。接下来将详细阐述具体实现过程，包括API调用细节、配置步骤以及注意事项等。 数据集成平台API接口配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将深入探讨如何使用轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取并加工采购入库数据。

接口配置与请求参数

首先，我们需要配置元数据以便正确调用金蝶云星空的executeBillQuery接口。以下是关键的元数据配置：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FBillNo",
  "id": "FInStockEntry_FEntryId",
  "idCheck": true,
  "formatResponse": [
    {
      "old": "FDate",
      "new": "FDate_new",
      "format": "date"
    }
  ],
  "request": [
    {"field":"FInStockEntry_FEntryId","label":"FInStockEntry_FEntryId","type":"string","describe":"111","value":"FInStockEntry_FEntryId"},
    {"field":"FBillNo","label":"FBillNo","type":"string","describe":"111","value":"FBillNo"},
    {"field":"FDocumentStatus","label":"FDocumentStatus","type":"string","describe":"111","value":"FDocumentStatus"},
    {"field":"FDate","label":"FDate","type":"string","describe":"111","value":"FDate"},
    {"field":"FRealQty","label":"FRealQty","type":"string","describe":"111","value":"FRealQty"},
    {"field":"FAmount","label":"FAmount","type":"string","describe":"111","value":"FAmount"}
  ],
  "otherRequest": [
    {"field":"Limit","label":"Limit","type":"string","describe":"金蝶的查询分页参数","value":"2000"},
    {"field":"StartRow","label":"StartRow","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_START_ROW}"},
    {"field":"TopRowCount","label":"TopRowCount","type":"int","describe":"","value":""},
    {"field":"FilterString","label":"","type":"","describe":"","value":"'{{LAST_SYNC_TIME|dateTime}}' and FBillNo NOT LIKE '%CGRK%'"},
    {"field":"","label":"","type":"","describe":"","value":""},
    {"field":"","label":"","type":"","describe":"","value":""}
  ],
  "autoFillResponse": true
}

请求参数详解

  • api: executeBillQuery，指定要调用的API。
  • effect: QUERY，表示这是一个查询操作。
  • method: POST，HTTP请求方法。
  • number: FBillNo，用于标识单据编号。
  • id: FInStockEntry_FEntryId，用于标识分录ID。
  • idCheck: true，启用ID检查。
请求字段（request）

这些字段定义了我们希望从金蝶云星空获取的数据内容：

  • FInStockEntry_FEntryId: 分录ID。
  • FBillNo: 单据编号。
  • FDocumentStatus: 单据状态。
  • FDate: 单据日期。
  • FRealQty: 实际数量。
  • FAmount: 金额。
其他请求参数（otherRequest）

这些参数用于控制查询行为和过滤条件：

  • Limit: 查询结果的分页大小，设置为2000条记录。
  • StartRow: 查询起始行，用于分页处理。
  • FilterString: 查询过滤条件，例如："{{LAST_SYNC_TIME|dateTime}}' and FBillNo NOT LIKE '%CGRK%'"。

数据格式化与响应处理

在获取到原始数据后，我们可能需要对其进行一定的格式化处理。例如，将日期字段重新命名并格式化：

{
  "old": "FDate",
  "new": "FDate_new",
  "format": "date"
}

这个配置将原始的FDate字段重命名为FDate_new并转换为日期格式。这种处理有助于后续的数据分析和展示。

调用示例

以下是一个实际调用该接口的示例代码片段：

import requests
import json

url = 'https://api.kingdee.com/executeBillQuery'
headers = {'Content-Type': 'application/json'}
payload = {
    'FormId': 'STK_InStock',
    'FieldKeys': 'FBillNo,FInStockEntry_FEntryId,FDocumentStatus,FDate,FRealQty,FAmount',
    'FilterString': "{{LAST_SYNC_TIME|dateTime}}' and FBillNo NOT LIKE '%CGRK%'",
    'Limit': '2000',
    'StartRow': '{PAGINATION_START_ROW}'
}

response = requests.post(url, headers=headers, data=json.dumps(payload))
data = response.json()

# 格式化日期字段
for entry in data:
    entry['FDate_new'] = format_date(entry['FDate'])

print(data)

在这个示例中，我们通过HTTP POST请求调用了金蝶云星空的API，并传递了必要的查询参数。响应的数据经过简单处理后输出。

总结

通过上述步骤，我们成功地使用轻易云数据集成平台调用了金蝶云星空的executeBillQuery接口，并对返回的数据进行了必要的格式化处理。这一过程展示了如何高效地进行跨系统的数据集成，为后续的数据分析和业务决策提供了坚实基础。 钉钉与CRM系统接口开发配置

数据集成生命周期中的ETL转换与写入

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL转换，使其符合目标平台API接口所能够接收的格式，最终实现数据写入。本文将通过一个具体的技术案例，探讨如何使用轻易云数据集成平台完成这一过程。

数据请求与清洗

在数据请求与清洗阶段，我们已经从金蝶采购入库查询中获取了原始数据。这些数据可能包含多种格式和结构，需要进行清洗和标准化处理，以确保其质量和一致性。

数据转换与写入

在这一阶段，我们需要将清洗后的数据转换为目标平台所需的格式，并通过API接口将其写入目标平台。以下是具体的步骤和技术细节：

  1. 配置元数据

    根据提供的元数据配置，我们需要设置API接口的相关参数。以下是元数据配置示例：

    {
   "api": "写入空操作",
   "effect": "EXECUTE",
   "method": "POST",
   "idCheck": true
}

  2. 定义ETL流程

    在轻易云数据集成平台上，定义ETL流程包括三个主要步骤：提取（Extract）、转换（Transform）和加载（Load）。

    • 提取：从金蝶采购入库查询中提取原始数据。

      SELECT * FROM Kingdee_Purchase_Entry WHERE status = 'completed'

    • 转换：对提取的数据进行必要的转换，以符合目标平台API接口要求。例如，将日期格式从YYYY-MM-DD转换为MM/DD/YYYY。

      def transform_date_format(date_str):
 from datetime import datetime
 date_obj = datetime.strptime(date_str, '%Y-%m-%d')
 return date_obj.strftime('%m/%d/%Y')

    • 加载：使用POST方法，通过API接口将转换后的数据写入目标平台。

      import requests

def load_data_to_target(data):
 url = "https://api.targetplatform.com/write"
 headers = {
     'Content-Type': 'application/json'
 }
 response = requests.post(url, json=data, headers=headers)
 return response.status_code

  3. 执行ETL流程

    在轻易云数据集成平台上，通过可视化操作界面配置并执行上述ETL流程。实时监控每个环节的数据流动和处理状态，确保流程顺利进行。

  4. 错误处理与日志记录

    在实际操作中，可能会遇到各种错误和异常情况。我们需要设置相应的错误处理机制，并记录日志以便于后续分析和排查问题。

    try:
   status_code = load_data_to_target(transformed_data)
   if status_code != 200:
       raise Exception("Failed to write data to target platform")
except Exception as e:
   log_error(e)

通过以上步骤，我们成功地将金蝶采购入库查询中的原始数据进行了ETL转换，并通过API接口将其写入了目标平台。在这个过程中，充分利用了轻易云数据集成平台提供的全透明可视化操作界面，实现了高效、可靠的数据集成。

这种方法不仅提高了业务透明度和效率，还确保了不同系统间的数据无缝对接，为企业的数据管理提供了强有力的支持。 钉钉与WMS系统接口开发配置

版权声明

该文章《数据集成生命周期：金蝶云星空采购入库数据的ETL转换与写入》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星辰与吉客云对接
更多系统对接方案