使用轻易云平台实现金蝶云星空数据的ETL技术案例

  • 轻易云集成顾问-杨嫦

如何实现金蝶云星空数据集成到轻易云平台——客户查询案例

在本次技术文中，我们将介绍如何通过轻易云数据集成平台，将金蝶云星空的数据无缝对接过来，具体以"客户查询"作为实际运行的方案进行分享。该集成案例主要聚焦于确保数据不漏单、实时可靠抓取和批量写入等几个关键环节。

首先，在对接过程中需要调用金蝶云星空提供的API接口executeBillQuery进行数据获取。这一步至关重要，因为它决定了初始数据抓取的效率与完整性。在处理这些调用时，还需特别留意分页和限流问题，避免因并发请求过高导致接口响应失败。

为了保证大量数据能够快速而无误地写入到轻易云集成平台，我们采用了一种分块传输机制，并结合定制化的数据映射方案，使得不同系统间的数据格式差异能被自动处理。同时，为了应对可能出现的网络波动或接口异常情况，设计了完善的异常处理与错误重试机制，这不仅提高了交互过程中的稳定性，还确保了每一条记录都能成功落地，无一遗漏。

其次，我们利用轻易云提供的一系列特性，以全透明可视化方式监控整个数据流动过程，从源头到目的地，每一个操作细节都清晰可见。除了实时监控外，通过日志记录功能，可以回溯任何阶段的问题，提高调试效率并缩短故障排查时间。

综上所述，通过合理运用API及设定严谨的数据处理流程，实现金蝶云星空客户信息顺利导入到轻易云平台成为可能。后续章节将详细展开具体实施步骤以及相关代码示例。 钉钉与WMS系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取客户数据，并进行初步加工。

接口配置与调用

首先，我们需要配置元数据，以便正确调用金蝶云星空的executeBillQuery接口。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FNumber",
  "id": "FCUSTID",
  "pagination": {
    "pageSize": 500
  },
  "request": [
    {"field":"FCUSTID","label":"FCUSTID","type":"string","value":"FCUSTID"},
    {"field":"FNumber","label":"编码","type":"string","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","value":"FName"},
    // ... (其他字段省略)
  ],
  "otherRequest": [
    {"field":"Limit","label":"最大行数","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_PAGE_SIZE}"},
    {"field":"StartRow","label":"开始行索引","type":"string","describe":"金蝶的查询分页参数","value":"{PAGINATION_START_ROW}"},
    {"field":"FilterString","label":"过滤条件","type":"string","describe":"示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=","value":"FApproveDate>='{{LAST_SYNC_TIME|dateTime}}' and FUseOrgId.FNumber='100'"},
    {"field":"FieldKeys","label":"需查询的字段key集合","type":"array","describe":"金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber", "parser":{"name": "ArrayToString", "params": ","}},
    {"field":"FormId","label":"业务对象表单Id","type":"string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value": "BD_Customer"}
  ]
}

请求参数解析

在上述配置中，request部分定义了需要从金蝶云星空获取的数据字段，包括客户编码（FNumber）、客户名称（FName）等。每个字段都包含了其在源系统中的标识符和类型。

例如：

  • {"field": "FNumber", "label": "编码", "type": "string", "value": "FNumber"}
  • {"field": "FName", "label": "名称", "type": "string", "value": "FName"}

这些字段将被用于构建API请求，以确保我们能够获取到所需的数据。

分页与过滤条件

为了高效处理大量数据，我们使用了分页机制。分页参数包括：

  • Limit: 最大行数，设置为500。
  • StartRow: 开始行索引，用于指定从哪一行开始读取数据。

此外，我们还可以通过FilterString字段设置过滤条件。例如，过滤条件可以设定为只获取最近同步时间之后的数据，并且使用组织编号为100的数据：

{"field": "FilterString", 
"label": "过滤条件", 
"type": "string", 
"value": 
"FApproveDate>='{{LAST_SYNC_TIME|dateTime}}' and FUseOrgId.FNumber='100'"}

字段键集合与表单ID

为了明确需要查询的字段，我们使用了FieldKeys字段，它是一个数组，包含所有需要查询的字段键集合。这些键将被转换为字符串并传递给API请求。

例如：

{"field": 
"FieldKeys",
"label":
"需查询的字段key集合",
"type":
"array",
"parser":
{"name":
"ArrayToString",
"params":
 ","}}

最后，必须指定业务对象表单ID（FormId），在本例中为客户信息表单ID BD_Customer:

{"field":
"FormId",
"label":
"业务对象表单Id",
"type":
"string",
"value":
"BD_Customer"}

数据请求与清洗

在完成上述配置后，通过轻易云平台发送POST请求到金蝶云星空接口，即可获取原始客户数据。接下来，需要对这些数据进行清洗和初步加工，以确保其符合目标系统的数据格式和质量要求。

清洗过程可能包括：

  • 去除重复记录。
  • 格式化日期和数值。
  • 标准化字符串（如去除前后空格、统一大小写等）。

示例代码

以下是一个示例代码片段，用于展示如何通过轻易云平台调用金蝶云星空接口并处理返回的数据：

import requests
import json

# 定义API URL和头信息
url = 'https://api.kingdee.com/executeBillQuery'
headers = {'Content-Type': 'application/json'}

# 构建请求体
payload = {
    'FormId': 'BD_Customer',
    'FieldKeys': 'FCUSTID,FNumber,FName',
    'FilterString': f"FApproveDate>='{last_sync_time}' and FUseOrgId.FNumber='100'",
    'Limit': 500,
    'StartRow': start_row
}

# 发起POST请求
response = requests.post(url, headers=headers, data=json.dumps(payload))

# 检查响应状态码
if response.status_code == 200:
    data = response.json()

    # 数据清洗与加工逻辑
    cleaned_data = clean_data(data)

else:
    print(f'Error: {response.status_code}')

通过以上步骤，我们成功实现了从金蝶云星空获取客户数据，并进行了初步加工，为后续的数据转换与写入奠定了基础。 钉钉与ERP系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入目标平台的技术案例

在数据集成生命周期的第二步中，已经从源平台获取的数据需要经过ETL（Extract, Transform, Load）转换，以符合目标平台API接口的要求。本文将详细探讨如何利用轻易云数据集成平台进行这一过程，并最终将转换后的数据写入目标平台。

元数据配置解析

根据提供的元数据配置，我们需要将数据写入到目标平台，具体配置如下：

{
  "api": "空操作",
  "method": "POST",
  "idCheck": true
}

该配置表明我们需要通过POST方法调用目标API接口，并且在写入数据之前进行ID校验。以下是具体步骤和技术细节。

数据提取与清洗

首先，从源平台提取原始数据。假设我们从一个客户信息数据库中提取了以下JSON格式的数据：

{
  "customer_id": "12345",
  "name": "张三",
  "email": "zhangsan@example.com",
  "phone": "13800138000"
}

在清洗阶段，我们确保所有字段都符合预期格式。例如，验证email字段是否包含有效的电子邮件地址，phone字段是否为合法的手机号码格式等。

数据转换

接下来，我们需要将清洗后的数据转换为目标平台所需的格式。根据元数据配置，假设目标API接口要求的数据格式如下：

{
  "id": "12345",
  "fullName": "张三",
  "contactEmail": "zhangsan@example.com",
  "contactPhone": "+8613800138000"
}

这一步骤涉及字段名称的映射和可能的数据格式转换。例如，将phone字段前添加国际区号+86。

ID校验

在进行数据写入之前，根据元数据配置中的idCheck: true，我们需要对ID进行校验。这可以通过查询目标平台现有记录来实现，以确保没有重复或冲突。例如：

GET /api/customers?id=12345

如果返回结果为空，则表示ID可用，可以继续写入操作；否则，需要处理冲突，例如生成新的唯一ID或更新现有记录。

数据写入

完成上述步骤后，通过POST方法将转换后的数据写入目标API接口：

POST /api/customers
Content-Type: application/json

{
  "id": "12345",
  "fullName": "张三",
  "contactEmail": "zhangsan@example.com",
  "contactPhone": "+8613800138000"
}

在轻易云数据集成平台中，这一步骤可以通过配置相应的任务来实现。以下是一个简化的任务配置示例：

tasks:
- name: write_customer_data
  type: api_call
  config:
    url: "/api/customers"
    method: POST
    headers:
      Content-Type: application/json
    body:
      id: "{{customer_id}}"
      fullName: "{{name}}"
      contactEmail: "{{email}}"
      contactPhone: "+86{{phone}}"

实时监控与日志记录

为了确保整个过程顺利进行，并及时发现和解决问题，可以利用轻易云平台提供的实时监控和日志记录功能。通过这些功能，可以查看每个步骤的数据流动和处理状态，并在发生错误时快速定位问题根源。

以上就是使用轻易云数据集成平台进行ETL转换并将数据写入目标平台的详细技术案例。通过合理配置和使用元数据，我们能够高效地完成复杂的数据集成任务。 金蝶与SCM系统接口开发配置

版权声明

该文章《使用轻易云平台实现金蝶云星空数据的ETL技术案例》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

轻易云AI数据分析
更多系统对接方案