ETL转换技术剖析：从金蝶汇率到轻易云数据平台的集成流程

  • 轻易云集成顾问-彭亮

金蝶云星空数据集成到轻易云平台技术案例分析

在本文中，我们将深入探讨一个实际的系统对接集成案例：如何高效、可靠地将金蝶云星空的数据集成到轻易云数据集成平台。在这个项目中，主要任务是通过调用金蝶云星空的接口executeBillQuery抓取汇率数据，随后利用轻易云提供的API进行数据写入操作。整个方案被命名为“查询金蝶汇率--ok_copy”。

为了确保数据不漏单并实现快速、大量的数据写入，我们特别注重以下几个关键技术点：

  1. 调用金蝶云星空接口executeBillQuery： 通过定时调度机制，可靠地从金蝶云星空获取最新的汇率信息。此过程涉及处理分页和限流问题，以确保获取的数据完整无遗漏。

  2. 处理接口之间的数据格式差异： 在从源系统（金蝶云）拉取到目标系统（轻易云）的过程中，需要转换和映射不同格式的数据。这要求我们定制化配置数据映射规则，并实时监控与日志记录每个操作环节。

  3. 批量集成与异常处理： 数据通常以批量方式写入至轻易云平台，这是为了提高效率。如果出现异常情况，如网络故障或API请求失败，则会触发错误重试机制，以保证所有有效数据成功导入而不丢失。

  4. 动态监控与可视化管理： 采用全程透明化、可视化的方法来管理和监控整个流程，从开始获取汇率信息，到最终写入完成，这不仅提升了工作效率，还保证了业务操作的透明性。

通过这些策略，我们能高效、高质量地实现跨系统间的大规模、安全稳定的数据传输，同时应对各种潜在的问题。这些技术特性的综合应用，为“查询金蝶汇率--ok_copy”方案奠定了稳固基础，使得该解决方案能够顺利运行并达到预期效果。在下述具体步骤中，将详细介绍上述各个方面如何一一实现。 钉钉与MES系统接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取汇率数据，并进行相应的数据加工。

接口配置与请求参数

首先，我们需要配置元数据以便正确调用金蝶云星空的executeBillQuery接口。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FCyForID",
  "id": "FRateID",
  "name": "FName",
  "idCheck": true,
  "request": [
    {"field":"FCyForID","label":"原币","type":"string","describe":"111","value":"FCyForID.FCODE"},
    {"field":"FCyToID","label":"目标币种","type":"string","describe":"111","value":"FCyToID.FCODE"},
    {"field":"FExchangeRate","label":"直接汇率","type":"string","describe":"111","value":"FExchangeRate"},
    {"field":"FReverseExRate","label":"间接汇率","type":"string","describe":"111","value":"FReverseExRate"},
    {"field":"FBegDate","label":"生效时间","type":"string","value":"FBegDate"},
    {"field":"FEndDate","label":"失效日期","type":"string","value":"FEndDate"},
    {"field":"FRateID","label":"实体主键","type":"string","value":"FRateID"},
    {"field":"FRATETYPEID","label":"汇率类型","type":"string","value":"FRATETYPEID.FNUMBER"}
  ],
  "otherRequest": [
    {"field": "Limit", "label": "Limit", "type": "int", "describe": "金蝶的查询分页参数", "value": "2000"},
    {"field": "StartRow", "label": "StartRow", "type": "int", "describe": "金蝶的查询分页参数"},
    {"field": "TopRowCount", "label": "TopRowCount", "type": "int", "describe": "金蝶的查询分页参数"},
    {
      "field": "FilterString",
      "label": "FilterString",
      "type": "string",
      "describe": 
        `示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>='{{LAST_SYNC_TIME|dateTime}}'`,
      `value`: 
        `FAuditDate >='{{LAST_SYNC_TIME|datetime}}' and FRATETYPEID.FNUMBER = 'HLTX01_SYS' and FCyForID.FCODE = 'USD'`
    },
    {
      `field`: `FieldKeys`,
      `label`: `FieldKeys`,
      `type`: `array`,
      `describe`: 
        `金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber`,
      `value`: `{MAIN_REQUEST}`
    },
    {
      `field`: `FormId`,
      `label`: `FormId`,
      `type`: `string`,
      `describe`: 
        `必须填写金蝶的表单ID如:PUR_PurchaseOrder`,
      `value`: 
        `BD_Rate`
    }
  ],
  buildModel: true
}

请求与响应处理

通过上述元数据配置，我们可以构建请求体来调用executeBillQuery接口。以下是一个示例请求体：

{
  FormId: 'BD_Rate',
  FieldKeys: 'FCyForID, FCyToID, FExchangeRate, FReverseExRate, FBegDate, FEndDate, FRateID, FRATETYPEID',
  FilterString: 'FAuditDate >= \'2023-01-01\' and FRATETYPEID.FNUMBER = \'HLTX01_SYS\' and FCyForID.FCODE = \'USD\'',
  Limit: 2000,
  StartRow: 0
}

该请求体指定了我们需要查询的字段和过滤条件，例如只查询美元（USD）的汇率信息，并且限制每次返回2000条记录。

数据清洗与转换

在获取到响应数据后，需要对数据进行清洗和转换，以便后续处理。假设我们获得了以下响应：

[
  {
    FCyForID: 'USD',
    FCyToID: 'CNY',
    FExchangeRate: '6.5',
    FReverseExRate: '0.1538',
    FBegDate: '2023-01-01',
    FEndDate: '2023-12-31',
    FRateID: '1001',
    FRATETYPEID: 'HLTX01_SYS'
  }
]

我们可以对这些字段进行必要的转换，例如将日期格式化为标准格式，将汇率字段转换为浮点数等。

const cleanedData = response.map(item => ({
  originalCurrency: item.FCyForID,
  targetCurrency: item.FCyToID,
  directExchangeRate: parseFloat(item.FExchangeRate),
  reverseExchangeRate: parseFloat(item.FReverseExRate),
  effectiveDate: new Date(item.FBegDate),
  expiryDate: new Date(item.FEndDate),
}));

写入目标系统

经过清洗和转换后的数据，可以通过轻易云平台进一步写入到目标系统中。这一步通常涉及到将处理后的数据映射到目标系统的数据结构中，并通过相应的API进行写入操作。

以上就是调用金蝶云星空接口executeBillQuery获取并加工数据的详细过程，通过合理配置元数据和处理响应，我们可以高效地完成数据集成任务。 钉钉与WMS系统接口开发配置

轻易云数据集成平台ETL转换技术案例：从金蝶汇率到目标平台

在轻易云数据集成平台的生命周期中，ETL（提取、转换、加载）过程是将源平台的数据转换为目标平台所需格式的关键步骤。本文将详细探讨如何将从金蝶系统获取的汇率数据，通过ETL转换后，写入轻易云集成平台API接口。

数据请求与清洗

首先，从金蝶系统获取汇率数据。假设我们已经完成了数据请求和初步清洗，获得了如下结构的JSON数据：

{
    "currency": "USD",
    "rate": 6.45,
    "date": "2023-10-01"
}

数据转换

接下来，我们需要将上述数据转换为轻易云集成平台API接口能够接收的格式。根据元数据配置，目标API接口为“写入空操作”，使用POST方法，并且需要进行ID检查。

元数据配置如下：

{
    "api": "写入空操作",
    "effect": "EXECUTE",
    "method": "POST",
    "idCheck": true
}

在进行数据转换时，需要确保以下几点：

  1. 数据格式符合目标API接口的要求。
  2. 如果配置中要求进行ID检查，则需要确保每条记录都有唯一标识符。

假设目标API接口期望的数据格式如下：

{
    "currency_code": "USD",
    "exchange_rate": 6.45,
    "effective_date": "2023-10-01"
}

因此，我们需要编写一个ETL脚本，将源数据转换为上述目标格式。以下是一个简单的Python示例脚本：

import requests
import json

# 从金蝶系统获取的数据
source_data = {
    "currency": "USD",
    "rate": 6.45,
    "date": "2023-10-01"
}

# 转换后的目标数据
target_data = {
    "currency_code": source_data["currency"],
    "exchange_rate": source_data["rate"],
    "effective_date": source_data["date"]
}

# API接口配置
api_url = 'https://api.qingyiyun.com/execute'
headers = {'Content-Type': 'application/json'}

# 检查ID（假设ID检查是基于currency_code）
if target_data.get("currency_code"):
    response = requests.post(api_url, headers=headers, data=json.dumps(target_data))

    if response.status_code == 200:
        print("Data successfully written to the target platform.")
    else:
        print(f"Failed to write data: {response.status_code}, {response.text}")
else:
    print("ID check failed: currency_code is missing.")

数据写入

最后，将转换后的数据通过POST方法写入轻易云集成平台API接口。在实际应用中，需要处理更多的异常情况和边缘案例，例如网络故障、API响应错误等。

通过上述步骤，我们实现了从金蝶系统到轻易云集成平台的数据ETL过程。这不仅保证了数据格式的一致性，也确保了每条记录都能正确地写入目标系统，满足业务需求。

在实际项目中，ETL过程可能会更加复杂，需要处理多种不同类型的数据源和目标系统，但核心思想是一致的：通过清晰的元数据配置和灵活的脚本编写，实现高效、可靠的数据集成。 金蝶与WMS系统接口开发配置

版权声明

该文章《详解调用金蝶云星空接口executeBillQuery获取汇率数据的方法》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

旺店通金蝶对接业财一体化数据集成方案包全业务流程图下载
更多系统对接方案