利用轻易云实现ETL转换并写入金蝶云星空API

  • 轻易云集成顾问-张妍琪

易快报数据集成到金蝶云星空案例分享：部门对接方案

在本技术案例中，我们将探讨如何通过轻易云数据集成平台实现“易快报”与“金蝶云星空”系统之间的高效、稳定的数据对接。具体操作包括通过调用/api/openapi/v1/departments接口从易快报获取部门信息，并将这些信息批量写入到金蝶云星空中以便进行统一管理，实现两大系统间无缝数据流动。

为了确保整个流程的顺利进行和数据的完整精准，本次项目特别考虑了以下几个关键特性：

  1. 确保不漏单：通过定时可靠抓取易快报接口的数据，制定合理的分页策略来处理大量记录，避免因网络或其他原因导致的数据遗漏。
  2. 快速大量写入：运用批量处理机制，将获取的大量部门信息快速、高效地写入到金蝶云星空的Batch Save API中。
  3. 格式差异处理：对于易快报和金蝶云星空之间存在的数据格式差异，通过定制化数据映射方法，实现各字段间的一一对应转换。
  4. 错误重试机制：在遇到异常情况时，如API请求失败等，通过设计完善的错误重试机制，保证最终所有有效数据均能成功同步。

本文将详细讲解上述技术细节及具体实践步骤，以供参考和借鉴。 如何开发金蝶云星空API接口

调用易快报接口获取并加工数据

在数据集成生命周期的第一步中，调用源系统接口获取数据是至关重要的一环。本文将详细探讨如何通过轻易云数据集成平台调用易快报的部门接口 /api/openapi/v1/departments，并对获取的数据进行加工处理。

接口配置与调用

首先，我们需要了解易快报提供的部门接口的基本信息。根据元数据配置，接口使用 GET 方法进行查询操作，具体配置如下：

{
  "api": "/api/openapi/v1/departments",
  "effect": "QUERY",
  "method": "GET",
  "number": "name",
  "id": "id",
  "idCheck": true,
  "otherRequest": [
    {
      "field": "start",
      "label": "分页查询的起始序号",
      "type": "string"
    },
    {
      "field": "count",
      "label": "查询数据条数",
      "type": "string",
      "describe": "最大不能超过 100",
      "value": "1000"
    },
    {
      "field": "startDate",
      "label": "查询开始时间",
      "type": "string",
      "describe": "...",
      "value": "{{LAST_SYNC_TIME|datetime}}"
    },
    {
      "field": "endDate",
      "label": "查询结束时间",
      "type": "string",
      ...

这些字段定义了我们在调用接口时需要传递的参数。特别注意的是 startDate 和 endDate 参数，它们分别表示查询的开始和结束时间，并且支持动态时间变量 {{LAST_SYNC_TIME|datetime}} 和 {{CURRENT_TIME|datetime}}。

数据请求与清洗

在实际操作中，我们首先需要构建请求URL，并添加必要的参数。例如：

import requests
from datetime import datetime

# 定义基础URL和参数
base_url = 'https://api.yikuaibao.com/api/openapi/v1/departments'
params = {
    'start': '0',
    'count': '100',
    'startDate': datetime.now().strftime('%Y-%m-%dT%H:%M:%S'),
    'endDate': datetime.now().strftime('%Y-%m-%dT%H:%M:%S')
}

# 发起GET请求
response = requests.get(base_url, params=params)

# 检查响应状态
if response.status_code == 200:
    data = response.json()
else:
    raise Exception(f"Failed to fetch data: {response.status_code}")

上述代码示例展示了如何构建请求并获取响应数据。接下来，我们需要对返回的数据进行清洗，以确保其符合目标系统（如金蝶）的要求。

数据转换与写入

假设我们从易快报获取到的数据格式如下：

[
  {
    'id': '123',
    'name': '研发部',
    ...
  },
  ...
]

我们需要将这些数据转换为金蝶系统所需的格式。假设金蝶系统要求的数据格式为：

[
  {
    'departmentId': '123',
    'departmentName': '研发部',
    ...
  },
  ...
]

可以通过以下代码实现数据转换：

def transform_data(data):
    transformed_data = []

    for item in data:
        transformed_item = {
            'departmentId': item['id'],
            'departmentName': item['name'],
            # 添加其他必要字段转换
        }
        transformed_data.append(transformed_item)

    return transformed_data

# 转换数据
transformed_data = transform_data(data)

最后，将转换后的数据写入目标系统。具体写入方式取决于目标系统的API或数据库结构，这里不再赘述。

小结

通过以上步骤，我们完成了从易快报获取部门数据并进行加工处理的全过程。在实际项目中，还需根据具体业务需求进行更细致的数据校验和错误处理，以确保数据集成过程的稳定性和可靠性。 如何开发企业微信API接口

使用轻易云数据集成平台进行ETL转换并写入金蝶云星空API接口

在数据集成的生命周期中，ETL（Extract, Transform, Load）转换是关键步骤之一。在此过程中，我们将已经集成的源平台数据转换为目标平台所能接收的格式，并最终写入目标平台。本文将详细探讨如何通过轻易云数据集成平台，将源数据转换并写入金蝶云星空API接口。

配置元数据

首先，我们需要配置元数据，以确保数据能够正确映射到金蝶云星空API接口所需的字段格式。以下是配置元数据的示例：

{
  "api": "batchSave",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "FCreateOrgId",
      "label": "创建组织",
      "type": "string",
      "describe": "111",
      "value": "102",
      "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
      }
    },
    {
      "field": "FUseOrgId",
      "label": "使用组织",
      "type": "string",
      "describe": "111",
      "value": "102",
      "parser": {
        "name": "ConvertObjectParser",
        "params": "FNumber"
      }
    },
    {
      "field": "FName",
      "label": "名称",
      "type": "string",
      ...

数据请求与清洗

在ETL转换过程中，首先需要从源系统请求原始数据，并进行必要的清洗操作。清洗操作包括去除无效数据、标准化字段格式等。通过轻易云的数据处理能力，可以实现对不同来源的数据进行统一处理。

数据转换

接下来是关键的转换步骤。我们需要将清洗后的数据映射到目标平台所需的字段格式。以下是几个关键字段及其对应的解析器配置：

  1. 创建组织 (FCreateOrgId)

    • 类型：string
    • 值：102
    • 解析器：ConvertObjectParser，参数为 FNumber

  2. 使用组织 (FUseOrgId)

    • 类型：string
    • 值：102
    • 解析器：ConvertObjectParser，参数为 FNumber

  3. 名称 (FName)

    • 类型：string
    • 值： 
      [
{"Key": 1033, 
"Value":"{name}"
},
{"Key": 2052, 
"Value":"{name}"
}
]
    • 解析器：ConvertJson

  4. 编码 (FNumber)

    • 类型：string
    • 值：{code}

  5. 上级部门 (FParentID)

    • 类型：string
    • 值： 
      "_mongoQuery 12ec22fb-d3b3-3be1-b41e-447a338ffb92 findField=content.code where={\"id\":{\"$eq\":\"{parentId}\"}}"
    • 解析器：ConvertObjectParser，参数为 FNumber

这些配置确保了各个字段能够正确地从源系统映射到目标系统所需的格式。

数据写入

在完成数据转换后，最后一步是将处理好的数据通过API接口写入金蝶云星空。具体操作如下：

  1. API接口: batchSave
  2. HTTP方法: POST
  3. 请求体: 
    {
 ...
 // 上述配置中的 request 字段内容
 ...
 // otherRequest 字段内容
 ...
 {
   field: 'FormId',
   label: 'FormId',
   type: 'string',
   describe: '必须填写金蝶的表单ID如:PUR_PurchaseOrder',
   value: 'BD_Department'
 },
 {
   field: 'Operation',
   label: 'Operation',
   type: 'string',
   value: 'BatchSave'
 },
 {
   field: 'IsAutoSubmitAndAudit',
   label: 'IsAutoSubmitAndAudit',
   type: 'bool',
   value: true
 },
 {
   field: 'IsVerifyBaseDataField',
   label: 'IsVerifyBaseDataField',
   type: 'bool',
   describe: '是否验证所有的基础资料有效性，布尔类，默认false（非必录）',
   value: false
 }
}

通过上述配置和操作，我们可以确保源系统的数据经过ETL转换后，成功写入到金蝶云星空中。这一过程不仅提高了数据处理效率，也保证了数据的一致性和准确性。

总结来说，通过轻易云的数据集成平台，我们能够高效地完成从源系统到目标系统的数据ETL转换，并成功写入金蝶云星空API接口。这一过程涉及多个技术细节，包括元数据配置、解析器应用以及API调用等，每一步都至关重要。 如何开发金蝶云星空API接口

版权声明

该文章《利用轻易云实现ETL转换并写入金蝶云星空API》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

营销云系统与经销商ERP对接
更多系统对接方案