金蝶云数据集成至轻易云平台的挑战与解决方案

ETL转换与数据写入：轻易云数据集成平台实践解析

2023-05-26 05:59:35
轻易云集成顾问-姚缘

金蝶云星空数据集成至轻易云平台：案例分享

在实际项目中，将金蝶云星空的数据高效、精准地集成到轻易云数据集成平台，是一个具有挑战性的任务。本文将重点介绍如何利用executeBillQuery API接口从金蝶云星空获取客户信息，并通过轻易云的写入API，实现对这些数据的可靠存储与管理。

方案概述：查询金蝶客户--ok

为了确保系统对接过程中的各类需求和技术细节得到充分满足，本次案例采用了以下方法和技术：

定时抓取机制：我们设置了一套定时任务，通过调用executeBillQuery接口，准点获取最新的客户信息。这不仅确保了数据的新鲜度，也实现了业务流程中的自动化处理。
批量数据写入：针对从金蝶云获取的大量客户信息，我们通过轻易云提供的高吞吐量写入能力，快速而稳定地将这些数据批量导入目标数据库，使得整体效率大幅提升。
分页与限流策略：在执行大规模数据查询时，为避免因单次请求数量过多导致系统崩溃或性能下降，我们引入了分页和限流策略，对每一次API调用进行适当限制，保障整个操作过程顺利进行。
自定义转换逻辑：数据结构差异是跨平台集成常见的问题。为此，我们制定了一套自定义的数据转换逻辑，以适应不同业务规则和字段要求，从而确保最终存储的数据符合预期格式及应用场景需求。
实时监控与异常处理：利用轻易云的平台特性，我们能够实时监控每个环节的数据流动情况。一旦发现异常，如网络断连或请求失败，会立即触发重试机制并记录详细日志，方便问题排查及修复工作。

这种多层面的技术设计，不仅提高了系统整体的可靠性，还使得运维管理变得更加便捷。此外，借助统一视图和控制台，可以全面掌握API资产使用情况，从而实现资源优化配置。这些关键措施共同作用，使本次“查询金蝶客户--ok”方案成为一项成功且可复制的数据集成实践。打通钉钉数据接口

调用源系统金蝶云星空接口executeBillQuery获取并加工数据

在数据集成生命周期的第一步中，调用源系统接口获取数据是至关重要的一环。本文将详细介绍如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取客户信息，并对数据进行初步加工。

接口配置

首先，我们需要配置调用金蝶云星空接口的元数据。以下是具体的元数据配置：

{
  "api": "executeBillQuery",
  "method": "POST",
  "number": "FNumber",
  "id": "FCUSTID",
  "pagination": {
    "pageSize": 100
  },
  "request": [
    {"field":"FCUSTID","label":"FCUSTID","type":"string","value":"FCUSTID"},
    {"field":"FNumber","label":"编码","type":"string","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","value":"FName"},
    {"field":"FCreateOrgId_FNumber","label":"创建组织","type":"string","value":"FCreateOrgId.FNumber"},
    {"field":"FUseOrgId_FNumber","label":"使用组织","type":"string","value":"FUseOrgId.FNumber"},
    {"field":"FDescription","label":"描述","type":"string","value":"FDescription"},
    {"field":"FIsTrade","label":"是否交易客户","type":"string","value":"FIsTrade"},
    {"field":"FCustTypeId_FNumber","label":"客户类别","type":"string","value":"FCustTypeId.FNumber"},
    {"field":"FGroup_FNumber","label":"客户分组","type":"string","value":"FGroup.FNumber"},
    {"field":"FSALDEPTID_FNumber","label":"销售部门","type":"string","value":"FSALDEPTID.FNumber"},
    {"field":"FSELLER_FNumber","label":"销售员","type":"string","value":"FSELLER.FNumber"},
    {"field":"FTRADINGCURRID_FNumber","label":"币别","type": "string", "value": "FTRADINGCURRID.FNumber"},
    {"field": "FGroup_FName", "label": "客户分组名称", "type": "string", "value": "FGroup.FName"},
    {"field": "FEMail", "label": "电子邮件", "type": "string", "value": "FEMail"},
    {"field": "FTContact", "label": "联系人", "type": "string", "value": "FTContact"},
    {"field": "FMOBILE", "label": "手机号码", "type": "string", "value": "FMOBILE"},
    {"field": "FSELLER_FName", "label": “销售员名称”, “type”: “string”, “value”: “FSELLER.FName”},
    {"field": “FDocumentStatus”, “label”: “状态”, “type”: “string”, “value”: “FDocumentStatus”}
  ],
  “otherRequest”: [
    {“field”: “Limit”, “label”: “最大行数”, “type”: “string”, “describe”: “金蝶的查询分页参数”, “value”: "{PAGINATION_PAGE_SIZE}”},
    {“field”: “StartRow”, “label”: “开始行索引”, “type”: ” string ”, ”describe ”: ”金蝶的查询分页参数 ”, ” value ”: "{PAGINATION_START_ROW}”},
    {“ field ”: ”TopRowCount ”, ” label ”: ”返回总行数 ”, ” type ”: ” int ”, describe : 金蝶的查询分页参数 },
    {“ field ": FilterString ", label ": 过滤条件 ", type ": string ", describe ": 示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=", value ": FModifyDate>='{{LAST_SYNC_TIME|dateTime}}'"}],
   {“ field ": FieldKeys ", label ": 查询字段 key 集合 ", type ": array ", describe ": 金蝶分录主键 ID 格式： FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber ", parser : { name : ArrayToString , params : ","}},
   {“ field ": FormId ", label ": 表单 ID ", type ": string ", describe : 必须填写金蝶表单 ID 如： PUR_PurchaseOrder , value : BD_Customer }
 ]
}

数据请求与清洗

在配置好元数据后，接下来就是通过API接口请求数据。我们使用POST方法调用executeBillQuery接口，并传递相应的请求参数。这些参数包括需要查询的字段、分页信息以及过滤条件等。

{
  // 请求示例
  method: 'POST',
  url: 'https://api.kingdee.com/executeBillQuery',
  headers: {
      'Content-Type': 'application/json'
  },
  data: {
      FormId: 'BD_Customer',
      FieldKeys: 'FCUSTID,FNumber,FName,FCreateOrgId.FNumber,FUseOrgId.F.Number,FDescription,FIsTrade,FCustTypeId.F.Number,FGroup.F.Number,FSALDEPTID.F.Number,FSELLER.F.Number,FTRADINGCURRID.F.Number,FGroup.F.Name,FEMail,FTContact,FMOBILE,FSELLER.F.Name,FDocumentStatus',
      FilterString: ` FModifyDate>='${LAST_SYNC_TIME}'`,
      Limit: PAGINATION_PAGE_SIZE,
      StartRow: PAGINATION_START_ROW
   }
}

数据转换与写入

在成功获取到原始数据后，需要对其进行初步加工和转换，以便后续处理和存储。比如，将复杂嵌套结构的数据展平，或者根据业务需求进行字段重命名等。

const processData = (data) => {
   return data.map(item => ({
       customer_id: item.FCUSTID,
       code: item.FNumber,
       name: item.FName,
       create_org_id: item['FCreateOrgId.F.Number'],
       use_org_id: item['FUseOrgId.F.Number'],
       description: item.FDescription,
       is_trade_customer: item.FIsTrade === 'true',
       customer_type_id: item['FCustTypeId.F.Number'],
       customer_group_id: item['FGROUP_FNUMBER'],
       sales_department_id: item['FSALDEPTID_FNUMBER'],
       seller_id:item['FSeller_FNUMBER'],
       currency:item['FTTradingCurrid_FNUMBER'],
       group_name:item['FGROUP_FNAME'],
       email:item['FE_MAIL'],
       contact:item['FT_CONTACT'],
       mobile:item['FMOBILE'],
       seller_name:item['FSeller_FNAME'],
       status:item['FDOCUMENT_STATUS']
   }));
};

实时监控与调试

为了确保数据集成过程中的每一步都能顺利进行，实时监控和调试是必不可少的。通过轻易云平台提供的可视化界面，可以方便地查看每个环节的数据流动和处理状态，从而快速定位和解决问题。

以上就是通过轻易云平台调用金蝶云星空接口获取并加工客户信息的详细步骤。在实际操作中，根据具体业务需求调整相应配置，以达到最佳效果。用友与MES系统接口开发配置

轻易云数据集成平台ETL转换与写入目标平台的技术案例

在数据集成生命周期的第二步，我们需要将已经集成的源平台数据进行ETL转换，使其符合目标平台API接口所能接收的格式，并最终写入目标平台。本文将深入探讨这一过程，特别是如何通过轻易云数据集成平台实现这一目标。

数据请求与清洗

在数据请求与清洗阶段，我们从金蝶系统中提取客户数据。假设我们已经完成了这一阶段，获得了一个包含客户信息的数据集。接下来，我们需要对这些数据进行ETL（Extract, Transform, Load）处理。

数据转换

首先，我们需要将提取到的数据转换为目标平台能够接收的格式。假设我们从金蝶系统中提取到的数据格式如下：

[
    {
        "customer_id": "C001",
        "customer_name": "客户A",
        "contact_number": "1234567890",
        "email": "customerA@example.com"
    },
    {
        "customer_id": "C002",
        "customer_name": "客户B",
        "contact_number": "0987654321",
        "email": "customerB@example.com"
    }
]

我们的目标是将这些数据转换为轻易云集成平台API接口所能接收的格式。根据元数据配置，API接口要求如下：

{
    "api": "写入空操作",
    "effect": "EXECUTE",
    "method": "POST",
    "idCheck": true
}

为了符合这个API接口的要求，我们需要对原始数据进行以下转换：

字段映射：确保源数据中的字段名与目标API所需字段名一致。
数据类型转换：确保每个字段的数据类型符合目标API的要求。
格式调整：根据目标API的需求调整数据结构。

假设目标API接口期望的数据格式如下：

{
    "operation": "insert",
    "data": [
        {
            "id": "C001",
            "name": "客户A",
            "phone": "+861234567890",
            "email_address": "customerA@example.com"
        },
        {
            "id": "C002",
            "name": "客户B",
            "phone": "+860987654321",
            "email_address": "customerB@example.com"
        }
    ]
}

我们可以编写一个简单的数据转换脚本来实现这一过程：

def transform_data(source_data):
    transformed_data = {
        'operation': 'insert',
        'data': []
    }

    for record in source_data:
        transformed_record = {
            'id': record['customer_id'],
            'name': record['customer_name'],
            'phone': '+86' + record['contact_number'],
            'email_address': record['email']
        }
        transformed_data['data'].append(transformed_record)

    return transformed_data

source_data = [
    {
        'customer_id': 'C001',
        'customer_name': '客户A',
        'contact_number': '1234567890',
        'email': 'customerA@example.com'
    },
    {
        'customer_id': 'C002',
        'customer_name': '客户B',
        'contact_number': '0987654321',
        'email': 'customerB@example.com'
    }
]

transformed_data = transform_data(source_data)
print(transformed_data)

数据写入

完成数据转换后，我们使用轻易云集成平台提供的API接口将数据写入目标平台。根据元数据配置，使用POST方法进行写入操作，并且需要检查ID是否存在。

以下是一个示例HTTP请求，用于将转换后的数据发送到轻易云集成平台：

import requests
import json

url = "<轻易云集成平台API地址>"
headers = {'Content-Type': 'application/json'}
payload = json.dumps(transformed_data)

response = requests.post(url, headers=headers, data=payload)

if response.status_code == 200:
    print("Data successfully written to the target platform.")
else:
    print(f"Failed to write data. Status code: {response.status_code}")

在实际应用中，需要根据具体情况调整URL和其他参数。

实践总结

通过上述步骤，我们成功地将从金蝶系统提取的客户数据经过ETL处理后，转化为符合轻易云集成平台API接口要求的格式，并最终成功写入目标平台。这一过程展示了如何利用轻易云数据集成平台高效地进行异构系统间的数据无缝对接，提高业务透明度和效率。数据集成平台API接口配置

版权声明

该文章《金蝶云数据集成至轻易云平台的挑战与解决方案》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

ETL转换与数据写入：轻易云数据集成平台实践解析

金蝶云星空数据集成至轻易云平台：案例分享

方案概述：查询金蝶客户--ok

调用源系统金蝶云星空接口executeBillQuery获取并加工数据

接口配置

数据请求与清洗

数据转换与写入

实时监控与调试

轻易云数据集成平台ETL转换与写入目标平台的技术案例

数据请求与清洗

数据转换

数据写入

实践总结

版权声明

轻易云AI数据分析

更多系统对接方案