从金蝶云到MySQL：利用轻易云实现自动化数据集成

  • 轻易云集成顾问-谢楷斌

CRM-金蝶供应商同步到MySQL：技术实例剖析

在本案例中，我们将深入探讨如何实现将金蝶云星空的供应商数据无缝集成到MySQL数据库。具体操作方案为“CRM-金蝶供应商同步-修改”。为了确保数据流动的高效性和稳定性，本次对接采用轻易云数据集成平台，通过其强大的可视化工具、实时监控与告警系统，保障了整个流程的透明可控。

首先，在实施过程中需要考虑以下几个关键技术要点：

  1. 批量数据快速写入能力：通过配置高吞吐量的数据写入机制，保证大量供应商数据可以快速、高效地从金蝶云星空接口（executeBillQuery）抓取并导入至MySQL数据库。
  2. 定时任务调度与可靠性：利用定时任务管理功能，设定可靠的数据抓取频率，从而确保最新且准确的信息被持续更新到系统内。
  3. 分页处理与限流控制：由于API请求通常存在分页和限流问题，因此需要设计合理的分段获取逻辑，以避免超出接口调用限制，同时提高请求效率。
  4. 自定义数据转换逻辑：不同系统间的数据格式差异巨大，为了适应业务需求，需要对获取的数据进行自定义转换，如字段映射、类型匹配等操作，并最终存储于MySQL表格中。

在实际操作中，我们还会重点关注以下几点：

  • 如何调用executeBillQuery API以安全、高效地获取所需供应商信息。
  • 数据质量监控及异常检测机制，确保任何不一致或错误能够被及时发现并处理。
  • 对接过程中的日志记录和状态监控，以便实时掌握每一次集成运行情况并作出相应应对措施。

下面，将列举更多关于该项目实施中的详细步骤及注意事项，共同探讨如何实现这一复杂但极具价值的数据集成工作。 用友BIP接口开发配置

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口获取数据是至关重要的一步。本文将深入探讨如何通过轻易云数据集成平台调用金蝶云星空接口executeBillQuery来获取供应商数据，并对其进行初步加工。

接口调用配置

首先，我们需要了解如何配置和调用金蝶云星空的executeBillQuery接口。以下是元数据配置的关键部分：

{
  "api": "executeBillQuery",
  "effect": "QUERY",
  "method": "POST",
  "number": "FNumber",
  "id": "FSupplierId",
  "name": "FNumber",
  ...
}

该配置表明我们将使用POST方法调用executeBillQuery接口，主要用于查询（QUERY）操作。关键字段包括供应商编号（FNumber）和供应商ID（FSupplierId）。

请求参数设置

在请求参数中，我们需要指定查询条件、分页参数以及需要返回的字段。以下是一个示例请求配置：

{
  "request": [
    {"field":"FSupplierId","label":"FSupplierId","type":"string","describe":"FSupplierId","value":"FSupplierId"},
    {"field":"FNumber","label":"编码","type":"string","describe":"编码","value":"FNumber"},
    {"field":"FName","label":"名称","type":"string","describe":"名称","value":"FName"},
    ...
  ],
  "otherRequest": [
    {"field":"Limit","label":"最大行数","type":"string","describe":"金蝶的查询分页参数","value":"1000"},
    {"field":"StartRow","label":"开始行索引","type":"string","describe":"金蝶的查询分页参数"},
    {"field":"TopRowCount","label":"返回总行数","type":"int","describe":"金蝶的查询分页参数"},
    {"field":"FilterString","label":"过滤条件","type":"string","describe":"示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=","value":"FUseOrgId.fnumber='T00' and FModifyDate>='{{LAST_SYNC_TIME|datetime}}'"},
    {"field":"FieldKeys","label":"需查询的字段key集合","type":"array","describe":"金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber", "parser":{"name": "ArrayToString", "params": ","}},
    {"field": "FormId", "label": "业务对象表单Id", "type": "string", "describe": "必须填写金蝶的表单ID如:PUR_PurchaseOrder", "value": "BD_Supplier"}
  ]
}

在这个配置中，FilterString用于定义具体的过滤条件，例如根据组织编号和修改日期来筛选数据。FieldKeys则指定了需要返回的字段集合。

数据清洗与转换

获取到原始数据后，需要对其进行清洗和转换，以便后续处理和存储。例如，将日期格式统一、去除冗余字段等。以下是一个简单的数据清洗示例：

def clean_data(raw_data):
    cleaned_data = []
    for record in raw_data:
        cleaned_record = {
            'SupplierID': record['FSupplierId'],
            'SupplierNumber': record['FNumber'],
            'SupplierName': record['FName'],
            'CreateOrg': record['FCreateOrgId_FNumber'],
            'UseOrg': record['FUseOrgId_FNumber'],
            # 转换日期格式
            'FreezeDate': convert_date_format(record['FFreezeDate']),
            # 去除冗余字段
        }
        cleaned_data.append(cleaned_record)
    return cleaned_data

def convert_date_format(date_str):
    # 假设原始日期格式为"YYYY-MM-DD HH:MM:SS"，目标格式为"YYYYMMDD"
    return date_str.replace("-", "").split(" ")[0]

数据写入

经过清洗和转换的数据可以直接写入目标系统或存储库。在轻易云平台上，可以通过配置相应的数据写入任务来实现这一过程。

{
  "targetSystem": {
    ...
  },
  ...
}

在实际应用中，根据业务需求，可以进一步优化数据处理流程，例如增加错误处理机制、日志记录等。

通过以上步骤，我们实现了从金蝶云星空获取供应商数据并进行初步加工，为后续的数据处理和分析奠定了基础。这一过程充分利用了轻易云平台的数据集成功能，实现了高效、透明的数据管理。 钉钉与WMS系统接口开发配置

使用轻易云数据集成平台进行ETL转换并写入MySQLAPI接口

在数据集成的生命周期中，ETL（提取、转换、加载）是关键步骤之一。本文将详细介绍如何使用轻易云数据集成平台将源平台的数据转换为目标平台MySQLAPI接口所能接收的格式，并最终写入目标平台。

元数据配置解析

在本案例中，我们需要将CRM系统中的供应商信息同步到金蝶系统，并通过MySQLAPI接口写入目标数据库。元数据配置如下：

{
  "api": "execute",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "main_params",
      "type": "object",
      "describe": "111",
      "value": "1",
      "children": [
        {"field": "data_id", "label": "主键", "type": "string", "value": "{FSupplierId}"},
        {"field": "creating_org", "label": "创建组织", "type": "string", "value": "{FCreateOrgId_FNumber}"},
        {"field": "union_code", "label": "编码", "type": "string", "value": "{FNumber}"},
        {"field": ...}
      ]
    }
  ],
  ...
}

数据转换与映射

在数据转换过程中，需要将源平台的数据字段映射到目标平台的字段。元数据配置中的request部分定义了这些字段的映射关系。例如：

  • data_id 对应 {FSupplierId}
  • creating_org 对应 {FCreateOrgId_FNumber}
  • union_code 对应 {FNumber}

这些字段的映射关系确保了源数据能够准确地转换为目标平台所需的格式。

SQL语句生成

为了将转换后的数据写入MySQL数据库，我们需要生成相应的SQL语句。元数据配置中的otherRequest部分定义了具体的SQL更新语句：

update wk_wodtop_supplier 
set creating_org=:creating_org,
union_code=:union_code,
using_org=:using_org,
name=:name,
registration_code=:registration_code,
abbreviation=:abbreviation,
address=:address,
country=:country,
region=:region,
communication_address=:communication_address,
postal_code=:postal_code,
language=:language,
product_line=:product_line,
company_website=:company_website,
registration=:registration,
industry=:industry,
legal_representative=:legal_representative,
registered_capital=:registered_capital,
regist_number=:regist_number,
product_operat_license=:product_operat_license,
uni_social_cre_code=:uni_social_cre_code,
regist_address=:regist_address,
management=:management,
responsible_det=:responsible_det,
responsible_person=:responsible_person,
supplier_classify=:supplier_classify,
supply_category=:supply_category,
supplier_level=:supplier_level,
supplier_group=:supplier_group,
company_category=:company_category,
company_nature=:company_nature,
company_scale=:company_scale,
corresp_org=:corresp_org,
parent_supplier=:parent_supplier,
corresp_group_supplier=:corresp_group_supplier, 
...
where data_id = :data_id

这段SQL语句通过占位符（如:creating_org）来引用前面映射过来的字段值，从而实现数据的更新操作。

API调用与执行

在完成数据转换和SQL语句生成后，下一步是通过API调用将这些数据写入MySQL数据库。根据元数据配置，我们使用HTTP POST方法来执行这个操作：

{
  "api":"execute",
  ...
}

该API调用会携带所有必要的参数和生成的SQL语句，通过HTTP请求发送到目标MySQL服务器，从而实现数据的写入操作。

特殊处理逻辑

在某些情况下，可能需要对特定字段进行特殊处理。例如，在本案例中，vmi_business字段需要根据其布尔值进行转换：

{"field":"vmi_business","label":"VMI业务","type":"string","value":"_function CASE '{FVmiBusiness}' WHEN true THEN '1' WHEN false THEN '0' ELSE '0' END"}

这种特殊处理逻辑可以通过自定义函数或条件表达式来实现，以确保所有字段都能正确地被转换和写入。

总结

通过上述步骤，我们成功地使用轻易云数据集成平台完成了从CRM系统到金蝶系统的数据同步，并通过MySQLAPI接口将转换后的数据写入目标数据库。这一过程不仅确保了数据的一致性和完整性，还极大地提高了业务处理效率。 用友与CRM系统接口开发配置

版权声明

该文章《技术实例：如何将金蝶云供应商数据同步到MySQL》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

金蝶云星辰与吉客云对接
更多系统对接方案