ETL转换：将金蝶个人借支单数据导入轻易云平台

  • 轻易云集成顾问-彭萍

案例分享：金蝶-个人借支单-->轻易云

在本案例中，我们将详细解析如何通过轻易云数据集成平台实现与金蝶云星空的数据对接，尤其针对个人借支单的数据传输。基于executeBillQuery API接口调用，实现了从金蝶云星空获取数据到批量写入轻易云集成平台的全链路配置及优化。

确保数据不漏单

为了确保从金蝶云星空提取的每一笔个人借支单都能完整无遗漏地导入到轻易云集成平台，我们引入了分步分页抓取机制。在此过程中，执行了周期性检查和实时监控，使得整个流程透明且高效。这不仅严格保证了数据的一致性，还大幅减少了潜在错误发生的几率。

大量数据快速写入

大量数据快速、稳定地写入是系统对接中的关键环节之一。我们采用了多线程并发处理方式，将从executeBillQuery接口获取的数据拆分为小块，再进行批量操作，提高了整体写入速度，并降低网络传输压力。另外，通过设置合理的超时时间和重试机制，大幅提高操作成功率。

处理分页及限流问题

考虑到金蝶云星空接口存在的分页限制和API调用频次限制，在实际操作中，我们设计了一套智能调度策略来控制API调用频次，并使用断点续传技术避免因突发异常导致的数据丢失。同时，为应对可能出现的大量请求响应时间过长的问题，引入缓存机制以缓解服务器负载。

数据格式差异化处理

金蝶云星空返回的数据结构通常与目标存储系统——轻易云集成平台所需格式不一致。因此，需要针对此类差异进行定制化映射。在这个过程中，利用灵活可扩展的映射规则配置，可以方便地完成字段名调整、类型转换等工作，以适配不同场景需求。

随着这些步骤顺利实施，我们不仅实现了两个系统间更快、更准、更稳的数据交互，还奠定了一套适用于其他业务场景或类似需求的平台体系结构。接下来，将进一步深入剖析具体实施细节及技术要点…… 用友与外部系统接口集成开发

调用金蝶云星空接口executeBillQuery获取并加工数据

在数据集成的生命周期中，调用源系统接口是至关重要的一步。本文将详细探讨如何通过轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取和加工数据。

接口配置与元数据解析

首先，我们需要理解元数据配置中的各个字段及其作用。以下是元数据配置的详细解析：

  • api: executeBillQuery - 表示调用的API名称。
  • effect: QUERY - 说明此操作是查询类型。
  • method: POST - 指定HTTP请求方法为POST。
  • number: FBillNo - 单据编号字段。
  • id: FID - 实体主键字段。
  • idCheck: true - 是否进行ID检查。

请求参数（request）部分定义了需要从金蝶云星空获取的数据字段：

[
    {"field":"FID","label":"实体主键","type":"string","value":"FID"},
    {"field":"FBillNo","label":"单据编号","type":"string","value":"FBillNo"},
    {"field":"FDocumentStatus","label":"单据状态","type":"string","value":"FDocumentStatus"},
    {"field":"FBankAcctName","label":"账户名称","type":"string","value":"FBankAcctName"},
    {"field":"FBankName","label":"开户银行","type":"string","value":"FBankName"},
    {"field":"FBankAccount","label":"银行账号","type":"string","value":"FBankAccount"},
    {"field":"FTOCONTACTUNITTYPE","label":"往来单位类型","type":"string","value":"FTOCONTACTUNITTYPE"},
    {"field":"FTOCONTACTUNIT","label":"往来单位","type":"string","value":"FTOCONTACTUNIT"},
    {"field":"FStaffID_FNumber","label":"申请人","type":"string","value":"FStaffID.FNumber"},
    {"field":"FBankCnaps","label":"联行号","type":"string","value":"FBankCnaps"},
    {"field":"FOrgID_FNumber","label":"申请组织","type": "string", "value": "FOrgID.FNumber"},
    {"field": "FEntity_FEntryID", "label": "明细实体主键", "type": "string", "value": "FEntity_FEntryID"},
    {"field": "FBillTypeID_FNumber", "label": "单据类型", "type": "string", "value": "FBillTypeID.FNumber"}
]

其他请求参数（otherRequest）部分定义了分页、过滤等高级查询参数：

[
    {"field": "Limit", "label": "最大行数", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_PAGE_SIZE}"},
    {"field": "StartRow", "label": "开始行索引", "type": "string", "describe": "金蝶的查询分页参数", "value": "{PAGINATION_START_ROW}"},
    {"field": "TopRowCount", "label": "返回总行数", "type": int,  describe: 金蝶的查询分页参数},
    {"field": FilterString, label: 过滤条件, type: string, describe: 示例写法 FSupplierId.FNumber = 'VEN00010' and FApproveDate>=, value: FModifyDate >='{{LAST_SYNC_TIME|dateTime}}' and FOrgID.FNumber in ('04','0402')},
    { field: FieldKeys, label: 需查询的字段key集合, type: array, describe: 金蝶分录主键ID格式：FPOOrderEntry_FEntryId,其它格式 FPurchaseOrgId.FNumber, parser:{ name:ArrayToString, params:,}},
    { field: FormId, label: 业务对象表单Id, type:string, describe:"必须填写金蝶的表单ID如:PUR_PurchaseOrder" value:"ER_ExpenseRequest"}
]

调用接口与数据处理

在轻易云平台上配置上述元数据后，我们可以通过以下步骤实现对金蝶云星空接口的调用和数据处理：

  1. 构建请求体： 根据元数据配置，构建POST请求体，包括必要的字段和分页参数。例如：

    {
   FormId: 'ER_ExpenseRequest',
   FieldKeys: 'FID, FBillNo, FDocumentStatus, FBankAcctName',
   FilterString: 'FModifyDate >=\'2023-01-01\' and FOrgID.FNumber in (\'04\', \'0402\')',
   Limit: '100',
   StartRow: '0'
}

  2. 发送请求： 使用HTTP客户端（如axios或fetch）发送POST请求到金蝶云星空API端点，并附上构建好的请求体。

  3. 处理响应： 接收响应后，对返回的数据进行解析和清洗。确保每个字段都符合预期格式，并处理可能出现的数据异常情况。

  4. 转换与写入： 将清洗后的数据转换为目标系统所需的格式，并写入目标数据库或系统中。这一步通常涉及到映射关系的定义和数据格式转换。

实际案例

假设我们需要获取所有状态为“已审核”的个人借支单，并将其导入到另一个系统中。我们可以设置如下过滤条件：

{
   FilterString : 'FDocumentStatus = \'C\' and FModifyDate >=\'2023-01-01\''
}

然后，通过轻易云平台自动化执行上述步骤，最终实现从金蝶云星空到目标系统的数据无缝对接。

通过以上步骤，我们成功地完成了调用源系统接口并获取和加工数据。这不仅提高了业务透明度，还极大地提升了工作效率。 钉钉与CRM系统接口开发配置

金蝶个人借支单数据集成到轻易云平台的ETL转换与写入

在数据集成过程中，将源平台的数据转换为目标平台所能接收的格式是关键步骤。本文将详细探讨如何通过轻易云数据集成平台，将金蝶个人借支单的数据进行ETL（Extract, Transform, Load）转换，并最终写入轻易云集成平台。

数据提取与清洗

首先，从金蝶系统中提取个人借支单的数据。假设我们已经完成了数据请求与清洗阶段，获得了结构化的原始数据。此时，我们需要对这些数据进行进一步处理，以符合轻易云集成平台API接口的要求。

数据转换

为了使数据能够被轻易云平台成功接收，我们需要对其进行格式转换。这包括字段映射、数据类型转换以及必要的数据校验。

以下是一个示例数据：

{
  "borrower": "张三",
  "amount": 5000,
  "date": "2023-10-01",
  "reason": "出差预支"
}

根据元数据配置，我们需要确保该数据符合API接口的格式要求：

{
  "api": "写入空操作",
  "effect": "EXECUTE",
  "method": "POST",
  "idCheck": true
}

我们需要将上述示例数据转换为目标格式，例如：

{
  "operation": {
    "type": "EXECUTE",
    "data": {
      "borrowerName": "张三",
      "loanAmount": 5000,
      "loanDate": "2023-10-01",
      "loanReason": "出差预支"
    }
  }
}

在这个过程中，需要注意以下几点：

  1. 字段映射：将borrower映射为borrowerName，amount映射为loanAmount，等等。
  2. 数据类型转换：确保所有字段的数据类型符合目标平台的要求，例如日期格式、数值类型等。
  3. 校验规则：根据元数据配置中的idCheck: true，我们需要确保每条记录具有唯一标识符，以避免重复插入或更新错误。

数据写入

完成数据转换后，我们使用轻易云提供的API接口将处理后的数据写入目标平台。以下是一个Python示例代码，展示如何通过HTTP POST请求将数据发送到轻易云API接口：

import requests
import json

url = 'https://api.qingyiyun.com/execute'
headers = {'Content-Type': 'application/json'}
data = {
    'operation': {
        'type': 'EXECUTE',
        'data': {
            'borrowerName': '张三',
            'loanAmount': 5000,
            'loanDate': '2023-10-01',
            'loanReason': '出差预支'
        }
    }
}

response = requests.post(url, headers=headers, data=json.dumps(data))

if response.status_code == 200:
    print('Data successfully written to QingyiYun platform')
else:
    print(f'Failed to write data: {response.status_code}, {response.text}')

在实际应用中，可以通过批量处理和异步请求来提升效率和稳定性。

实时监控与反馈

在整个ETL过程中，实时监控和反馈机制非常重要。轻易云集成平台提供了丰富的监控工具，可以实时查看每个环节的数据流动和处理状态。一旦出现异常，可以迅速定位并解决问题，确保数据集成过程的顺利进行。

综上所述，通过合理配置元数据并遵循ETL流程，可以高效地将金蝶个人借支单的数据无缝集成到轻易云平台，实现不同系统间的数据对接和业务协同。 用友与CRM系统接口开发配置

版权声明

该文章《ETL转换：将金蝶个人借支单数据导入轻易云平台》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。 未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。 若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。

数据集成平台集成生命周期
更多系统对接方案