SQLServer与携程商旅的数据集成实战

使用轻易云实现源平台数据到携程商旅的数据转换与写入

2023-06-14 06:03:20
轻易云集成顾问-张妍琪

SQL Server数据集成到携程商旅案例分享

在企业人事信息管理中，实时有效的数据同步是关键所在。本文将详细解析一个具体的系统对接集成案例——从SQL Server到携程商旅的人事信息集成方案。此方案名为“泛微员工用户=>携程人事信息”，主要解决了企业员工数据在不同平台间的高效同步问题。

首先，数据来源于SQL Server，通过调用其API接口select获取所需员工用户数据，并进行批量处理。这一过程中，我们利用轻易云数据集成平台的可视化设计工具，自定义了符合业务需求和特定数据结构的数据转换逻辑，以确保源端SQL Server数据库和目标端携程商旅系统之间的数据格式差异被有效弥合。

针对大量数据快速写入到携程商旅的问题，我们使用其提供的API /corpservice/CorpCustService/SaveCorpCustInfoList 进行可靠传输，同时采取分页技术和限流策略来优化写入性能。在整个流程中，轻易云的平台优势得以充分体现，通过集中监控与告警系统，实现了对每个任务状态及性能指标的实时跟踪，从而保障任务执行过程中的稳定性与高效性。

此外，为保证数据质量并避免漏单问题，我们设置了一套完善的异常处理机制和错误重试策略，对可能出现的数据传输故障进行即时监测与修复操作。在这之上，还实现了详尽的数据日志记录功能，使得我们可以全面掌握每一次操作状况，有助于后续排查及优化流程。

通过这些举措，“泛微员工用户=>携程人事信息”方案成功地将SQL Server中的员工数据信息无缝且迅速地同步到了携程商旅系统，大大提升了企业内部的信息流转效率以及整体运营水平。接下来，我们将进一步探讨这一过程中具体技术细节及实现步骤。金蝶与WMS系统接口开发配置

调用源系统SQL Server接口select获取并加工数据

在轻易云数据集成平台的生命周期中，调用源系统SQL Server接口以select方式获取并加工数据是至关重要的一步。本文将深入探讨如何通过配置元数据实现这一过程，并分享相关的技术案例。

元数据配置解析

在进行数据集成时，首先需要理解和配置元数据。以下是一个具体的元数据配置示例：

{
  "api": "select",
  "effect": "QUERY",
  "method": "POST",
  "number": "lastname",
  "id": "id",
  "idCheck": true,
  "request": [
    {
      "field": "main_params",
      "label": "main_params",
      "type": "object",
      "describe": "111",
      "children": [
        {
          "field": "fetch",
          "label": "fetch",
          "type": "int",
          "value": "_function 100*1"
        },
        {
          "field": "offset",
          "label": "offset",
          "type": "int",
          "value": "_function 0*0"
        },
        {
          "field": "lastmoddate",
          "label": "lastmoddate",
          "type": "date",
          "value": "{{DAYS_AGO_1|date}}"
        }
      ]
    }
  ],
  "otherRequest": [
    {
      "field": "main_sql",
      ...

该配置主要包含以下几个关键部分：

API调用方式："api":"select" 表示使用SQL Server的SELECT语句进行查询。
请求方法："method":"POST" 指定了HTTP请求的方法为POST。
分页参数："fetch" 和 "offset" 用于控制分页查询，分别表示每次获取的数据量和偏移量。
时间参数："lastmoddate" 用于指定查询的时间范围，这里使用了一个动态参数 {{DAYS_AGO_1|date}}，表示从当前日期往前推一天。
SQL查询语句："main_sql" 包含了实际执行的SQL语句，用于从数据库中提取所需的数据。

SQL 查询语句详解

在 otherRequest 部分，我们定义了实际执行的SQL查询语句：

SELECT id, loginid, lastname, workcode, lastname, sex, departmentid, jobtitle, managerid, email, mobile, status, locationid, systemlanguage, belongto, jobcall, joblevel, jobactivitydesc, resourceimageid, textfield1, textfield2, telephone, mobilecall, fax, workroom, account, subcompanyid1 
FROM hrmresource 
WHERE subcompanyid1 IN ('5','11','7','10','12') 
AND workcode != '' 
AND lastmoddate >= :lastmoddate 
AND status != '5' 
AND workcode IS NOT NULL 
AND workcode NOT LIKE '%-1%' 
ORDER BY (SELECT NULL) OFFSET :offset ROWS FETCH NEXT :fetch ROWS ONLY

这段SQL语句实现了以下功能：

从 hrmresource 表中选择多个字段。
使用 subcompanyid1 字段过滤特定子公司ID的数据。
排除 workcode 为空或无效的数据。
根据 lastmoddate 参数筛选最近修改的数据。
使用分页参数 OFFSET :offset ROWS FETCH NEXT :fetch ROWS ONLY 实现分页查询。

数据请求与清洗

在数据请求阶段，通过上述配置和SQL查询语句，我们能够从源系统SQL Server中提取所需的数据。接下来，需要对提取的数据进行清洗和初步加工，以确保其质量和一致性。

例如，可以对某些字段进行格式化处理或转换，如将日期字段转换为标准格式，或者对字符串字段进行去重和修剪。这些操作可以通过轻易云平台提供的内置函数或自定义脚本来实现。

实际案例分享

假设我们需要从泛微员工用户系统中提取员工信息，并将其集成到携程的人事信息系统中。我们可以按照上述元数据配置进行操作：

配置元数据：按照示例中的方式配置API调用、请求方法、分页参数和SQL查询语句。
执行查询：通过轻易云平台发起POST请求，执行SQL查询语句，从SQL Server中提取符合条件的数据。
数据清洗：对提取的数据进行必要的清洗和转换，例如处理空值、格式化日期等。
写入目标系统：将清洗后的数据写入携程的人事信息系统，实现跨系统的数据集成。

通过这种方式，我们可以高效地完成不同系统间的数据集成任务，确保数据的一致性和准确性。用友与CRM系统接口开发配置

利用轻易云数据集成平台实现携程商旅API接口的数据转换与写入

在数据集成的生命周期中，将源平台的数据进行ETL（提取、转换、加载）转换，并将其转化为目标平台能够接收的格式是至关重要的一步。本文将详细探讨如何使用轻易云数据集成平台，将泛微员工用户数据转换并写入到携程商旅API接口。

1. 数据请求与清洗

在进行数据转换之前，首先需要从源平台泛微系统中提取员工用户数据，并进行必要的清洗和预处理。假设我们已经完成了这一阶段，接下来我们将重点放在数据转换和写入阶段。

2. 数据转换与写入

为了将泛微系统中的员工用户数据转换为携程商旅API能够接受的格式，我们需要按照携程API的元数据配置进行映射和转换。以下是具体步骤：

2.1 API接口元数据配置解析

根据提供的元数据配置，携程商旅API的目标接口为/corpservice/CorpCustService/SaveCorpCustInfoList，请求方法为POST。请求体包含一个主字段Sequence（外部单号），以及一个嵌套对象Authentication（人事更新实体）。

{
    "api": "/corpservice/CorpCustService/SaveCorpCustInfoList",
    "effect": "EXECUTE",
    "method": "POST",
    "idCheck": true,
    "request": [
        {
            "field": "Sequence",
            "label": "外部单号",
            "type": "string",
            "describe": "EmployeeID",
            "value": "{id}"
        },
        {
            "field": "Authentication",
            "label": "人事更新实体",
            "type": "object",
            "children": [
                {"field": "EmployeeID", "label": "员工编号", "type": "string", "value": "{workcode}"},
                {"field": "Name", "label": "姓名", "type": "string", "value": "{first_name}"},
                {"field": "NameENFirstName", "label": "", type: "", value: ""},
                {"field": "", label: "", type: "", value: ""},
                {"field": "", label: "", type: "", value: ""},
                {"field": "", label: "", type: "", value: ""},
                {"field":"Gender","label":"性别","type":"string","describe":"M:男,F:女","value":"_function case '{sex}' when '0' then 'M' when '1' then 'F' else '' end"},
                {"field":"Dept1","label":"部门1","type":"string","value":"_findCollection find departmentname from 20f89576-1ba2-37ba-a35c-1cea2241b53e where id={departmentid}"},
                {"field":"MobilePhone","label":"联系电话","type":"string","value":"{mobile}"},
                {"field":"Email","label":"邮箱","type":"string","value":"{email}"},
                {"field":"SuperiorEID","label":"上级领导ID","type":"string","value":"_findCollection find workcode from c0198816-9822-38f3-b995-fc700a9925e7 where id={managerid}"}
            ]
        }
    ]
}

2.2 数据映射与转换

根据上述元数据配置，我们需要对源平台的数据字段进行相应的映射和转换。以下是主要字段的映射规则：

Sequence：对应泛微系统中的EmployeeID
Authentication.EmployeeID：对应泛微系统中的workcode
Authentication.Name：对应泛微系统中的first_name
Authentication.Gender：通过函数将泛微系统中的性别代码（0或1）转换为携程API所需的格式（M或F）
Authentication.Dept1：通过查找集合，将部门ID映射为部门名称
Authentication.MobilePhone：对应泛微系统中的手机号
Authentication.Email：对应泛微系统中的邮箱
Authentication.SuperiorEID：通过查找集合，将上级领导ID映射为工号

2.3 数据写入

完成上述字段映射后，我们可以构建最终的请求体，并通过POST方法将其发送到携程商旅API接口。以下是示例请求体：

{
    "Sequence": "{id}",
    "Authentication":
    {
        "EmployeeID": "{workcode}",
        "Name": "{first_name}",
        // 英文名字段可以为空或根据需求填充
        // ...
        // 性别字段通过函数转换
        "_function case '{sex}' when '0' then 'M' when '1' then 'F' else '' end",
        // 部门名称通过集合查找映射
        "_findCollection find departmentname from 20f89576-1ba2-37ba-a35c-1cea2241b53e where id={departmentid}",
        // 联系电话、邮箱等直接映射
        "{mobile}",
        "{email}",
        // 上级领导工号通过集合查找映射
        "_findCollection find workcode from c0198816-9822-38f3-b995-fc700a9925e7 where id={managerid}"
    }
}

使用轻易云数据集成平台，我们可以方便地配置这些字段映射和转换规则，并自动生成符合目标API要求的数据格式，从而实现无缝的数据对接。

总结

本文详细介绍了如何利用轻易云数据集成平台，将源平台泛微员工用户的数据进行ETL转换，并最终写入到携程商旅API接口。通过合理配置元数据和字段映射，可以高效地实现不同系统间的数据无缝对接，提高业务透明度和效率。金蝶与SCM系统接口开发配置

版权声明

该文章《SQLServer与携程商旅的数据集成实战》为原创内容，版权归 广东轻亿云软件科技有限公司 所有。未经本公司书面授权，严禁转载、引用、复制或建立镜像等行为。若需转载或引用本文内容，请联系本公司获取授权，并在显著位置注明作者姓名、文章出处（包括原文链接）等信息。