报告|新能源汽车智能制造可行性研究报告xxxxxxxx系统有限公司（以下简称“xxxx”）。公司经营范围包括：新能源汽车动力系统开发、生产、销售及租赁；车用动力电池的回收、拆解及二次开发、生产、销售及租赁；电池系统开发生产、销售及租赁；新能源领域相关技术开发、技术转让、技术咨询与服务等。 随着公司近几年业务的不断发展和壮大，公司的销售额实现了显著的提升，同时伴随着的是人员、产品、供应商、生产资料的种类和数量的急速增长，而原有主要依赖人工的管理方式依然在延续，因此管理效率无法提升，信息滞后带来的部门协作困难等问题逐步显现。所以在新的形势下，迫切需要通过企业整体信息化和智能化来支撑企业管理升级战略，实现业务、应用、数据和技术架构的上下传承，确保战略、业务和IT的一致性和领先性，最终实现管理升级并提升企业在同行业中的竞争力。 在整个企业信息化建设及规划的过程当中，xxxx的信息化建设主要负责团队了解到企业在做全业务、全流程的信息化过程当中通常会遇到以下几个问题： •系统不适应 信息化系统与实际业务脱节，信息化流程与业务流程不匹配，导致系统部分功能无法使用甚至整体闲置； •系统互通难 信息化系统之间由于技术栈不统一，导致在业务流程需要互联互通时，系统间的流程协同无法顺利进行，且容易造成很高的二次开发费用； •数据不统一 信息化系统间由于设计方案不统一，规范不一致，导致数据没有统一的建立标准，从而造成后续需要全企业系统数据汇总时，数据无法归集，统计口径不一致和数据缺失等问题 同时，在快速发展的过程中，为了更准确的知晓企业的实际运行情况，xxxx管理团队会做大量的数据分析统计工作，希望通过数据来反馈真实的运行情况，为行动结果评估提供证据，为发展方向决策提供依据。 然而，目前xxxx管理团队在做企业数据统计分析工作时，依然使用Excel作为数据整理、统计和分析的工具，用PPT或文档作为报表展示或分析结果汇报工作的工具。该类工具的使用也会带来一些问题： •使用的数据来源很难进行管理和口径统一 •数据统计效率低，耗时耗力 •同步过程中会由于修改或更新产生多个版本 •信息同步慢，数据更新不及时 •发现问题时原始数据无法追溯 •汇报样式及逻辑不统一，内容很难理解 因此，为了更好的开展企业信息化建设工作，xxxx研究了企业数据服务平台的可行性与收益，选择我方提供方案进行平台搭建，目的是打造易扩展、易维护、高稳定和高标准的数据底座及数据服务中心，以此避免后续在企业的信息化逐步发展过程中，由于不同系统之间的对接，带来过多的重复开发工作，避免产生的额外浪费和投入过多的二次开发成本。同时也能通过制定数据标准，提升数据质量，为后续数据分析工作提供坚实可靠的基础。 结合我司前期与客户管理团队及信息化建设团队的沟通和调研，在充分理解客户的诉求后，本期项目提出以下几点目标： •实现可由IT人员维护的数据接入平台 搭建数据接入平台，支持IT人员通过学习即可自主操作进行不同系统、数据库的数据接入工作；同时对已接入的数据可进行统一的管理 •实现可由IT人员维护的数据仓库 搭建数据仓库，支持IT人员通过学习即可自主管理已接入平台的数据源，同时可对数据进行二次处理操作（修改表结构、修改表字段属性、修改数据、对数据源进行常见的合并、扩展等），并在过程中保证数据标准统一和质量可控 •实现可由IT人员维护的数据总线服务 搭建数据总线服务平台，支持IT人员通过学习即可自主创建数据接口供其他系统调用，从而实现系统间的数据同步和业务串联；同时对已创建的数据接口可进行统一的管理 •实现可由业务人员使用的数据分析工具 搭建可视化数据分析工具，支持业务人员能够通过拖拉拽的操作快速使用数据平台中的数据进行自助式分析，同时对已有的报表进行搭建 本文档主要向xxxx的管理人员及IT负责人员描述了企业数据服务平台解决方案。本文档分别从项目建设原则和整体框架，软件系统功能设计方案、系统部署设计方案、项目实施及售后服务等方面，描述了软件各项基本功能以及后续实际部署时需要重点关注的环节。希望读者通过对本文档的阅读，能够理解软件系统的基本功能并知晓后续工作流程，如有问题，可以随时向作者提出宝贵的建议。 本文档是在我司与客户进行现场初步需求交流之后，由我司提供的初期技术方案。本方案中出现的架构图、截屏图仅为说明功能使用。随着方案的不断深化、软件版本的不断升级，部分软件功能和图像界面也会发生变化。在双方签订合同后，我司项目组与贵方相关人员会进行深入沟通和进一步的调研，我司会根据最终双方确认的需求及实施范围出具技术协议和详细实施方案。 无 本项目要保证平台软件和实施方案的可行性，适合IT管理部的实际情况，并具备对于环境变化的适应性。 系统的最大价值在于应用，系统是否易用、实用、易操作是项目是否能成功实施应用的关键因素。为确保具有不同计算机应用水平的工作人员均能快速掌握和操作本系统，系统需要界面友好、便于操作，将从界面布局、操作步骤、色调、帮助、操作方法等方面进行更具人性化的设计，使系统能够符合管理人员的操作习惯，尽量减少操作人员“人为”出错的因素。同时也应充分考虑系统的可维护性，要便于管理、便于维护。 项目既要采用先进的管理理念、信息技术和方法，又要注意软件系统、硬件设备、开发工具的相对成熟。不但能反映当今的先进水平，而且具有发展潜力，能保证在未来若干年内占主导地位，并能顺利地过渡到下一代技术。符合行业信息化发展趋势，可以适应未来较长时间的发展。 必须充分考虑其开放性和标准性，也就是要考虑到各系统间数据传递和接口开发的可实现性。 在考虑技术先进性和开放性的同时，还应从系统结构、技术措施、设备性能、系统管理、厂商技术支持及维修能力等方面着手，确保系统运行的可靠性和稳定性，达到最大的平均无故障时间。 既考虑信息资源的充分共享，更要注意信息的保护和隔离，包括系统安全机制、数据存取的权限控制等。 为了适应未来的业务拓展和项目的变化要求，必须充分考虑以最简便的方法、最低的投资，实现软件系统的扩展和维护。 我们的数据服务平台作为未来企业数字化生产运营的核心在设计时充分考虑2.1中所述的各项设计原则，并结合目前企业的实际情况和问题，我司提出了一套定制化的、基于成熟主流开源技术的、基于B/S架构的数据服务平台架构。如下图所示 (Figure 2-1). Figure21我们的企业数据服务平台架构图 我们的数据服务平台将基于Apache Airflow, Camel，Airbyte等原生框架技术，结合定制化的集成开发构建完成。如图所示，企业数据平台核心包含数据接入服务、数据仓库服务和数据总线服务。 数据接入服务为我们的提供了对上百种数据库，接口，文件提供数据采集的解决方案。通过对各个信息系统进行实时数据镜像的方式，为数据仓库和数据总线服务打好基础。详情见本当3.1章节。 数据仓库服务为企业提供基于有向无环图（DAG）数据Pipeline工具。可通过简单SQL查询语句建立数据ETL，并通过可视化界面实施监控数据的血缘关系以及各层级数据的ETL运行状态。为上层BI报表服务提供易搭建、可追踪、且易维护的轻量化企业数据仓库服务。详情见本当3.2章节。 数据总线服务打破了原来应用系统间点对点开发数据接口的模式，以数据平台为中心，建立统一的数据接口管理体系。充分利用数据接入和数据仓库服务中的数据能力，通过快速创建API能力，可视化的接口管理能力，达到各系统数据互通互联的统一管理目标，从而大大减少应用系统开发API的繁琐工作。详情见本当3.3章节。 数据仓库及数据可视化实施思路及流程图： Figure22数据仓库及数据可视化 企业服务总线实施过程： •业务需求分析 项目实施初期将对客户当前的业务情况做详细的了解，并梳理现有业务与所有接口。 •技术方案设计 在对客户业务需求进行了详细了解后，将结合DataPower系统功能，并和客户相关人员经过充分研讨后，共同制订出合理的实施技术方案。 •实施技术方案 通过系统测试共同验证实施技术方案的可行性，确保其能够适用于客户的实际运作，同时完成接口对接。 •工具培训 通过培训工作，让项目组成员能够充分理解方案和了解未来的业务运作，以便后续进行维护。 SSO系统实施过程： •业务需求分析 项目实施初期将对客户所需要接入SSO系统的应用进行接入评估，接入SSO的应用需要支持单点登录的标准OpenID、OAuth2.0或者SAML协议的其中一种接口支持。并梳理现有的应用数量和各应用的架构。 •技术方案设计 在了解到客户的具体需求后，我们结合到现有SSO系统的功能同客户技术相关人员进行技术方案的制定。 •实施技术方案 SSO系统的技术方案实施需要客户技术人员及第三方应用技术人员的共同配合调试和接口的对接，确保SSO系统能够满足客户单点登录的需求。 •工具培训 通过培训工作，能够让项目人员和客户管理人员进行用户、应用和权限等管理工作，充分了解系统的运行过程，以便后续进行实际的业务应用和操作。 数据治理的目标是建立一个企业数据管理和控制的完整体系，内容涵盖对分级组织结构、岗位责任、周期性的处理流程、相关技术环境和其它支持环境的定义和设计，使企业的数据处于整体有序管理状态。 Figure31数据治理体系示意图 数据治理建设的总体目标如下： •提升企业整体视角的数据环境规划能力 •建立企业视角的通用数据标准 •提升统一有序的业务系统和信息管理系统的管理能力 •建立统一有序的数据仓库系统的管理能力 •提升企业信息的质量（可访问性、可用性、正确性、一致性等） •提升数据的安全性（数据、硬件、软件、应用系统、使用者） •提升企业内部不同职能部门之间的共享数据和协同工作能力 •增加有效工作时间用于分析数据，减少用于在复杂企业数据环境中搜索数据的时间 针对xxxx的现状，建议从自身需求出发，在推行数据标准管理的基础上，加强数据规划管理，注重数据质量和安全的管理，通过元数据管理平台综合管理的协同，与数据源系统管理和数据仓库管理一起，逐步构建良好的数据治理环境。 实施试点的选择至关重要，其成功实施可以为推广提供一个可见的预期。整个策略尽管是把关注的焦点放在数据治理职能作用的发挥上，但是也应注意的是对有效性和可信度的双重评判，即在逐步提高数据的利用率和数据的处理效率的同时，考察是否增强数据的价值发现和降低数据相关的成本。只有这样，才有利于维持企业经营的稳定性。 基础数据接入平台是全国领先的开源数据接入服务系统及ELT工具。该平台始建于2020年7月，目前支持多个数据连接器，并提供用户以图形化的操作界面配置信息，方便用户快速对接各种主流数据库和标准数据接口。 在本次我们的改造项目中数据接入平台将作为企业数据服务平台的底座，负责安全、稳定地将各个业务系统的数据实时镜像到数据平台上。 我司数据采集模块的技术架构如下图所示（Figure 3-1）: Figure32多数据源并行实时数据采集系统架构图 数据接入服务平台旨在为我们的提供应对工业复杂数据源的标准化接入，传输和处理的服务能力。 数据接入：平台自带超过多种数据资源的接入驱动，降低数据源对接复杂度，减少数据对接的开发成本； 数据传输：兼容多种传输协议，自定义数据流的导向规则，优化企业数据管理； 数据处理：支持边端数据清洗、过滤，减少传输和存储资源占用，完善的流式计算平台，降低数据分析门槛； 我司入路通数据采集平台包含图形化的采集数据源配置（source），存储目标地配置（destination）和多通路链接管理配置（connection）。具体的功能描述如下。 在用户提供的硬件资源和实际业务需求的基础上，平台提供标准接口与其它系统进行数据对接，同时提供其它可调用的功能，包括： •定时同步（可选择同步方式、频率、执行时刻及启/停用） •同步任务监控 •任务异常报警 支持Excel文件导入数据，可根据网络情况及实际操作需求，提供人工操作导入功能及文件夹自动同步解析等两种方式。 整体实现流程包括三个部分，分别是填报报表的发布、数据上报接收、数据汇总。 实现流程如下图所示： Figure33人工填报系统功能示意图 本功能主要包括以下六个环节： •报表样式定制 •定义数据项 •建立表间关系 •查看填报效果 •审批流 •权限设置 •移动填报 平台支持用户接入已有PLC和新增传感器的数据。通过一套成熟的、可配置的数据连接工具将离散的设备数据按照数据治理要求抽取到数据仓库中，为上层应用提供支持。 构建企业数据仓库，应用数据仓库分类、分主题存储功能，对已有数据、待入仓库数据统一进行数据梳理，统一输入标准，合理压缩，实现类型数据的战略集合，构建大数据应用的数据仓库。为企业各级部门提供实时动态数据，为管理层和各级部门提供实时运行数据查询。主要包括：建立统一标准的数据接口，建立分级、分类数据存储模式。 数据仓库的建设能够确保数据信息一次输入、全程共享、互相关联，杜绝数据重复输入操作；确保数据信息一处更改，其它相关系统相应更改或自动感知，杜绝数据的不一致性。 管理业务纷繁复杂，数据类型多样，维度多、尺度多、涉及面广，为清晰明了数据结构，我们将从基础数据、统计数据、分析数据等逐步深入的数据加工应用角度出发，规划数据的分区及分层存储管理架构，目的是能够对现有系统的数据进行清晰的存储组织管理，以便支持不同的信息应用对数据层次的要求。初步设计将数据仓库分为公共基础库、业务成果库、主题数据库、前置交换库等子数据库。并按照统一的分类与编码，实现各系统的业务数据有层级、有关联的结构化数据仓库。 1）数字咨询规划服务 在xxxx我们的数字化战略规划基础上，结合客户数字化转型顶层规划，帮助客户产出数字升级的蓝图设计，针对数据建设提供业务规划、资产运营等技术咨询服务，推进企业数字化转型，服务内容包含数据仓库蓝图设计、数据仓库建设方法、数据资产管理与运营咨询、数据应用设计咨询等。以用户全程参与的方式保障用户对搭建完成的数仓可用和可运维。 2）数据资产建设服务 在客户数字化转型蓝图设计和数据中台数据咨询规划的基础上，通过搭建大数据平台、数据资产平台、数据服务平台等方式进行数据资产化建设，服务内容包含数据架构管理、数据标准管理、数据质量管理、元数据管理、主数据管理、数据安全管理、数据服务管理等。该服务是数据仓库搭建的核心。 3）数据应用建设服务 在数据仓库建设的基础上，打造成熟行业数据应用场景，推动数据与业务的深度融合，充分发挥大数据的乘数效应和倍增作用，实现数据资产“最后一公里”的价值 传递，将数仓中的数据转换成企业的价值。 基于数据治理体系的数据仓库可视化管理工具功能包括元数据管理、主题域管理、数据标准管理和数据血缘分析。 •元数据管理：元数据架构、元数据标准、元数据生成获取和维护、元数据存储、整合和共享、元数据查询和报表、数据术语及字典管理、元数据知识库管理 •主数据管理：基础数据层是传统意义上的数据仓库，可直接供业务使用，也可供应用数据使用，满足数据仓库的四大特征：面向主题的，集成的，稳定的和保留历史状态的。 •数据标准管理：业务数据标准、技术技术标准、数据标准的范围（公共代码标准、通用数据标准、共享数据标准和特定数据标准） •数据血缘分析：数据字典中的数据血缘管理指：管理数据生命周期中的数据流向和历史记录，包括数据源头信息，后期移动到哪个目标数据库等。 在数据治理过程中产出的各类标准规范、最佳实践、工作方式方法、标准化流程等内容将通过电子化的数据字典进行管理。 该功能模块记录由基础数据接入平台来源的基础数据，帮助用户定义和管理元数据，同时可展示基础数据具体的来源，同时可对所有的基础数据数据源进行展示和管理，支持数据源的展示、排序和筛选。 该功能模块展示基于元数据处理后的所有数据源，且支持数据源的筛选、排序和处理。 该模块数据源为面向分析主题的（根据前期需求了解，xxxx我们的的主题可按照质量、生产、物流和设备等四大维度进行主题域划分）主题域数据源，同时数据源中会建立对应的数据模型，一般的设计思路及方法为： 采用面向主题建模，关于主数据的数据模型，一般会采用所谓的统一数据模型。主数据的数据模型会对来自多个业务系统的数据按照统一的业务准则进行整合和转换，由于是采用独立于元数据系统的数据模型，因此该层数据可以更稳定一些，能够在一定程度上将一部分元数据结构的变化屏蔽掉。 支持创建主题域表数据字典，将整个数据仓库的分析维度统一梳理规范，特别是一些多系统的数仓，做好类主数据管理功能，配置内容增加版本属性，以便扩展使用。 创建指标模型表数据字典，关联主题域表与指标模型表，统一管理指标体系，并可方便地满足扩展需要。 工具支持使用可视化界面配置元数据、主题域表及指标模型之间的关系。支持自定义参数及抽取规则，快速实现数据同步。 本平台提供血缘分析的功能，即可以将维度与指标、指标与指标、指标与维度、指标与ETL、指标与页面的各种复杂的逻辑关联关系通过血缘分析的功能可以很明了的体现出来。帮助BI人员理清整个数仓模型的逻辑结构，以及通过这些关系挖掘一些延伸分析内容。 商务智能分析（BI）同时又是一个易用的业务报表系统，可按企业各级生产运营的需求自动生成业务报表，让不懂计算机的业务人员自己定制自己需要的业务报表而无需程序开发。本次项目采用帆软FineReport报表系统作为本次的报表分析展示系统。 FineReport是纯java软件，具有良好的跨平台兼容性，支持和各类业务系统进行集成，支持各种操作系统，支持主流web应用服务器。前台是纯HTML展现，无需安装任何插件。其技术架构图为： Figure34FineReport技术架构 软件产品在业界处于广泛认可的领导地位 本次项目采用的FineReport、GPDB、Kettle等基础技术在业界数据分析领域处于广泛认可的领导地位，产品发展和规划上有长期的，稳定的历史及清晰的未来发展方向，具有很高的品牌知名度、影响力和市场份额。 具有强大的技术风险抵抗能力 解决方案已经产品化、有成熟的产品、具有强大的技术风险抵抗能力。 对异构平台的不同应用系统进行集成 本次项目建设系统是一个开放的、可扩展的应用集成框架平台，能够实现各种不同后台应用的集成，支持应用系统自由卸载和加挂新系统，而不影响原来的系统应用的成熟度能力。 配置各种异构系统间的关联关系、实现数据共享 本方案为采用先进的SOA架构，满足目前主流软件技术应用及框架的适配；采用国际通用标准和协议，遵循业界规范和开放性原则，基于J2EE架构，主要软件产品由Java语言开发，保证系统能够提供开放的网络和数据接口，使不同的产品能够跨平台协同运行，方便数据交换和信息共享。 提供数据层的智能分析、实现数据的综合应用 利用FineReport提供的管理驾驶舱组件，为xxxx管理团队提供一站式的业务监管KPI指标展示平台。系统通过数据仓库，从各业务子系统中抽取关键业务数据，再进行以展示为目的的数据组装。能够提供数据层的智能分析，实现数据的综合应用。 FineReport设计器可以进行表格、图形、参数、控件、填报、打印、导出等报表中各种功能的设计，是集报表应用开发、调试、部署的一体化平台，其组成原理如下图所示。 Figure35FineReport设计器技术架构 略~~~~~~ 点赞关注后私信“智能”，领取完整全部资料集！
