生态大数据数据管理平台项目竞争性谈判公告

2019/08/05 招标信息

一、采购条件

内蒙古蒙草草原生态大数据研究院有限公司针对生态大数据数据管理平台项目竞争性谈判。

二、项目概况

(一)项目名称:生态大数据数据管理平台项目

(二)项目编号:MCSTHJ-2019-FW012

(三)采购方式:公开竞争性谈判

(四)资金来源:专项资金

(五)资金落实情况:已落实

三、采购内容

 (一)数据融合采集

1.ETL工具具备丰富的接入适配能力,支持国内外主流的关系型数据库,包含但不限于以下数据库: Oracle、DB2、Teradata、SQL Server、Sybase、Mysql、PostgreSQL等。

2.ETL工具支持大数据存储和访问,支持大数据环境的数据采集。支持MongoDB、HBase等主流大数据数据库等,支持大数据存储载体Hadoop,适配SDC Hadoop、Apache开源大数据平台、华为大数据平台安全模式、星环大数据平台安全模式等国内主流大数据平台。

3.ETL工具提供强大的调度引擎,支撑各种复杂的任务调度流程的高效运行,为海量的异构数据集成提供保障。支持关系型数据采集、大数据采集(Hbase采集)、文件数据采集、接口数据采集任务的统一管理和调度。

4.ETL工具支持文件和数据断点续传:支持G级别大小的文件断点续传,传输过程中网络中断后,在重新传输时,通过检测文件长度和断点位置,从断点处开始传输,可节省时间和其它资源。

5.ETL工具支持可视化任务监控:以可视化界面监控任务运行详情、数据处理流程、任务执行日志、步骤度量和历史详情,并提供实时报警。

 (二)数据综合治理  

  1. 数据综合治理

    以国标、行标等数据规范为指导,结合蒙草自有基础数据规范标准,针对蒙草业务系统,对其数据进行整合集成。构建元数据管理、数据标准管理、数据质量管理、数据资产管理、调度中心管理、数据服务等功能模块。具体技术指标要求如下:

    1.元数据管理

    (1)支持基于CWM元数据标准实现对业务元数据、技术元数据、管理元数据的统一管理和存储。

    (2)支持通过解析脚本,自动形成技术元数据之间的血缘、影响和全链关系。

    (3)元数据分析:提供影响分析、血缘分析、全链分析、关联分析等功能,支持业务元数据和技术元数据关联关系自动解析,提供友好的图形展示分析功能。

    (4)支持元数据权限管理,可按照用户和角色进行授权,权限颗粒度细化到按照列和行进行授权。

    2.数据标准管理

    (1)依据数据访问频率、数据引用情况、数据唯一性、元数据属性、等进行智能识别,基于技术元数据的分类作为样本进行训练,智能生成数据元标准和数据集。

    (2)智能生成数据元与技术元数据、数据集与技术元数据的关联关系。

    (3)支持针对数据元标准的规则配置,包括类型,长度,值域,正则表达式,数据范围。

    3.数据质量管理

    (1)支持大数据主流厂商Hive、HBase数据源的数据质量任务运行能力,主要包括(SDC Hadoop、CDH、HDP、星环TDH、华为Fusioninsight)。

    (2)支持双引擎模式,针对不同数据量的质量任务提供分布式任务和集群任务同时设计、运行、输出质量报告。

    (3)通过识别技术元数据与业务元数据的关系,智能生成待治理表的质量规则,智能生成质量规则包括数据格式校验、值域校验、数据范围校验、正则表达式校验、空值校验。

    (4)产品内置15种数据校验组件,支持拖拽的方式快速构建各种数据校验流程化设计。校验组件涵盖数据格式校验、数据范围校验、正则表达式、值域校验、字段值缺失、唯一性校验、记录数缺失、Switch/case、主外键一致性校验、字段值比对、身份证校验、及时性校验、精度校验、JavaScript、Java;支持校验规则的自定义,支持校验流程分支设计。

    (5)部分组件支持跨数据库的数据之间的校验。

    (6)探查和识别数据,可以针对数据进行准确性、完整性、唯一性等类别进行自动识别,自动生成质量报告,提升数据管理水平。可按照年、月、季度等时间维度,也可按照每个数据源的维度生成质量报告,支持质量报告的下载。

    4.数据资产管理

    (1)支持对数据资产全生命周期管理,根据自定义策略,可将数据及关联的文件进行自动化的清理和归档。。

    (2)支持通过数据查询等功能提供Oracle、DB2、SQL Server、Mysql、PostgreSQL、 Hive(SDC Hadoop、HDP、星环TDH、华为Fusioninsight)数据的SQL查询能力。

    (3)支持主数据的双模式管理,可实现对分散式管理模式下的主数据的审核,变更、分发管理、实现对集中式管理模式下的主数据新增、修改、禁用、启用、审核、分发、版本等管理

    5.数据共享服务

    (1)支持通过Oracle、DB2、SQL Server、Mysql、PostgreSQL、Hive(SDC Hadoop、HDP、星环TDH、华为Fusioninsight)数据服务共享。

    (2)支持通过web界面即可完成数据服务接口的服务发布、审核、共享,无需编程人员开发代码。

    (3)支持数据脱敏:规则配置简单易用,支持替换,截断,掩码,重排,日期偏移取整脱敏规则的配置。

    (4)支持数据安全规范和策略,识别并标记敏感数据,制定针对敏感数据的使用权限,制定用户对敏感数据的访问权限,确保数据资产在使用过程中具有适当的认证、授权、访问和审计等控制措施。

    (三)数据仓库建设

遵循数据标准的数据信息项和标准代码,结合国内外综合科学模型建设方法,作为逻辑数据模型建设的参考标准,构建蒙草数据资源仓库为四层架构设计,其中包括ODS数据准备层、DWD数据基础层、DM数据集市层、数据应用层。

详细采购内容见《竞争性谈判文件》

、投标人资格要求

(一)具有足够资产和能力来有效地履行合同,近三年无违法违规行为,没有处于被责令停业或破产状态,且资产未被重组、接管和冻结。

(二)有依法缴纳税收和社会保障资金的良好记录。

(三)有独立项目开发成功案例,须提本次项目规模相当的成功案例。

(四)近3年内未出现过验收未获通过的项目或者应由企业承担责任的用户重大投诉。

五、公告发布媒介

(一)中国采购与招标网         网址:www.chinabidding.com.cn

(二)内蒙古蒙草公司官网       网址:www.mengcao.com

六、报名须知及资格审查

(一)报名时间:2019年8月5日至2019年8月12日,8:30-12:00, 14:30-18:00时(北京时间,下同),报名截止时间为2019年8月12日18:00,逾期不再受理。

(二)报名方式:投标人填写《投标报名表》,签字确认并连同企业营业执照、开户许可证、软件资质于报名截止时间前发回到服务中心报名邮箱13674746050@163.com。(注:报名表需word版+扫描盖章版)采购人在指定日期回复竞谈文件至对应报名邮箱,不需要现场领取)。

七、竞谈文件的获取

(一)获取时间:2019年8月5日至2019年8月12日,上午8:30-12:00,下午14:00-18:00,逾期不再受理。

八、其他事项

(一)开标时间:2019年8月13日上午9:00时

开标地点:内蒙古呼和浩特市新城区蒙草集团百草园会议室

(二)本次招标不接受联合体投标,不接受邮寄投标。

(三)投标费用:投标人应承担其编制与递交投标文件所涉及的一切费用,无论投标结果如何,采购人对上述费用概不负责,均由投标人承担。

九、联系方式

采购人:内蒙古蒙草草原生态大数据研究院有限公司

投标报名联系人及电话:  高婷婷  13674746050

需求部门答疑联系人及电话: 徐敏  15548139860

    电  话:0471-6695191-810   

    传  真:0471-6695192

    邮  箱:13674746050@163.com

 

  

附件一:投标报名表

 

 

采购人:内蒙古蒙草草原生态大数据研究院有限公司

日期:二○一九年八月五日

 报名表下载链接

aa0228f15b5c8abc789cab4c99dfa297.docx