一、项目基本情况 项目编号：Jp******** 项目名称：职教中台数据上报系统 采购方式：竞争性磋商 包组编号：001 预算金额（元）：450,******** 最高限价（元）：450,000 采购需求：查看 序号 产品名称 参数 1 数据中台 本项目以建设我校“数据中台”和“综合教学管理系统”建设为主要部分，通过对校园信息化基础进行调研摸排，构建一个全量的数据资源中心，为我校数据分析提供数据支撑，建立多维度、多场景、智能化的大数据分析模型和多场景智能预警等模块，为全校师生及提供全面、准确、实时的综合信息，为我校的长远发展和管理提供辅助数据决策支持。 我校对于数据中台整体技术要求如下，需要具备以下内容： 一、数据看板 1、概览 ********数据概览统计管理 需要支持实时更新数据总量的监控结果，以及显示最新的数据变动情况； 需要支持记录历史每天的数据概览情况； 需要支持采用图表或可视化方式展示数据总量的监控结果，使我校领导能够直观地理解数据变化； 需要支持我校领导选择不同查询数据总量概览； ********、数据总量监控 需要支持展示中台存储的总数据量，包括所有数据类型和来源的总数量； 需要支持将多个数据源的总量进行汇总和监控****局的数据总量情况； 需要支持记录并显示中台内表的所有来源系统； 结合数据总量监控，可以验证数据的完整性，确保总量统计的准确性； 提供历史数据总量的对比分析，并可视化展示增减数量，帮助我校领导了解数据变化的情况； ********、新增数据量情况监控 需要支持列出当日内数据变动数量最大的数据表前五名，提供排行榜形式的展示，以便我校领导关注和处理较为活跃的数据变动； 系统需支持自动追踪并记录表中的新增数据，包括新增的记录数和戳； 系统需支持实时计算和更新表的新增数据量，以确保获取最新的结果； 系统需支持以折线图或曲线图的形式提供表新增数据量的趋势分析，包括增长率、波动情况等，展示数据表近数据量变化趋势，用于分析数据的变动情况； ********、数据集数据量监控 系统需支持通过列表展示不同数据集合之间的数量分布，帮助我校领导了解数据的组成和变动情况； 系统需支持展示不同主题数据集的总记录数，包括总表数量和总数据量； 系统需支持提供不同主题集历史数据总量的对比分析，并可视化展示增减数量，帮助我校领导了解数据变化的情况； 系统需支持实时计算和更新主题数据集的数据统计及变动情况，确保获取最新的结果； 系统需支持提供主题数据集不同数据表的分布情况统计，帮助我校领导了解数据的分布特征； 系统需支持对比不同日期的主题数据集统计结果，以分析数据变动的差异和趋势； 2、接口监控 ********、数据概览统计管理 系统需支持能够实时更新接口响应监控结果和接口数量监控，以及显示最新接口数量和响应结果变动情况； 系统需支持记录历史每天的接口变动情况； 系统需支持采用图表或可视化方式展示接口使用情况总量的监控结果，使我校领导能够直观地理解接口变化； 系统需支持允许我校领导选择不同查询接口监控总览概览； ********、接口总运行情况监控 系统需支持实时监控接口的调用情况和接口总数，展示当前的接口异常情况； 系统需支持统计接口异常频率，帮助发现异常情况并进行处理； 系统需支持统计接口的总访问量，了解接口的受欢迎程度和负载情况； 系统需支持使用图表或其他可视化方式展示接口流入和流出流量的实时情况，方便我校领导直观观察和分析； 系统需支持实时监控流入接口运行异常情况，统计异常次数； 系统需支持实时监控流出接口运行异常情况，统计异常次数； ********、接口流入情况监控 系统需支持监控接口的运行状态，如运行中、执行成功、等待执行、执行失败等，并及时进行展示； 系统需支持统计接口成功调用的比例，衡量接口的可用性和稳定性； 系统需支持统计接口执行失败出现次数，帮助发现异常情况并进行处理； 系统需支持监控接口的流入效率，即请求到达和处理的间隔，以便识别瓶颈和进行性能优化； 系统需支持生成接口流入量的报表，包括不同段、来源、接口版本等多维度的统计数据，方便数据分析和决策； ********、数据集接口调用情况监控 系统需支持列出当日内接口调用次数前五名的数据集，提供排行榜形式的展示，以便我校领导关注和处理较为活跃的接口变动，了解接口的受欢迎程度和负载情况； 系统需支持展示不同主题数据集的总接口数，包括调用总数量和调用总次数； 系统需支持实时计算和更新主题数据集的接口统计及调用情况，确保获取最新的结果； 系统需支持对比不同日期的主题数据集统计结果，以分析数据变动的差异和趋势； 支持查看主题集下接口具体明细和关联表信息； 支持查看主题集下接口具体调用次数和成功失败次数； ********、接口耗时监控 系统需支持展示接口性能的变化趋势，如响应的增长或下降情况，帮助发现性能问题并进行优化； 系统需支持对每个接口的耗时进行统计和记录，包括请求到响应的总、平均耗时等； 系统需支持根据接口耗时排名，识别并展示耗时最长的5个接口，以便快速定位性能问题； 系统需支持实时监控接口的耗时情况，包括当前耗时最长的接口及其详细信息，以便快速响应和解决问题； 比较不同接口的耗时情况，识别性能突出和有待优化的接口，以便优化资源分配和性能改进； 将接口耗时数据进行存档，以便回溯分析和长期性能趋势观察； 不仅统计总体耗时，还能对接口进行细分，以便更具体地了解每个接口的性能情况； 生成接口耗时的报表，包括TOP 5耗时接口的详细数据、趋势图等，方便数据分析和决策； ********、接口异常监控 系统需支持对每个接口的失败次数进行统计和记录，包括请求失败的总次数、平均失败次数等； 根据接口失败次数排名，识别并展示失败次数最多的5个接口，以便快速定位问题接口； 分析接口失败次数的变化趋势，包括增长率、峰值等，以便发现潜在的问题和瓶颈； 实时监控接口的失败情况，包括当前失败次数最多的接口及其详细信息，以便快速响应和解决问题； 比较不同接口的失败次数情况，识别存在问题的接口，以便优化资源分配和性能改进； 将接口失败次数数据进行存档，以便回溯分析和长期趋势观察； 生成接口失败次数的报表，包括TOP 5失败次数最多的接口的详细数据、趋势图等，方便数据分析和决策； 不仅统计总体失败次数，还可以对接口进行细分，以便更具体地了解每个接口的失败情况； 二、数据中心 1、分组管理 ********添加分组 系统需支持对基础数据进行分类编码，创建多个同级分组及子级分组，形成数据目录； 系统需支持分组管理命名，从图表库选择图标，上传分组图标，删除分组； ********搜索表 系统需支持按表名和表描述搜索当前分组下对应表 ********表统计 系统需支持查看该分组下所有表总数 ********分组标签管理 系统需支持通过切换父级子级分组标签快捷查看分组内表资源 2、数据录入 ********数据录入 系统需支****网络环境下、丰富的异构数据源之间高效稳定的数据汇聚融合能力 ********添加空表 系统需支持输入表名，表描述创建一张空表； 系统需支持通过表单、Excel、DB、SQL、API、Kafka、自主配置的方式导入数据表； ********表预览 系统需支持显示数据总数并预览数据表前5w条数据 ********表筛选导出 系统需支持按条件筛选出目标数据并导出为excel ********添加表单应用数据表 系统需支持一键全选该分类下所有数据表进行导入； 系统需支持按表名搜索精准表单和审批表； 系统需支持预览表单内数据表数据； 系统需支持获取表单列表（含搜索）接口； 系统需支持获取表单数据接口； 系统需支持注册表单推送接口； 系统需支持获取表单详细信息接口； ********数据表导入 系统需支持按文件夹或数据表两种方式本地上传excel数据表到中台； 系统需支持本地excel表上传到云盘接口； 系统需支持从云盘下载数据表到中台接口； 系统需支持上传中支持监测表上传状态及表大小； ********数据库导入 系统需支持MySQL、PostgreSQL、StarRocks、SQL Server、Oracle五种数据库类型导入； 系统需支持记录用户已输入的数据库，快速登录； 系统需支持对数据库中的数据进行清理和净化，去除冗余、重复和不合规的数据； 系统需支持选择数据库类型输入主机、端口、用户名、密码、数据库名称字段链接数据库； 系统需支持设置DB数据表更新策略，支持全量更新、实时更新、增量更新数据库表内容； 系统需支持过滤数据库中重复的数据表； 系统需支持全量更新支持设置数据自动更新规则，包括按分钟、小时、天3种维度设置更新频率； 系统需支持增量更新支持设置数据自动更新规则，包括按分钟、小时、天3种维度设置更新频率，并选择字段设置为更新依据； 系统需支持大规模数据的导入处理，处理海量数据时不会影响系统性能和稳定性； 系统需支持实现数据的校验和验证功能，确保导入数据的精确性和可靠性； 系统需支持预览DB库数据表数据； 系统需支持按表名、表描述搜索精准数据表导入； 系统需支持批量导入和增量导入数据，能够根据需求自由设置； 系统需支持查看编辑数据表名称及描述； ********导入 系统需支持输入SQL语句创建数据表； 系统需支持导入SQL文件创建数据表； SQL语句校验； 系统需支持解析SQL语句，预览相应数据表内容； ********导入 系统需支持填写表名和URL接口地址； 系统需支持GET、POST两种请求类型； 系统需支持可依据接口说明设置基础参数、头信息参数、分页参数； 系统需支持基础参数支持添加普通参数、实时参数、加密参数，保证数据安全； 系统需支持实时获取--添加接口地址、GET POST请求类型； 系统需支持实时获取--Basic Auth验证； 系统需支持实时获取--添加多个参数值； 系统需支持实时获取--预览并选择需要的参数值； 系统需支持支持动态参数；可按天（yyyyMMdd）、天（yyyy-MM-dd）、小时（yyyyMMddHH） 系统需支持10位戳 精度为秒、13位戳 精度为毫秒以及自定义方式生成对应动态参数； 系统需支持加密获取方式--DES、MD5两种加密方式； 系统需支持DES加密--选择参数，输入密钥主动加密并展示加密结果； 系统需支持MD5加密--32位[大]、32位[小]、16位[大]、16位[小]4种位数设置； 系统需支持MD5加密通过添加参数、输入加密内容形式主动加密并预览加密结果； 系统需支持头参数--添加普通参数、实时参数、加密参数，保证数据安全； 系统需支持分页参数--普通分页或偏移分页2种类型； 系统需支持普通分页包含：页码字段名、页码起始值、页大小字段名、页大小值4个字段信息； 系统需支持偏移分页可设置：偏移字段名、偏移参数名、偏移字段默认值、第二偏移字段名、第二偏移参数名、第二偏移字段默认值； 系统需支持解析并可视化预览数据结构及字段； 系统需支持创建多层级结构数据表，以多张表的格式导入中台； 系统需支持预览的表结构，修改字段类型，编辑字段名称； 系统需支持预览的表结构按需要选择字段，剔除臃肿数据； 系统需支持数据同步有全量更新、增量更新(中台接受推送)、增量更新(中台定时拉取) 三种方式； 系统需支持动态采集数据，按分钟、小时、天3种维度设置api更新频率； 系统需支持增量更新(中台接受推送)自动生成更新密钥保证数据安全； 系统需支持增量更新(中台接受推送)下载接口说明文档； 系统需支持增量接收推送； 系统需支持增量定时拉取； 系统需支持增量更新(中台定时拉取)输入接口地址按设置的更新频率定时拉取数据； ********导入 系统需支持允许我校领导在数据中台中创建、删除和管理Kafka主题； 系统需支持提供参数设置，以连接到Kafka集群，包括服务器地址、端口号等； 系统需支持允许我校领导配置和管理消费者组，以实现数据的并行处理； ********添加自助配置 系统需支持创建、管理数据流； 系统需支持数据源可选择表单、审批、Excel、DB、SQL、API、Kafka、自助配置数据，对数据进行再加工处理，形成高质量的有效的可利用的基础数据库，为后续数据应用提供基础； 系统需支持设置数据自动更新规则，包括不更新和按分钟、小时、天3种维度全量更新和级联更新； 系统需支持数据节点包括：选择字段、筛选、排序、添加列、分组汇总、字段设置、多表合并、删除重复行； 系统需支持数据节点实时预览结果数据，并展示结果条目数； 系统需支持选择字段，可剔除重复字段或无用字段； 系统需支持从分组列表进行选择数据源，选择父级子级分组下对应数据表； 系统需支持筛选--添加且、或关系（且: 满足所有条件、或: 满足任意条件）； 系统需支持筛选且或关系支持复杂层级，可以同时添加多个且或关系； 系统需支持筛选且或关系同一层级支持添加多个条件或公式； 系统需支持筛选--添加公式； 系统需支持筛选--选择字段添加添加条件、公式、且或关系生成结果数据； 系统需支持选择字段按升序降序规则生成结果数据； 系统需支持添加多个排序依据构成复杂条件结果数据； 系统需支持选择当前表字段及其他数据源表进行函数计算生成结果数据并创建新字段列； 系统需支持输入字段名称和相应函数创建新列； 系统需支持添加函数支持逻辑函数，包含：CASE WHEN、IF、IFNULL等； 系统需支持添加列添加数字函数，包含：ABS、CEIL、FLOOR、RAND、SIGN、PI、TRUNCATE、ROUND、POW、SQRT、EXP、MOD等； 系统需支持添加列添加日期函数，包含：NOW、DATEDIFF、ADDDATE、SUBDATE、DATE_FORMAT、FROM_UNIXTIME、MINUTE、HOUR、DAY、MONTH、YEAR等； 系统需支持添加列添加文本函数，包含：CHAR_LENGTH、LENGTH、CONCAT、CONCAT_WS、UPPER、LOWER、SUBSTR、UUID、REPLACE、SPLIT_PART、SUBSTRING、RIGHT、TRIM等； 系统需支持添加函数支持高级函数，包含：ROW_NUMBER等； 系统需支持函数公式提示公式说明，并显示相应示例； 系统需支持函数输入框，可以自定义输入函数和运算符号，计算出结果内容； 系统需支持分组汇总--添加多个分组字段条件； 系统需支持分组汇总--多个汇总字段条件； 系统需支持分组汇总汇总字段--设置求和条件； 系统需支持分组汇总汇总字段--设置求平均条件； 系统需支持分组汇总汇总字段--设置最大值条件； 系统需支持分组汇总汇总字段--设置最小值条件； 系统需支持分组汇总汇总字段--设置计数条件； 系统需支持分组汇总汇总字段--设置去重计数条件； 系统需支持分组汇总汇总字段--设置字符串拼接条件； 系统需支持字段设置--调整数据表字段顺序； 系统需支持字段设置--编辑数据表字段名称； 系统需支持字段设置--修改字段类型，包含：文本、日期、日期、、小数、整数； 系统需支持字段设置--按字段名称搜索对应字段； 系统需支持从分组内选择数据源表进行合并操作； 系统需支持选择的数据源表支持分列选择字段，剔除多余字段； 系统需支持选择两张数据表的字段作为合并依据组成新表； 系统需支持添加多个合并依据条件； 系统需支持设置去重字段，快速进行删除重复行操作； 系统需支持撤销和前进操作； 3、管理数据表 ********表详情管理 系统需支持正常查看表创建人、数据量、存储空间、更新、更新策略信息； 预览及导出数据表数据，方便管理和备份； 系统需支持查看数据更新日志； ********编辑数据表 系统需支持已在中台的数据表支持重新编辑表名、描述、更新策略、更新频率、字段设置； 系统需支持对数据表进行行列转换操作，通过设置x轴y轴数据列构建一张新数据表； 系统需支持预览编辑结果数据； 系统需支持数据表移动到其他分组； ********表更新 需要支持自助配置、DB、API、表单导入中台内的表支持手动立即更新同步数据； SQL、Excel导入到中台内的表支持追加和替换数据内容； ********表监控 需要支持以数据集为监控对象，对数据表和实时数据流进行监控； ********表备份 中台数据库支持主库从库的备份和系统信息制，以保证系统的正常使用。避免了失效时出现的软件瘫痪、数据丢失等问题； ********字段脱敏 支持对各种数据类型进行脱敏，包括文本、数字、日期、邮件地址等； 需要支持允许我校定义自定义脱敏规则，并应用于特定字段或数据集，以确保满足特定需求； 需要支持提供部分脱敏功能，使敏感信息的一部分保持原样，保证关键信息的可用性和可追溯性； 需要支持支持多个脱敏层级，根据数据敏感程度进行不同级别的脱敏处理，确保敏感数据的安全性； 需要支持提供数据掩码功能，将敏感数据替换为特定字符或模板，以保护数据隐私； 需要支持对于动态更新的数据，支持增量脱敏处理，确保新数据也能得到及时的脱敏保护； 支持对指定字段进行脱敏，保护特定数据的隐私，而不影响其他字段的可用性； 需要支持在进行脱敏时，保持数据之间的关联关系，以便在后续分析中仍然能够准确地进行数据关联； 对数据脱敏操作进行安全审计和授权，确保只有授权人员能够访问和操作敏感数据； 优化脱敏算法和处理流程，以保证脱敏过程的高效性和低延迟； 提供数据备份和恢复功能，以便在需要时还原原始数据或重新脱敏处理； 需要支持记录每次脱敏操作的日志，以便追踪操作历史和排查潜在问题； 需要支持在脱敏后对数据进行标识，以便在数据处理和分析中能够识别敏感数据； 需要支持对已进行数据脱敏的数据进行验证，以确保脱敏后的数据仍保持关键信息的准确性和一致性； ********数据字典 需要支持记录和描述每个数据字段的名称、类型、长度、格式等信息，以便对数据进行一致的解释和使用； 需要支持提供对每个数据字段的解释，包括业务含义、定义和用途，以便用户能够理解和正确使用数据； 需要支持定义和记录每个数据字段的质量规则，包括完整性、准确性、一致性等，以便监控和维护数据的质量； 支持附加文档、补充说明和示例数据，以帮助我校更好地理解和应用数据字典； 需要支持记录数据字段之间的关系和连接方式，包括主键、外键、关联关系等，以帮助我校进行数据关联操作和分析； 需要支持提供直观易懂的数据字典可视化展示方式，如图表、关系图等，以帮助我校理解和使用数据字段； 支持多使用人员协同编辑和审批数据字典的变更，以确保数据字典的准确性和一致性； 支持自动化更新数据字典，例如通过脚本或定时任务从源系统中获取最新数据字段信息； 支持数据字典导出pdf； ********数据血缘 需要支持自动识别不同数据源之间的关联关系，包括数据表、文件、数据库等，以建立数据血缘关系； 需要支持通过跟踪数据的产生、转换和使用过程，提供对数据血缘关系的追溯功能； 需要支持识别数据字段的变更情况，包括新增、更新和删除等操作，以及变更的源头和目标； 需要支持记录数据的加工操作，包括数据清洗、转换、计算等过程，以便追溯数据的加工历史； 需要支持以图表或图形的方式展示数据血缘关系，使用户能够直观地理解数据的流向和关系； 需要提供数据血缘的跳转功能，使用户能够快速定位和查找相关的数据血缘关系； 需要支持对数据血缘关系进行验证和校验，以确保血缘关系的准确性和完整性； 需要提供数据血缘访问权限的控制，以确保只有授权的用户能够查看和分析数据血缘关系； 支持实时或近实时地更新数据血缘关系，以保持数据血缘的最新状态； 需要支持检测数据血缘关系中可能存在的缺失或异常情况，以提醒用户进行必要的修复和调整； 需要支持监控和记录数据血缘关系的变化和访问情况，提供审计和监控功能； 支持对不同类型和规模的数据进行血缘关系建模和分析，具备良好的扩展性和灵活性； 需要支持将数据血缘关系与业务工作流程集成，以实现自动化的数据血缘追溯和分析； 4、回收站 ********表删除 需要支持从数据库内删除数据表，释放储存空间； ********表还原 需要支持还原回收站内数据表，移出到指定位置； ********表管理 需要支持管理回收站内数据表时，支持查看：表名称、创建人、###路径、删除； ********表预览 需要支持预览回收站内数据表结构字段； ********表搜索 需要支持按表名搜索、创建人、删除人精准搜索数据表；

本招标项目仅供正式会员查阅，您的权限不能浏览详细信息,请点击注册/登录，联系工作人员办理入网升级。
联系人：刘欣
电话：010-68809590
手机：13522553206（欢迎拨打手机/微信同号）
邮箱：kefu@bidnews.cn