崔慧阳期货保证金安全存管监控系统实现五个新突破

文/中国期货市场监测中心信息技术部副主任 崔惠阳

期货保证金保证金监控制度是期货市场监管制度的重大创新。 具有鲜明的中国特色、世界原创。 本系统的全面实施依托中国期货市场监控中心（以下简称“中国期货监控”）建设和维护的期货保证金保证金监控系统。 为适应期货市场蓬勃发展和业务快速创新，及时应对市场发展新阶段新形势下监管面临的更高要求和更大挑战，我国期货监管新起点，坚持问题导向，从技术路线预研和商业模式选择入手，采用虚拟化容器、微服务架构、分布式内存数据库等新技术，采用国际化、前瞻性的技术系统设计理念，新一代期货保证金保证金监控系统（以下简称“新一代保证金监控系统”）。 新一代保证金监控系统实现了五个新突破：一是完善了具有中国特色和国际视野的期货保证金保证金监控系统，全面支持商品和金融期货、期权交易数据监管，支持多种交易方式。国内外的参与类型。 主体、多级结算系统交易数据监管，支持人民币、美元、港币等多种币种的结算数据监管。 二是建立数据仓库逻辑隔离机制，构建适合大数据、高并发场景的数据接收模型。 数据接收效率提升60%。 业界首次在高并发下实现了SQLLoader直接路径模式（direct path）。 场景成功实施，文件解析效率提升300%，彻底解决了数据接收过程中耗时的“跳转”和“水位高”问题，实现了系统架构和技术创新的双重突破，以及系统性能和稳定性的双重提升对于行业数据治理具有重要的现实参考价值。 三是采用微服务架构，基于分布式内存数据库构建新一代数据验证引擎，数据验证效率提升60倍。 四是支持分机构数据验证和算力并行扩展，既满足当前期货保证金安全监控需求，又为未来市场差异化和创新业务监管预留空间。 五是搭建期货公司信息交换平台，实现与期货公司信息交换全流程电子化，提高与期货公司信息交换便利化水平，大幅减轻市场负担。

市场发展新阶段，监管应对新挑战

2006年，中国期货监测推出期货保证金保证金监管系统，标志着全球首个期货保证金监管制度正式实施。 该系统每天检查整个市场的资金和结算状况，及时对系统性风险、个体风险和交易类型风险进行预警，有利于防控期货市场系统性金融风险，降低交易成本。 在防范市场风险、保护投资者合法权益、服务监管等方面做出了重要贡献。

依托新一代保证金监控系统的有力支撑，中国期货监控及时有效地发挥期货市场“电子眼”的作用和大规模数据集中的优势，实施全方位监控和管控。期货市场是“五位一体”期货监管体系的重要组成部分。 部分。

但随着期货市场的蓬勃发展和业务的快速创新，该制度面临着更大的挑战。 中国期货监测认真总结了多年来期货保证金保证金监控的成功实践经验，结合最新的监管要求和市场发展趋势，于2018年、2016年启动了新一代保证金监控系统的建设。

建设工作根据系统外部机构多、数据采集多源、跨行业多方协调、数据量大且增长快等实际特点，提高系统处理效率、监控并预警，做到及时见效，支持期货国际业务发展，以适应创新业务为目标，研究新系统的技术路线和业务模式。 最终决定采用虚拟化容器技术构建微服务架构，使用Redis内存数据库替代Oracle关系型数据存储待验证数据，提高数据读写速度； 利用分布式计算提供并发计算能力； 深入挖掘SQLLoader的数据加载性能，全面提升数据加载效率。 经过研发和实施，新一代余量监控系统完成并投入生产。

模块化的系统功能和分层的技术架构

新一代保证金监控系统由数据报送系统、验证监控系统、信息交互平台三个子系统组成。 包含20个一级功能模块，实现155个监控指标，支持4类机构69个接口数据采集。 其中，数据上报系统建立了数据仓库逻辑隔离机制，构建了适合大数据、高并发场景的数据接收模型。 效率提升60%，保证稳定高效，大幅减轻报表负担。 核查监控系统进一步完善了具有中国特色和国际视野的期货保证金保证金存管和监控系统，全面支持商品和金融期货、期权交易数据监管，采用微服务架构，构建新一代数据核查基于分布式内存数据库。 引擎，数据验证效率提升60倍。 信息交互平台为期货公司提供网上保证金账户申报、公司基础信息维护、预警说明等功能，提高信息交互便利性，有效减轻市场机构负担。

在功能和技术设计方面，系统主要分为文件提交层、文件接收层、数据清洗层、业务计算层、WEB服务层和外部访问层。 如图1所示，文件报送层具体指数据报送子系统，为期货公司、期货交易所、银行、中国结算提供数据报送接口，同时控制不同机构的文件报送权限。 文件接收层、数据清洗层、业务计算层共同组成新一代验证引擎，实现数据存储、数据验证、数据清洗、业务计算等功能。 WEB服务层为用户提供可视化的管理界面，方便用户对系统的访问和管理。 其主要功能包括数据校验、预警管理、数据查询、业务审批、权限管理等。外部接入层为用户提供访问和管理系统的接口中国期货市场监控中心，允许不同角色的用户根据权限查看相关功能模块。他们的权限。

图1 新一代保证金监控系统总体技术架构

聚焦科技创新，践行科技赋能

考虑到系统承载的数据规模和业务范围，新一代保证金监控系统的建设面临着期货行业同类信息系统建设中前所未有的挑战。 与其他机构风控系统主要关注机构涉及的数据和确定业务、目标明确、业绩压力有限不同，本系统需要处理所有市场数据，计算到客户层面的资金，面向期货交易所和存托机构。 管理着银行、期货公司等机构170余家。 同时，还需要综合考虑各交易所不同的业务特点。

中国期货监测依托最新技术，坚持问题导向，针对新一代保证金监测系统功能复杂、数据类型多样、业务变化频繁等特点，积极创新技术应用方法有针对性地解决系统面临的困境和问题，优化系统的交互体验，确保系统在功能稳定的前提下实现性能提升和良好的可扩展性。

1.构建基于虚拟化容器的微服务架构

新一代保证金监控系统采用微服务（Springboot）架构，源于两方面的考虑。 首先，数据验证面向期货市场。 业务涉及商品期货期权、金融期货期权、海外业务、分级结算等多维度、多条线。 需要兼容并支持市场的业务创新。 微服务架构针对的是不同期货交易所的业务。 特点：设计了单独的验证流程，方便分支机构进行数据验证。 同时预留接口，支持后续期货市场国际化等创新业务开展的数据验证。 二是数据的快速增长。 从2006年到2020年底，期货市场日交易量增长近600倍。 需要系统性能来支持市场的快速发展。 微服务架构支持系统资源水平扩展，可以根据业务量的增加进行扩展。 ，快速扩展系统资源，及时高效响应性能提升需求。

基于虚拟化容器（Docker）技术，将应用程序及其依赖项打包到独立的容器中，实现操作系统级别的隔离。 同时，多个容器可以同时部署在同一台物理机上，具有资源利用率高、部署方便、易扩展等优点，保证了新一代保证金监控系统能够快速响应市场灵活调整业务结构。

应用微服务架构后，原来庞大的系统被分解，细化为多个小服务。 每个服务都是相对独立的。 服务之间通过HttpAPI进行通信，有针对性地解决了系统业务量大、功能复杂的问题。 同时，其松耦合、高内聚的架构特点也为业务扩展和模块开发提供了极大的便利，为系统功能和性能的扩展提供了有力的支持。

2、采用分布式架构打造高性能验证引擎

数据验证作为保证金监控的核心业务，对新一代保证金监控系统的建设提出了更高的要求。 首先，数据量大、计算密集，涉及多类业务数据的批量处理。 因此，验证工作一般需要较长时间。 但考虑到核查后续监测、预警等核心功能的及时有效，核查时间必须得到高标准的保证。 其次，需要从各机构提交的数据中对待验证数据进行查询、过滤、验证，这涉及到频繁的数据读写，对数据库的吞吐量和读写速度有极高的要求。

基于以上需求，新一代保证金监控系统选择内存数据库（Redis）作为验证引擎的存储系统，采用集群方式部署，采用分布式架构构建验证引擎。 通过在线部署多个Redis实例，形成易于扩展的缓存数据资源池，有效避免传统技术无法解决的缓存资源不足、导致前后端系统滞后等问题。 同时，还可以在某个内存数据更新时自动回写。 数据库，完成持久化和分布式系统数据更新。 最后股票市场，验证引擎通过并行执行各种预警验证任务并配合高性能内存数据库，将数据验证效率提高了60倍。

如图2所示，Master节点实现验证引擎的统一调度和集中管理，提供参数维护、数据同步、数据持久化、验证任务下发、容器管理等功能。 通过Master节点实现容器的实时管理。 集群的扩容可以高效、简单地完成，支持新的提交文件、新的提交机构等业务场景。 注册中心用于存储系统基本信息，包括系统参数、任务信息、监控信息等。其中，系统参数为Worker集群后续的数据验证任务提供依据。 Worker集群实现数据导入、清洗、校验和校验。 它是使用容器创建的，是数据验证工作的具体执行者。 导入任务负责将盘后结算文件中的数据导入到Redis内存数据库中，进行清洗和验证任务。 负责完成数据的过滤，用于过滤后各种预警指标的计算。 Redis集群负责数据存储，使用容器创建。 Redis是高性能的key-value内存数据库，支持多种数据类型的存储，并支持数据备份和数据持久化功能，进一步保证数据安全。 验证引擎是这里采用集群模式，将报表组织和数据类型存储在独立的Redis节点中，为数据并行计算提供底层支持。

图2 新一代验证引擎技术架构

3、构建适合大数据、高并发场景的数据接收模型

新一代保证金监控系统每天需要接收来自期货交易所、存管银行、期货公司等170多家不同机构的4300多份盘后结算单据。 随着期货市场的快速发展，近年来数据量急剧增加，这对系统的数据接收效率和文件解析效率提出了更高的要求。

为此，一是建立数据仓库的逻辑隔离机制股票市场，构建适应大数据、高并发场景的数据接收模型，将数据接收效率提升60%。 新的数据模型根据组织代码对临时表进行分区，保证每个组织的数据在独立的分区中完成DDL和DML操作，实现数据库的逻辑隔离。 验证后，采用Truncate方法按照分区清理各个组织的数据，避免出现“高水位”问题，保证系统稳定运行。 二是实现了SQLLoader直接路径模式（direct path）在多并发场景下的成功应用，文件解析效率提升300%以上。 经过对SQLLoader 30多个技术参数的反复调试，最终通过指定分区存储的分区逻辑将“多并发”隔离为“单线程”，成功解决了多并发场景下直接路径模式带来的锁。 表问题，其性能明显优于Datax等同类文件解析工具。

应用效益凸显，监管效率提升

新一代余量监控系统建成投产后取得了突出的应用效益。 一是科技赋能，全力支持跨市场、国际化的业务监管，助力全球首个保证金监控系统在更高水平上持续更好运行。 二是数据核查效率大幅提升，极大释放监管资源，实现预警“早发现、早处置”。 三是数据报送时间大幅缩短，减轻了市场主体负担。 四是推出线上信息交互平台，进一步提高数据质量和预警准确性，同时也提高与期货公司信息交互的便利性，减轻市场负担。

2022年初，在监测伦镍事件对国内镍期货市场的风险溢出影响时，依托新一代期货保证金监测系统的有力支撑，中国期货监测及时有效地发挥了“ “电子眼”在期货市场和大数据集中的优势。 对期货市场实施全方位监管股票市场，有助于打造规范、透明、开放、有活力、有韧性的资本市场。

（本文发表于《金融电子化》2023年12月下半期）