田 学 成：硕 士，工 程 师，主 要 研 究 方 向：网 络 安 全、 工 控 安 全、渗 透 测 试。
韩 宁：本 科，警 务 技 术 员，主 要 研 究 方 向：网 络 安 全。
《公安工作疫情流调大数据建模和安全分析》一文发表于《网络安全与数据治理》期刊2022年第4期。
根据疫情流调数据特点，建立流调数据模型量化防疫具体需求。为了快速筛选出防疫需求的数据，基于MySQL数据库使用多条件数据查询及过滤、数据分组、数据清洗方法，并使用Python第三方库Pandas对流调数据做时间间隔计算。最后，在此基础上对模型数据做可视化处理，直观地反映流调数据情况，并对流调数据的传输作了安全分析。本文数据处理方法对基层民警提高大数据处理效率有借鉴意义，对疫情防疫流调工作有重要意义。
当前国内疫情形势仍然严峻，防控正处于关键紧要时期，在“外防输入、内防输出、动态清零”的总体要求下，开展精准流调工作至关重要。疫情期间开展流调工作需要依托大数据支持，数据处理结果关乎疫情防疫政策的实施，如何对流调数据快速精准的定位和筛选是地方政府疫情防疫环节中重要的一环。而目前流调数据普遍呈现出零碎化、非结构化特点，导致公安民警在进行流调数据处理工作时，需要投入了大量时间成本和宝贵人力。本文基于MySQL数据库快速筛选出符合条件的数据，将大数据处理变得自动化、灵活化，提高疫情流调工作的效率，提高民警对大数据处理的工作效率，为防疫工作争取更多时间，更好地将精力投入后期的安全防控措施中去，同时减轻基层公安民警工作负担。本文对疫情流调数据处理方法适用于临时情况下数据处理任务。基于流调数据特点，建立流调数据模型。
疫情流调中最初的数据格式基于xls或者xlsx居多，原始的流调数据存在时间冗余、信息重复、数据分散、数据噪音等特点，不能直接用于疫情流调工作的开展，同时Excel文件数据不属于结构化数据，对数据的交叉处理使用率低，且数据处理函数复杂不易掌握。
流调数据模型中手机型号、通信运营商属于噪声信息，流调模型数据的手机型号对防疫流调调查没有研究意义，在数据清洗中应当剔除，确保流调数据过滤无干扰数据。
数据清洗是对脏数据进行检测和纠正的过程，对数据缺失、数据冗余、数据冲突和数据错误等噪声进行保真化处理，同时挖掘出后续数据分析和可视化等必须的关键数据，是提高数据研究质量的重要手段之一。
大数据预处理技术主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。基于MySQL流调数据使用嵌套子查询不能满足复杂的数据需求。可以使用Python第三方库Pandas处理流调数据基于时间过滤的需求。Pandas是一个强大的分析结构化数据的工具集，支持多种文件格式，比如CSV、JSON、SQL、Excel数据导入，同时Pandas可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清洗和数据加工特点。因为流调数据中电话号码具有唯一性，而姓名可能存在重复，所以对电话号码相同的字段进行过滤，将相同号码对应的时间存储到对应的数组中Tphone，则Tphone=[T1，T2，…，Tn]，将对应重复号码的时间合并到一个数组里面，每个一号码对应形成新的数组P=[name，phone，Tphone]。
数据可视化是将数据作为数据视觉表现的一种形式，可以直观地反映数据信息。
目前大数据可视化主要包括：文本可视化、网络可视化、多维数据可视化等。本文基于流调数据模型MySQL数据做可视化处理，采用开源的数据可视DataGear开发平台，具有易于部署、操作简单、可集成可视化面板等数据分析功能，支持接入SQL、CSV、Excel、HTTP接口、JSON等多种数据源。系统主要功能包括：数据管理、SQL工作台、数据导入/导出、数据集管理、图表管理、看板管理等。支持运行时接入任意提供JDBC驱动的数据库，包括MySQL、Oracle、PostgreSQL、SQL Server等关系数据库，以及Elasticsearch、ClickHouse、Hive等大数据引擎。
本文流调数据模型数据可视化直观地反映流调数据不同维度的数据情况。便于防疫疫情的研判和工作的开展，基于DataGear对流调数据模型做可视化处理。
新冠肺炎作为一种突发性、大规模的公共卫生事件，不但威胁着人类的健康和生命安全，也给基层防疫工作带来了巨大的挑战。本文建立流调数据模型，基于MySQL对流调数据进行过滤，使用Pandas对流调数据基于时间过滤，并通过DataGear对流调数据模型做了可视化处理，可以提高流调数据效率，同时减轻基层公安民警工作负担；使用国密算法SM4对流调数据加密可保证数据传输安全。本文方法对疫情期间的大数据处理工作具有指导意义。
![【期刊精选】公安工作疫情流调大数据建模和安全分析]( "【期刊精选】公安工作疫情流调大数据建模和安全分析")
2022年7月，国内首本兼备网络安全和数据治理双领域的学术性期刊《网络安全与数据治理》（刊号：CN10-1863/TP）正式创刊出版。该刊由中国电子主管，华北计算机系统工程研究所主办，清华大学-中国电子数据治理工程联合研究院和中国电子数字办协办。该刊聚焦网络空间安全和数据治理前沿领域最新科研动态，密切关注政产学研用各环节在网络强国和数字中国建设过程中跨学科学术成果，坚持技术与应用、产品与研发、产业与市场相结合，服务国家网络空间安全和数据治理工程建设。
《网络安全与数据治理》由中国电子首席科学家、中国工程院院士方滨兴担任主编，中国电子第六研究所所长张尼和清华大学公共管理学院教授、长江学者特聘教授、清华中国电子数据治理工程研究院院长孟庆国担任副主编，数十名院士和知名专家组成专家编辑委员会。该期刊将主动开展理论研究，聚焦学术生态资源，拓展网络安全和数据治理领域基础研究，打造一流学术成果交流展示窗口；充分发挥学界专家力量，组织高水平学术会议，组织出版学术专著；坚持理论与实践相结合，服务国家网络空间安全和数据治理工程建设。
原文始发于微信公众号（网络安全与数据治理）：【期刊精选】公安工作疫情流调大数据建模和安全分析
评论