金沙官网数据智能与网络计算研究团队撰写的论文“Memory-Efficient and Flexible Detection of Heavy Hitters in High-Speed Networks”被国际数据库顶级会议ACM SIGMOD 2024长文录用,论文第一作者为团队负责人黄河教授。这是ACM SIGMOD会议历史上金沙集团186cc首篇、江苏省高校作为第一单位的第3篇研究型论文(前两篇均来自南京大学)。
ACM SIGMOD是由美国计算机协会(ACM)数据管理专业委员会(Special Interest Group on Management Of Data)发起、数据库系统领域历史最悠久且学术地位最高的国际性学术会议,每年吸引全球各国顶级研究单位投稿,对研究成果的创新性、系统设计的完备性和实验设计的完整性都有着极高的要求。收录论文的质量、影响力一直以来在数据库领域的顶会/顶刊中高居首位。
论文的研究工作历时近2年,由金沙集团186cc和南京大学合作完成。论文所研究的大流检测(Heavy-Hitter Detection)问题是高速网络数据流处理的核心任务之一,目的是检测并报告数据流中出现频率最高的若干条大流。该问题在网络流量测量、数据库优化和数据挖掘等领域有着广泛应用。论文提出了一种名为SwitchSketch的新型大流检测技术,通过对数据流中的每个元素执行时间复杂度为O(1)的实时更新操作,能够实时提取元素信息并维护大流列表,且仅使用极小的片上缓存空间(例如200KB)从海量高速数据流中准确捕捉大流,同时满足高吞吐量和高精度检测的实际业务需求。该研究还提出了一系列巧妙的机制,包括基于编码的可变换桶结构、多级变长存储槽、嵌入式编码和计数器压缩等,首次解决了由于数据流的动态特性而导致的检测性能受影响或需要降低系统效率和灵活性的两难困境。基于真实网络流量数据集(CAIDA)的实验结果展示,SwitchSketch相较于之前最优解决方案,将估计误差减少了30.77%到99.96%,且兼容主流软件平台(CPU)和硬件平台(FPGA),具有广阔的应用前景。匿名评审专家对论文的内容给予高度认可,其中一位评审专家给出了“The achieved improvements over existing work are impressive.”的评价。