近日，郑州大学计算机与人工智能学院在人工智能领域顶级学术期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)》上发表信息瓶颈理论长篇综述论文“A Survey on Information Bottleneck”。胡世哲副研究员为该论文第一作者，叶阳东教授为论文通讯作者，郑州大学为唯一第一作者单位和通讯单位。

信息瓶颈 (Information Bottleneck, IB) 是一种用于模式分析和表示学习的新型信息理论方法，自1999年诞生以来受到了广泛的关注。它巧妙地平衡了数据压缩和信息保存，并相应地提高了预测或表示能力。该综述论文是为了纪念信息瓶颈理论的创始人之一Naftali Tishby教授。

该综述总结了过去20多年来IB的理论进展和实际应用，系统地探讨了IB的基础理论、优化、扩展模型和面向任务的算法。现有的IB方法大致分为两部分：传统IB和深度IB。前者包含传统机器学习分析技术优化且不涉及任何神经网络的IB，后者包括涉及深度神经网络 (Deep Neural Network, DNN) 的解释、优化和改进的IB。具体来说，根据技术分类，传统IB进一步分为三类：基础IB、信息化IB和传播IB。根据问题设置分类，深度IB包括：辩论－使用 IB 理解DNN、使用IB优化DNN和基于DNN的IB方法。

本项工作受到国家自然科学青年基金项目、面上项目的资助，并得到了郑州大学计算机与人工智能学院的支持。

论文链接：https://ieeexplore.ieee.org/document/10438074