报告题目：基于知识蒸馏的神经网络架构搜索

报告时间：2021年6月5日（周六）上午9:30

报告地点：腾讯会议（会议号：623105350）

报告人：常晓军

报告人单位：澳大利亚蒙纳士大学

报告人简介：

常晓军博士现就职于澳大利亚蒙纳士大学信息技术学院高级讲师，博士生导师。主要从事人工智能、计算机视觉和多媒体技术等方向的研究，在无约束视频、监控视频复杂事件检测、行人检索和重识别等方面的研究具有特色和优势，取得了多项具有国际影响力的重要创新性成果。2016年在澳大利亚悉尼科技大学人工智能研究中心获得博士学位。2018年荣获澳大利亚研究委员会青年研究奖(Australian Research Council, Discovery Early Career Researcher Award)（ARC DECRA）。近五年来发表高水平论文100余篇，包括模式识别和计算机视觉领域顶级期刊IEEE T-PAMI [中科院JCR一区期刊]、计算机视觉领域顶级期刊IJCV [CCF A类期刊]和领域内ACM/IEEE Transactions等国际顶级期刊论文41篇；以及相关领域顶级会议ICML、CVPR、ICCV、ACM SIGKDD等CCF A类论文58篇。上述论文中，以第一作者和通讯作者发表论文20篇。常博士在复杂事件检测、零样本视频分析、行人检索和重识别方面的研究成果已在相关领域内引起同行的广泛关注，发表论文在Google Scholar上的总引用约四千次。常博士在视频事件检测中原创性的成果及其发表的文章多次被国际著名科研团队在他们发表的国际顶级期刊和会议文章中引用，包括美国卡内基梅隆大学、哥伦比亚大学、UIUC以及Google Brain和Deepmind的科研团队。

报告摘要：

为了提高神经网络架构搜索的速度，研究人员提出了在大的搜索空间中使用共享的网络参数同时训练不同的候选网络结构；然而，这导致了不准确的网络架构评级，进一步加剧了神经网络架构搜索的不准确性。在这个报告中，我们将讨论如何将神经网络架构搜索的大搜索空间模块化，以确保潜在候选网络架构得到充分的训练。由于分块搜索的引入，我们可以评估单个块中的所有候选架构。此外，我们发现网络模型的知识不仅在于网络参数，而且还在于网络结构。我们将讨论如何从教师模型中提取神经网络架构知识来监督我们的分块架构搜索，这大大提高了神经网络架构搜索的有效性。

邀请人：刘威威 教授