寻找自我，打开深度学习的大门/刁祖龙

寻找自我，打开深度学习的大门

（湖南大学信息学院　美国纽约州立大学石溪分校联培博士　刁祖龙

受国家公派留学基金委资助，我于2017年9月-2018年9月在美国纽约州立大学石溪分校（SBU）电气与计算机工程系师从王欣教授完成为期一年的访学交流任务，主要方向为基于深度学习的交通流量分析与预测。一年的时光很短暂，从出国前内心的忐忑，初到美国的适应环境，再到后来安定下来并全身心投入科研工作中来。回首已经过去的一年，感慨万千，很珍惜也很荣幸能经历这一趟旅程。

留学单位

石溪大学（Stony Brook University），又称纽约州立大学石溪分校（The State University of New York at Stony Brook，简称SBU），成立于1957年，是一所公立大学，以研究见长，也是全美权威的美国大学协会（AAU）成员。石溪大学位于纽约市东面，长岛（Long Island）的北岸，距曼哈顿约105公里，乘车一个半小时即可到达纽约市。毗邻世界生命科学的圣地冷泉港实验室，并有长期合作。石溪分校共同管理临近的著名的布鲁克黑文国家实验室。石溪大学拥有石溪大学医疗中心。校园内绿树环绕，环境幽雅。附近有肯尼迪国际机场和拉瓜蒂亚国际机场，乘火车即可到达。诺贝尔物理学奖获得者杨振宁教授在该校执教37年，在他的率领下，该校的理论物理研究所多次获得各种国际大奖。

到石溪的第一天就被眼前的风景迷住了。虽然距离纽约市很近，但是一点都不嘈杂，很安静。路上行人特别有礼貌，公交车和学校校车也特别方便，完全不用担心安全问题。这里的生活节奏很慢，是潜心学习和研究的好去处。

Stony brook Road

科研工作

自己科研起步比较晚，博一博二的主要精力花在创业和企业级软件工程项目上了，博士第三年才开始真正意义上的科学研究，确定具体的研究方向为基于机器学习/深度学习技术的交通流量分析与预测。我的美国导师与我国内导师有长期的学术交流和合作，通过国内导师的推荐，我有幸能来石溪大学在王欣教授的指导下完成为期一年的访学交流。新环境，新的指导老师，新的实验室同门，新的挑战。王欣教授是数据分析、无线网络、移动计算领域的知名学者、专家，已累计发表近300篇论文和技术报告，近五年更发表了数十篇INFOCOM，IEEE/ACM Transactions on Networking等知名期刊会议论文。在出国之前和王欣教授接触比较少，通过邮件往来和实验室老师的口中知道王欣教授是一位特别严格，严谨和事无巨细的老师。

成为一名合格的科研工作者是我一直以来的梦想。来到石溪大学的第一天，我就告诉自己，来到了更高的平台，要付出百分百的努力，不给国内实验室、老师和湖南大学丢脸。这次出国机会，也是我给自己的一个考验，看看自己是否有能力在和国外优秀科研人员的合作交流过程中，展现自己的价值。

王欣教授为自己的博士生每周设有固定的一对一office时间，用于博士生汇报和交流本周科研进展，短则一个小时，长则两三个小时。访问学者的office时间相对不固定，有需要汇报的内容就提前和王欣教授邮件预约，以往的访问学者甚至有的几个月才来当面汇报一次。因此，这一年来，王老师的邮箱里面总是源源不断的收到我的汇报预约邮件，一到两周就会汇报一次，一汇报就是一两个小时，有时候和老师还会有很激烈的讨论和碰撞。

在图书馆工作中

我在纽约州立大学完成的第一个工作是我第一篇论文的大修。这一篇论文的idea、论文撰写和实验工作在国内已经完成，投稿到了计算机与交通的国际知名期刊IEEE Transaction on Intelligent Transportation Systems（SCI 2区）。由于这是我博士期间的第一篇论文工作，论文的撰写质量相对比较差。来美国的四个月之后，收到了期刊的第三次审稿意见。审稿人对本文的idea还是比较认可的，但是对论文的写作质量很不满意，甚至点出了文章中的很多低级错误。于是我诚惶诚恐的拿着这篇论文去咨询王老师的意见，老师嘴里蹦出的第一句话就是重写。接下来的一个月，王老师真的就带着我把整篇文章重写了一遍。一句一句的帮我纠正语法错误，教授我论文写作技巧。那段时间我身上感受到的压力也到了极点，我们每天要工作到凌晨两三点，每次王老师都会全英文邮件告诉我需要修改论文的哪几部分，并且指出，需要在当天的几点之前完成。有的段落，可能是没领会老师的意思，修改了发过去不满意，还得改第二次，第三次。当我以为整篇文章改完一遍之后就可以提交的时候，王老师又紧接着带着我开始第二轮的修改工作，直到一个月后论文完成了第三遍修改，王老师才松口论文可以提交了。这一个月，也是我收获颇多的一个月，英语写作水平比以前有了很大的提升，感恩能遇到这样一位严格、严谨又负责任的老师。

在纽约州立大学完成的第二个工作，就是我的博士期间的第二篇论文基于卷积神经网络的交通流量预测。在王老师的推荐下，我认识了她在美国实验室的一位博士生刘颖儒。我认识刘博士的时候他已经完成了两篇深度学习论文的写作，所以对我来说算是这个领域的前辈了。与他关于一些深度学习技术问题的讨论让我对深度神经网络产生了新的认识。通过不断的阅读深度学习的论文以及向王老师的一次次汇报讨论，在来美国的四个月后，我第二篇论文的创新点慢慢清晰起来。图卷积神经网络14年才提出来，在近几年逐渐被应用开来，成为国内外学者的研究热点。但是，已有图神经网络的问题就是假设所依赖的拉普拉斯矩阵及图空间依赖关系固定不变。这种假设，在很多应用场景，尤其是出行模式动态变化的路网，是严重不成立的。我这篇论文的核心创新点就是要通过创新性结构设计，动态的捕捉这种动态图空间依赖关系并且传递给图卷积神经网络。在核心创新点确定之后，接下来就是思考如何实现创新点，提出对应的深度学习结构设计并给出具体的理论依据。这是一个漫长的过程，针对待解决的问题，反复的提出新的设计，然后再一次次的被自己否定。然后再去查阅深度学习的论文寻找灵感，查阅张量及矩阵操作的书籍以满足本篇论文理论推导的需要。在来美国的第9个月，在更改了无数版本后，我终于确定了最终的本文的深度学习核心结构设计及理论推导过程。接下来的两个月，我收集了两个真实的交通流量数据集，完成了一系列实验验证工作。实验证明，我们本文的深度学习结构，极大的提高了图卷积神经网络的预测准确性和容错能力，尤其是在空间依赖关系动态变化的场景下。论文的撰写工作在接下来的一个多月顺利完成，赶在9月7号截稿之前提交到了目前人工智能、深度学习的国际顶级学术会议AAAI。这个时间，也刚好是我回国前的一周。AAAI的审稿采用的双向匿名审稿，所投稿的论文中不能带有任何作者及所在学术机构的名称。令人欣慰的是，本论文的创新性工作最终得到了审稿人的认可，回国的一个半月后，成功被国际顶级学术会议AAAI-19收录，录用率仅为16.2%。

科研经验

在美国纽约州立大学访学的这一年，在国内外导师的指导下，我成功完成了两篇论文的工作，一篇论文被计算机与交通交叉学科的国际知名期刊IEEE Transaction on Intelligent Transportation Systems收录（SCI-2），另一篇被目前人工智能、深度学习领域国际顶级会议AAAI收录（CCF-A）。总结起来，主要有一下几点经验。

首先，要想论文被顶级期刊或者会议录用，高质量的论文写作是必不可少的。英语写作水平需要平时一点点的积累，慢慢的改掉一些写作陋习。一篇拥有novel idea的文章，首先需要审稿人能欣赏你的文章。

其次，一篇好的文章需要的是作者长时间精心的培养和呵护。慢工出细活，反复的自我推翻，反复的查缺补漏。一篇好的文章，需要经得起所有人的仔细推敲。经常听人说一两个月完成一篇高水平论文，我当然信这种神话，只是往往这些人本身已经是身经百战的大神了。如果我们还只是科研长河中的初学者，为何不学着用心做好一件事情呢？作为一名科研工作者，严谨的科研态度和工匠精神是必须具备的，不弄虚作假，论文中所写的每一句话都要经过反复的思考确定。

最后，多与人交流合作，也是一篇高质量论文的必要条件。在和国外导师和学生的接触交流过程中，发现他们都具备一种开放的态度，从不吝啬将自己的一些技术问题的理解和想法与他人分享。

合租的朋友

留学生活

纽约石溪是一个安静的地方，在这里，看不出一点喧嚣的痕迹，我们可以静下心来踏踏实实做自己的事情，享受生活。周末阳光明媚的时候，可以骑着自行车，穿过林间小道，享受几里以外的海风和沙滩。或者，下着雨的日子，去附近的商场，买上一只价格低的吓人的龙虾，一块顶级牛排，再配上新鲜得想哭的牛奶，然后在房间里边吃着东西边享受窗外的风景。

纽约石溪也是一个不落世俗的地方，乘坐两个小时的火车，就可以来到繁华的纽约市区。高耸的帝国大厦、梦里面的自由女神像、眼花缭乱的纽约时代广场、能装下全世界的大都会博物馆。花上100美元，你可以把这些景点逛一个遍，顺便感受下老鼠到处跑的纽约地铁站。

当然，在这里，也结识了很多朋友。一个人出门在外，总会遇到一些不便。在这一年的时间里，也感谢这些朋友对我的所有帮助，有同来访学的老师，也有在美国读书然后一起合租的学生。

留学感悟

回顾这一年的留学生活，有挣扎和孤独的时刻，但更多的是感恩。

感恩在自己30岁人生的重要节点，有这么一段宝贵的经历。遇到了一位语重心长、刀子嘴豆腐心的导师，当我在科研道路上徘徊不前的时候，给了我力量和勇气继续走下去。无论是在科研的态度、论文的写作还是研究方向的理解上，我都收益颇多。

感恩这一年的留学经历，帮助我找到了自我，打开了深度学习的大门。认识了一大批从事科研工作的同道中人，包括从事深度学习研究的老师和博士，这将是我往后一生的财富。通过一年的努力学习，也取得了很好的论文成果，证明了自己的价值。任何事情，只要用心，就一定能够做好。科研的路，不在乎你什么时候开始，重要的是认清现实，从此刻、从脚下开始！

最后，感谢国家公派留学基金委的资助，留学期间科研领域的收获，生活层面的感悟，文化氛围的熏陶，让我受益匪浅！

Stony Brook University，来日再见！

作者简介：刁祖龙，信息科学与工程学院博士生，国内导师：张大方，国外导师：王欣