n+e's blog | 暑研

我在三月份的时候还在为自己的暑研而感到担心，因为很久之前联系了Gatech的一个很有名的老师，但是由于对方办理签证的问题一拖再拖，十分担心自己无法按时完成暑研内容；我在二月份的时候落选了UGVR的项目；在三月份的时候并没有去报系里CMU的项目（update：申请结束之后，我当时tm为啥脑残，脑子被炮打了才不选cmu项目真是活该）。我在此很感激我的实验室导师苏航老师，是他在我这种困难的情况下拉了我一把，联系到了我之前想都不敢想的Yoshua Bengio教授，并且还十分幸运地拿到了offer。

我暑研去的地方是加拿大的蒙特利尔，后来查了查发现是加拿大第二大城市（如果按人口算的话，300w），纬度和哈尔滨差不多，因此夏天还算凉快（8月早上起来18度），冬天据说很冷，到体感零下40度这样，户外活动距离不能超过一公里否则体力不支那种…tkpl 还好我10月就跑路了

Montréal物价比北京贵，但是在北美范围内（别人说）是很便宜的。举个例子就是，周末我自己一个人逛超市会花个四五十刀（加拿大汇率按5.4算），吃一顿饭平均15刀吃到饱，理个头发30刀，公交月卡一个月80刀。房价据说没有温哥华/多伦多那么可怕，但是市中心还是要几百万刀。治安很不错，晚上能像国内那样随便乱走。

Montréal是个双语城市，但我感觉一直是个法语城市。本来Québec省就是加拿大唯一的法语区…在街上各种路牌都是法语，各种Bonjour和Mérci，还有日常聊天都是fà语，如果英语的话我应该还能以limited的水平听懂一些，fà语真听不懂qwq。举个例子就是司机打招呼，先说了一堆法语，我懵逼，司机看我懵逼了一会儿，勉强蹦出几个English，然后我勉强回一些English，gg

我去的地方是Mila，是由我暑研老板兼图灵奖获得者Yoshua Bengio创办的一个AI研究院，由UdéM（蒙特利尔大学）、McGill（麦吉尔大学）和其他学校的一些教授与学生组成独立研究团队，但是离学校所在的地方挺远的。Mila给我的感觉像是一个创业公司（其实Mila楼上就是创业公司Element AI虽然我并不了解），但是工位真的大，一个人两米半的那种，显示器也是人均4K屏，搞得我现在看1K屏有点不适应…唯一的缺点应该是没有自带食堂解决吃饭问题要么自带便当（我们7月这么干）或者是出去吃人均15刀（我们8月这么干）或者是去一楼面包店随便解决（我9月这么干）。

美东和国内时差正好12h，（美西是15h），第一次体验到在我醒着的时候有一群人在睡觉（意味着无法水微信群/刷票圈/刷知乎因为根本就没人），在我睡觉的时候一群人在干活。因此平时也没什么娱乐活动，由于不太认识国外的老哥也不敢和他们聊，只能自娱自乐比如氪了个网易云的cvip。但是这边的时间比国内慢半天，所体验过的时间在国内已经过完了。

和我一起来的有gty和wxz，我们在暑假住一起。中国intern我认识的都是唐老板招的，THU的wxz/gty/hsd，PKU的scc/dzj，SJTU的xmk/lld（？）。日常组团吃饭，饭前坦克大战，饭后偶尔乒乓球。

带我的Postdoc是之前Network in Network的一作，林敏。他现在一直在搞continue learning虽然Yoshua天天说forgetting不是个问题。一个Yoshua的梗：You know? Human’s brain can store everything! Forgetting is not a problem. Current memory chips are quite cheap, you can store everything. And if it is a mosquito’s brain, you should consider this problem.

???

我的Project是Yoshua直接定的，和NLP比较相关的魔改Architecture。我很奇怪，我之前明明是因为搞rl被他招的，而且Min和我一样也没搞过NLP，“Yoshua怎么会叫两个没搞过NLP的人搞NLP？真奇怪” Zhouhan Lin said.

两个没搞过NLP的人搞NLP不闹出点笑话不正常，比如

拿baseline代码魔改，发现Translation的Teacher-forcing直接Accuracy到了99%。开始还以为没什么问题，以为baseline太垃圾了，这么点数据都到不了99%，后来发现我们自己没加mask……
在加regularization term的时候魔改loss，然后发现比之前所有的perplexity都要好，看起来也不像上面那个很trivial的错误，感觉稳了。结果一测试发现雪崩，肯定哪里出bug了：发现ppl和loss相关，改了loss会把ppl跟着改，所以结果也是错的。
…

不过Yoshua人真的挺好，几乎有求必应。

这段暑研应该让我明白了我是个不适合读phd的人，我找到了理由。我以前对暑研的印象是，两个月把一个工作做完，写篇paper弄个一作，然后再顺理成章要个推荐信。我搞了三个月搞不出能work的东西（手动微笑），没投iclr，连nips的workshop都不敢提。然后由于各方面实验结果都不是很好，日常处在自闭状态中，怀疑自我，失去思考能力，而且还会干一些诸如厌食的事情，并且在九月达到了巅峰状态（比如周末中午吃两根香蕉就饱了）。

周末实验室几乎没人。我后来周末也偶尔出去走走了。玩过的地方有：老港/皇家山/看了场有Alan Walker的电音节/McGill/Mont Orford。

然后放图