暑研

之前九月份写的那篇太那啥了...重写一个正常的backup
多图预警 流量杀手 (虽然我已经down sample过了

October 11, 2019 -
回忆录
-

我在三月份的时候还在为自己的暑研而感到担心,因为很久之前联系了Gatech的一个很有名的老师,但是由于对方办理签证的问题一拖再拖,十分担心自己无法按时完成暑研内容;我在二月份的时候落选了UGVR的项目;在三月份的时候并没有去报系里CMU的项目(update:申请结束之后,我当时tm为啥脑残,脑子被炮打了才不选cmu项目真是活该)。我在此很感激我的实验室导师苏航老师,是他在我这种困难的情况下拉了我一把,联系到了我之前想都不敢想的Yoshua Bengio教授,并且还十分幸运地拿到了offer。

我暑研去的地方是加拿大的蒙特利尔,后来查了查发现是加拿大第二大城市(如果按人口算的话,300w),纬度和哈尔滨差不多,因此夏天还算凉快(8月早上起来18度),冬天据说很冷,到体感零下40度这样,户外活动距离不能超过一公里否则体力不支那种…tkpl 还好我10月就跑路了

Montréal物价比北京贵,但是在北美范围内(别人说)是很便宜的。举个例子就是,周末我自己一个人逛超市会花个四五十刀(加拿大汇率按5.4算),吃一顿饭平均15刀吃到饱,理个头发30刀,公交月卡一个月80刀。房价据说没有温哥华/多伦多那么可怕,但是市中心还是要几百万刀。治安很不错,晚上能像国内那样随便乱走。

Montréal是个双语城市,但我感觉一直是个法语城市。本来Québec省就是加拿大唯一的法语区…在街上各种路牌都是法语,各种Bonjour和Mérci,还有日常聊天都是fà语,如果英语的话我应该还能以limited的水平听懂一些,fà语真听不懂qwq。举个例子就是司机打招呼,先说了一堆法语,我懵逼,司机看我懵逼了一会儿,勉强蹦出几个English,然后我勉强回一些English,gg

我去的地方是Mila,是由我暑研老板兼图灵奖获得者Yoshua Bengio创办的一个AI研究院,由UdéM(蒙特利尔大学)、McGill(麦吉尔大学)和其他学校的一些教授与学生组成独立研究团队,但是离学校所在的地方挺远的。Mila给我的感觉像是一个创业公司(其实Mila楼上就是创业公司Element AI虽然我并不了解),但是工位真的大,一个人两米半的那种,显示器也是人均4K屏,搞得我现在看1K屏有点不适应…唯一的缺点应该是没有自带食堂解决吃饭问题要么自带便当(我们7月这么干)或者是出去吃人均15刀(我们8月这么干)或者是去一楼面包店随便解决(我9月这么干)。

美东和国内时差正好12h,(美西是15h),第一次体验到在我醒着的时候有一群人在睡觉(意味着无法水微信群/刷票圈/刷知乎因为根本就没人),在我睡觉的时候一群人在干活。因此平时也没什么娱乐活动,由于不太认识国外的老哥也不敢和他们聊,只能自娱自乐比如氪了个网易云的cvip。但是这边的时间比国内慢半天,所体验过的时间在国内已经过完了。

和我一起来的有gty和wxz,我们在暑假住一起。中国intern我认识的都是唐老板招的,THU的wxz/gty/hsd,PKU的scc/dzj,SJTU的xmk/lld(?)。日常组团吃饭,饭前坦克大战,饭后偶尔乒乓球。

带我的Postdoc是之前Network in Network的一作,林敏。他现在一直在搞continue learning虽然Yoshua天天说forgetting不是个问题。一个Yoshua的梗:You know? Human’s brain can store everything! Forgetting is not a problem. Current memory chips are quite cheap, you can store everything. And if it is a mosquito’s brain, you should consider this problem.

???

我的Project是Yoshua直接定的,和NLP比较相关的魔改Architecture。我很奇怪,我之前明明是因为搞rl被他招的,而且Min和我一样也没搞过NLP,“Yoshua怎么会叫两个没搞过NLP的人搞NLP?真奇怪” Zhouhan Lin said.

两个没搞过NLP的人搞NLP不闹出点笑话不正常,比如

  1. 拿baseline代码魔改,发现Translation的Teacher-forcing直接Accuracy到了99%。开始还以为没什么问题,以为baseline太垃圾了,这么点数据都到不了99%,后来发现我们自己没加mask……
  2. 在加regularization term的时候魔改loss,然后发现比之前所有的perplexity都要好,看起来也不像上面那个很trivial的错误,感觉稳了。结果一测试发现雪崩,肯定哪里出bug了:发现ppl和loss相关,改了loss会把ppl跟着改,所以结果也是错的。

不过Yoshua人真的挺好,几乎有求必应。

这段暑研应该让我明白了我是个不适合读phd的人,我找到了理由。我以前对暑研的印象是,两个月把一个工作做完,写篇paper弄个一作,然后再顺理成章要个推荐信。我搞了三个月搞不出能work的东西(手动微笑),没投iclr,连nips的workshop都不敢提。然后由于各方面实验结果都不是很好,日常处在自闭状态中,怀疑自我,失去思考能力,而且还会干一些诸如厌食的事情,并且在九月达到了巅峰状态(比如周末中午吃两根香蕉就饱了)。

周末实验室几乎没人。我后来周末也偶尔出去走走了。玩过的地方有:老港/皇家山/看了场有Alan Walker的电音节/McGill/Mont Orford。

然后放图

Sample image

资本主义国家飞机wifi要钱,社会主义国家飞机没wifi

Sample image

市政厅门口的雕像

Sample image

老港

Sample image

UdéM门口

Sample image

UdéM地铁站

Sample image

第一次自己做一顿饭

Sample image

圣母大教堂

Sample image

同上

Sample image

老港

Sample image

downtown唐人街

Sample image

皇家山教堂 日落

Sample image

同上

Sample image

从Mila出来等公交

Sample image

8月自己的晚饭通常自己解决

Sample image

共享单车

Sample image

电音节的喷泉

Sample image

电音节 AW教主

Sample image

合照

Sample image

某次公交司机:“大家等我一下”然后下车撩妹去了

Sample image

随处可见的不怕人的松鼠

Sample image

Mila工位 外面晚霞

Sample image

晚上从Mila出来等公交 这天好像是12点半

Sample image

晚上在downtown买东西随手街拍。下面在修路有点煞风景

Sample image

Mcgill一个小博物馆的鬼畜小人

Sample image

Mcgill图书馆

Sample image

市政厅外面的鸟

Sample image

九月日常晚饭

Sample image

住的地方对面有家店的意面超级好吃

Sample image

早上七点的街景

Sample image

晚上8点从Mila骑车回去,摄于铁路桥下

Sample image

晚上5点的Mila门口

Sample image

借着算力随手渲染了一张图

Sample image

Mont Orford的秋天

Sample image

同上

Sample image

同上

Sample image

同上

Sample image

同上,这棵树红绿相间

Sample image

同上

Sample image

早上九点骑车随手拍的

Sample image

早上八点半阳光照射的Mila门口


剩下的事情,就藏起来吧。

Read More