博客

落月星辰:做自己的孤勇者,也做鸡蛋的终结者
作者:MegEngine 发布日期:2022/04/02

1998 年是神奇的一年。

这一年,比尔·盖茨发布了 Windows 98 系统,中国互联网刚刚兴起,北京的中关村人潮涌动,深圳的华强北熙熙攘攘。

这一年,有 19910000 位网络原住民出生,其中便有我们的主人公——落月星辰。尚在襁褓里的落月星辰并不知道,多年以后的自己不仅成为了数字世界的参与者,更成为了数字世界的开发者,但这位开发者似乎没有开发出自己在做饭方面的潜力。

时间回到 2022 年,此时,居家办公已经有一个月的落月星辰,虽然没有研究出类似干嘣鸡的大件儿菜,但他对各种鸡蛋的做法已经炉火纯青,并计划研究一下可乐鸡翅。所谓“征服”一只鸡,先“征服”它的鸡蛋和翅膀。

不过,落月星辰在“征服”科研这件事上,倒是有很多可以说。

截屏20221028 17.30.24.png

从小学到大学,落月星辰一直都在家乡就读,除了有习惯的环境,还有习惯的饮食,这就是他的舒适圈。大学毕业那年,身边同学以为他早就找好家里工作,但落月星辰选择了从湖南来到 777 公里外的深圳,南方科技大学良好的科研环境让他选择成为一名科研助理。

在如今毕业回家工作的大潮下,落月星辰收拾全部家当奔赴深圳的大胆决定,让一个曾经的家乡人成了新城市的异乡客,这里除了少点辣味,多了点潮味,对他来说似乎也没什么。

截屏20221028 16.31.29.png

高校里的生活简单,但高校里的工作却充满挑战。在这里,落月星辰的工作主要围绕智能医疗影像展开, 主要通过数据标注与处理,以及相关方法实验来分析实验结果,并根据结果和数据特点确定问题所在,从而进一步改进相关方法。本科研究智能家居的他初来时稍显吃力,不过凭着自己多年对开源的接触,和近两年课题项目申请和论文撰写,落月星辰已经可以独当一面。

截屏20221028 17.30.33.png

如果说开源是落月星辰科研工作的一部分,那么 MegEngine 则是他打开频率最高的那个重要部分。

落月星辰第一次接触 MegEngine,是在 2020 年 CCF-GAIR 开源论坛上。 那年的落月星辰刚刚毕业,手上的项目需要做跨平台的部署,正是这次会议让落月星辰记住了“MegEngine”。简单、易上手特性,加上没有冗余 API 拖后腿, 少了犯迷糊的次数,这让落月星辰在使用 MegEngine 框架十分顺畅,解决了当时的项目问题,当然,这也得益于天元团队成员们在 GitHub issue 里的回复很及时, 让落月星辰的新手入门之旅走得更顺畅了些。

6401.jpeg

去年 MegEngine 增加的 DTR 技术保留了自动调整和手工调整两种模式,成为落月星辰心中省钱训练大模型的神器。 落月星辰觉得:“MegEngine 显存优化和速度方面有了明显改善,感觉与 Pytorch 的差距在逐渐变小。”

除了 MegEngine 的独特功能,MegEngine 群里的氛围同样让落月星辰觉得舒坦。“MegEngine 和喝奶茶的好盆友们” 是 MegEngine 团队用来促进开发者之间技术交流的微信群,从建群到现在,这个群里聚集了来自天南海北的的热心开发者,落月星辰也是其中之一。菜菜包是落月星辰在群里印象深刻的朋友,更早接触 MegEngine 并将它作为主要开源框架的菜菜包总会结合自己深入的使用体验,参与问题的讨论并提一些建议,这让落月星辰学到不少。用落月星辰自己的话说,“在群里,不仅天元的项目人员会帮我们解决一些问题,而且开发者们也会互相交流,自己在这里学到不少东西,工作中跨平台应用的问题就是在群里得到解决的”。

截屏20221028 17.30.39.png

今年是落月星辰的本命年,也是 MegEngine 开源两周年。比起大学时的自己,如今的落月星辰已经在办公室和住所的两点一线中学会了自我沉淀,除了数据实验,每天阅读医学文献也成了他生活的一部分。他觉得,这个行业已经“卷”出新高度,自己也成了同学们口中的“卷王”,但落月星辰自诩佛系选手,他更想做自己喜欢的事,沉下心来,找到自己的节奏,这才是他心中的期待。

最近,在 MegEngine 的帮助下,落月星辰利用 DTR 提供的通过额外计算减少显存占用的优势,突破 batch size 的限制,享受更大 batch size 所带来的训练收益,从而实现了医学方面的对比模型,成功把一些比较大的之前训练不动的模型给训练起来,为自己的科研工作提供了不少方便。对于未来的MegEngine,落月星辰希望有更多的开发者集思广益,也希望在多级训练领域有更多突破

image.png

谈到自己未来的打算,落月星辰计划结合已有的工作经验,通过硕博连读的方式在智能医疗图像处理领域继续深造,也希望有一天自己写出的代码也能做到简单、明了、直接。

未来的学术生活或许充满孤独,但落月星辰已决定做自己的孤勇者。

后记

听说落月星辰的大众点评等级已经达到了 V5,累计 1 万 2 千字的认真点评让落月星辰抽中了霸王餐(膜拜大佬中……),但是因为疫情一直没去。我们希望落月星辰能早日拿下霸王餐,研究出绝味的“可乐鸡翅”,毕竟恰饭才是“征服”科研的第一步嘛。

查看更多

上一篇: 分享

提速还能不掉点!深度解析 MegEngine 4 bits 量化开源实现

下一篇: 分享

菜菜包:赛场荣耀的背后,刻着 0 到 1 的执着

相关推荐
  • Awesome MegEngineer 英雄招募帖,开源社区专属权益等你来领

    2022/11/16

  • Starfall|“造轮子”是一种乐趣吗?

    2022/10/13

  • Eileen:4分叛逆,4分纯粹

    2022/08/24

  • 白牛:一半是磨练,一半是成长

    2022/08/10

  • 一只鸽骑:低头探索生命,抬头感受生活

    2022/05/19