Other

关于本科生实习

经常会有本科同学,包括部分外校的同学,联系我们希望能够进组(远程)实习。为此,我们媒体计算实验室有一套名为“新芽训练营”的完整流程,主要面向低年级本科生,用于培养和选拔学有余力并有志于进组实习的科研后备人才。

新芽训练营旨在于选拔并培养具有坚韧的意志品格、强烈的科研兴趣、出色的学习能力的同学,并为之提供为期数年的科研培育,不卡学校档次,也不关心年级排名。对于成功完成新芽训练的同学,实验室会提供必要的计算资源以及专业的生涯规划指导,并在优秀导师的指导下开展科研工作、参与各类竞赛。

与此同时,我们也要求参与实习的同学,必须是学有余力的,能够保证实习时间,原则上周六周末和寒暑假大多数时间都需要投入到实习相关工作之中。如果在完成新芽训练营之后,有因为课程学习、出国申请、其他 Group 实习等各种原因在内的任何理由,会长期暂停或者放弃实习的,请提前告知,我们会将名额和资源优先给其他学生。万事诚信第一。

目前,新芽训练营共有两个阶段,分别是“播种期”和“培育期”。

第一阶段:播种期。在第一阶段“播种期”,我们要求申请人从给定的 21 个论文主题集合中挑选 1 个,每个主题包含 10 篇以上工作。选定主题后,申请人需要每周打卡汇报上一周的学习进展,若长期缺席,则视为自愿放弃并从训练营中移除。请勿使用与新芽训练内容无关的内容或者大模型生成的内容来搪塞打卡、凑够打卡次数,我们有核查机制,万事诚信第一。

详细合集论文请参考:https://pan.baidu.com/s/1mcKWP4gdD9PR6thPvKnVGw?pwd=grok

摘录一位同学的打卡内容以作示范:

本周按照李沐老师课程的顺序回顾了上学期中已学习过的一些简单的神经网络的内容:从最基本的线性回归开始,到softmax回归,多层感知机和CNN中最基础的知识且又动手从零开始构建过。在回顾的过程中收获颇丰,不仅加深了记忆,也对当时遗留下来的一些问题又有了一些新的理解。同时最初步的阅读了一下所选主题中一篇关于LoRA的论文,从论文中了解到随着模型规模的不断增大,全参数微调变的不再可行,取而代之是LoRA的思想:冻结原矩阵,引入一个可训练的矩阵并对其进行低秩分解以只训练较少的参数。

下周目标:继续推进李沐老师的课程的学习;学习论文中所提到的transformer架构以及其前置知识;继续理解这篇论文的公式及其原理。

打卡满 12 次且打卡率超过 85% 的同学可以申请结业口头汇报,包含至少 4 篇研究工作的详细阅读与技术细节梳理,其中 3 篇来自该主题集合,1 篇可由申请人自主从互联网上搜索该主题上最新发布/发表的重要论文。播种期结题汇报的质量,请至少对齐往届同学,示例如下:

  1. 通用架构 or 绑定下游?浅谈多模态图像融合的发展(https://www.bilibili.com/video/BV189JizDEvw/
  2. Large Language Model Agent(https://www.bilibili.com/video/BV1bLJizmE9D/
  3. 从线性叠加到语义融合:mixup 技术的演进(https://www.bilibili.com/video/BV1jg4y1f7Vj/

需要提醒的是,我们分配的论文阅读任务在数量和难度上都颇具挑战,相当于一次研究生 Seminar 汇报的工作强度。推荐申请者自学《动手学深度学习》(https://zh.d2l.ai/)、《CS231n: Deep Learning for Computer Vision》(https://cs231n.stanford.edu/)等课程来夯实基础。

第二阶段:培育期。播种期结业答辩会有评委打分,均分大于 85 的同学进入第二阶段培育期,重点培育和考察动手编程的能力,此阶段会有组内的老师和研究生给与适当的指导和答疑。我们希望申请者能够从第一轮所选主题的相关论文中,选择一篇论文用国产的 Jittor 框架(https://github.com/Jittor/jittor)进行实现并开源在个人 Github 上。第二轮代码面试的 Jittor 代码开源链接,请将环境配置、数据准备脚本、训练脚本、测试脚本、与 PyTorch 实现对齐的实验 Log、性能 Log 都放在 README 中。如果计算资源有限,用少量数据的训练效果和 PyTorch 版本的结果对齐。请将训练过程 Log、Loss 曲线,结果等对齐情况进行记录。

有志于来本组实习并自信可以完成两阶段新芽训练的同学,可给本组的戴一冕老师发邮件(yimian dot dai AT nankai dot edu dot cn),并附上简历。

(Visited 44 times, 6 visits today)
Subscribe
Notify of
guest

0 Comments
Inline Feedbacks
View all comments