这是我的第一篇 Blog,想先记录一下自己目前对技术方向和就业选择的判断。
这些想法很大一部分来自最近读到的博客,再结合我自己的经历和现实条件,慢慢形成了现在的选择。它们还只是阶段性的判断,以后有了更多实践,我也可能会调整。
先从数据生产切入
以我目前 211 本科的背景,直接进入大模型训练岗位,对我来说难度比较大。所以,我现在瞄准的一个方向是做数据。
“做数据”是一个很笼统的说法。更具体一点,我想做的是后训练数据的生产:围绕具体任务,构建能够用于模型训练的数据,比如长程 Coding 任务(编程任务)相关的数据。
但越往下想,我越觉得,数据生产和评测是分不开的。
数据好不好,最终要看它带来了什么
如果要生产高质量的数据,就一定会涉及数据评测,以及模型能力的评测。
一份数据能不能喂给模型做后训练,不能只看它表面上是否完整、是否像一个好样本。更关键的问题是:模型接受这些数据的训练之后,在我们关心的任务上,能力究竟是变强了,还是变弱了?
我希望自己能够用可量化的方式去评估这个变化。如果数据加入训练后,反而让模型表现变差,那么这份数据就没有起到预期的作用,甚至可能带来负面影响。
所以,在我目前的理解里,做数据不只是把数据生产出来,还需要有能力判断它的质量,并验证它对模型到底有没有帮助。
这个方向也给了我更多就业入口
我关注这个方向,还有一个很现实的原因:就业机会。
根据我最近读到的信息,我理解这类需求不仅存在于头部大模型公司的内部,也存在于一些专门提供后训练数据的外部公司,也就是数据厂商。
这些公司有机会面向多个模型团队提供数据和服务,不必只依赖单一客户。对我来说,这意味着除了直接进入大模型公司,也可以考虑先进入这类规模较小、业务更聚焦的团队,去做数据生产和评测相关的工作。
这也是我目前给自己选择这个方向的一个重要理由。
Infra 方面,我目前还有算力上的现实限制
我之前也关注 Infra,但目前一个很直接的限制是:我没有能够稳定、方便地使用的 GPU 资源。
即便身边的环境里有一些阿里的算力资源,也不意味着我可以自由使用。实际申请和使用起来并不方便,很难把它当成自己随时可以拿来做实验的条件。
因此,现阶段我想先把重心放在后训练数据的生产与评测上。这是我结合自己的背景、能接触到的资源,以及目前对就业机会的理解,做出的一个选择。先沿着这个方向实践,再用实际经历修正自己的判断。