第111章 黎明
第111章 黎明“吴老师，我请您吃饭吧！”
看吴辰转身要走，林静连忙邀请道。
但吴辰摇了摇头。
“我现在就回杭城了，下次再说好了。”
林静还想再劝，但吴辰的態度也很坚决，最终只得訕訕放弃了。
坐上车后，吴辰接到了閔欣柔的电话。
“吴老师，妈妈说她收到您给的钱了，谢谢您。”
“不用，这本来就是你的工资。”
吴辰说。
但閔欣柔还是很感激。
之前她想给林静钱，但林静不给她银行卡號，所以拜託吴辰有空的话送现金给她。
听著电话中轻浅的呼吸声，吴辰能听出来她对母亲的思念。
不过他也不好多说什么，只是道：“晚上我到家了，你把做好的成果给我看看。”
“好，那我等您回来。”
閔欣柔温温柔柔的说。
掛了电话，吴辰就闭上眼睛，靠在椅背上休息了起来。
回到厂里，姜楠已经等在厂门口了，手里还拎著自己的行李箱和吴辰的手提包。
厂里的管理人员则围了她一圈，点头哈腰的匯报著工作。
车停好后，吴辰也简单叮嘱了几句，便和姜楠一起坐上车，朝宝安国际机场出发了。
管理这方面的事情，他还是信任姜楠的能力的。
走了一会儿后，姜楠问他：“防尘网的事情找好了吗？”
“没合適的，不过这个不著急，后边再来处理也是一样的。”
吴辰面不改色道。
阿彪从后视镜里看了吴辰一眼，不禁感慨还得是文化人会玩啊。
不过他什么都没说。
2008年的科研经费报销没那么严格，所以吴辰大方的请姜大小姐坐了头等舱，到时候直接走实验室的费用。
而且这几天姜楠也確实辛苦了，一上飞机就沉沉的睡了过去。
她的工作能力，完全对的起那1%的股份分红。
不过她应该想不到这1%会比她想像的值钱的多。
由於她就坐在旁边，所以吴辰也没享受头等舱特有的摸空姐丝袜服务。
落地萧山机场后，吴辰把车从停车场开了出来。
明明2800块的机票他都不心疼，但240块的停车费他是痛彻心扉。
把姜楠送到家时已经是晚上10点了，吴辰拒绝了她上去做做的邀请。
毕竟姜鸿约和来淑嫻在家，吴辰实在不想再客套了。
他现在一门心思都放在包里的八张计算卡上。
现在距离点亮它们，开始训练gpt—1已经只有一步之遥了。
一路风驰电掣，吴辰一个小时就回到了小和山公寓的楼下。
抬头望向亮著灯的房间，他还是心中稍微有些触动。
有人等在家中的感觉其实挺好的。
算起来他也有段时间没回家了，等过年的时候是该早点回去看看父母了。
上楼后，吴辰还没掏出钥匙，房门就被轻轻打开了。
閔欣柔和吴淑芬站在门后。
“老师，您回来了。”
閔欣柔一边轻声喊著他的名字，一边把他手里的包接了过去。
不过入手时，她显然没想到那么沉，差点脱手掉在地上。
“小心点，这里面可是能让你做的bpe真正发挥作用的东西。”
“对，对不起。”
听到这么贵重，閔欣柔连忙道歉。
“没事，你把论文准备好我看看，要是没问题，就要准备下一阶段的工作了”
。
吴辰一边回答，一边摸了摸吴淑芬的肚子，发现它吃的跟猪一样。
这小东西在家还吃的挺好。
等他回房间换好睡衣出来，閔欣柔已经乖乖的坐在桌边等著他了。
除了打开的论文外，还有一碗砂锅粥。
浓浓的粥厚重而醇香。
虽然头等舱的飞机餐不错，吴辰吃的也很饱，但还是被打开了食慾。
於是他端起碗，呼啦啦的吃完了，胃里暖暖的。
將碗放到一边，吴辰没看閔欣柔弯弯的眉眼，只是道：“你讲讲你写的论文吧。
“
“好的老师~”
“我看了您留给我的几篇论文，尤其是关於子词正则化（subword
regularization）的那几篇读完后很受启发，所以重新思考了我们的bpe算法的目標。
您说过科大讯飞和搜狗他们会给我们大量的网络语料，但噪声很多，所以我实现了您提到的基於抽样的多种分词结果生成，在合併词表时，不再只选取绝对最高频的字节对，而是引入一个概率分布，让一些次优的合併也有机会被选中。
这样，同一个句子在每次处理时都可能得到略微不同的、但都合理的分词序列，相当於做了数据增强。”
吴辰一边听，一边暗自点头。
她確实理解了自己想要的东西。
让分词本身成为模型的一种正则化手段，而不仅仅是一个预处理步骤。
不过当她讲到如何將这种多可能性分词结果整合进后续步骤的时候，吴辰皱了皱眉。
“停，往上翻。”
閔欣柔连忙照他说的做。
吴辰仔细看了一下。
她的实现是在训练前，为每个句子预先採样生成n种分词结果，然后一起餵给模型。
思路是对的，但方法太粗暴了。
如果为每个句子都预生成多个版本，训练数据体积会爆炸，10也会成为瓶颈，严重拖慢训练速度。
靠他手搓的八张显卡，根本完成不了这样的任务。
必须要在动態和效率之间取得平衡。
吴辰拿起笔，在草稿纸上画了一个简化的流程图。
不能数据预处理阶段做，而是在训练时，在数据加载器內部做。
也就是每次向模型送出一批数据时，现场为其中的每个句子按概率採样一种分词结果。
这样做的话，同一个句子在不同训练周期见到模型时，可能就是不同的面貌，既实现了正则化，又避免了存储开销，计算代价也可控。
吴辰一边画，一边给閔欣柔讲起了修改方法。
閔欣柔则手指飞快的將吴辰说的每个字都记了下来。
只是在吴辰说话的停顿间，她突然有些恍惚，觉得好像回到了三天前的那个晚上。
等讲解完成后，吴辰又通篇看了一遍，发现其他地方都没什么问题。
於是他道：“你先按这个思路改，儘量三天內做完给我看看。”
“嗯！
”
閔欣柔重重的点头。
大三上学期的课程不多，每周只有10节课不到，所以她有足够的时间。
在她开始修改后，吴辰也整理起了自己要做的工作。
按照目前的进度，理论方面他已经完成了word2vec，位置编码和多头注意力机制的推导。
加上閔欣柔完成的bpe分词。
那么剩下的，就只有一件事。
他打开了word，打算完成最终的一块拼图。
transformer架构。
所有未来人工智慧大语言模型的起点。
它就在那篇经典、著名的论文中。
《attentionlsallyouneed》。
当吴辰敲下第一个字母的时候，明明是秋老虎最囂张的时候，但他依然感觉到一丝凉意在脑海中蔓延开来。
这和系统无关。
只是他自己太过激动罢了。
对这篇论文的內容，他上辈子早已背的滚瓜烂熟。
所以手放在键盘上时，根本就不需要思考。
“the dominant sequence transduction models are based on（主流的序列转换模型基於复杂的循环或卷积神经网络）————”