2008年的春天,对于以太动力来说,是一个在废墟上狂欢的季节。
    随着几笔巨额资金的注入,南环区这层原本空旷冷清的办公楼,如今拥挤得像个早高峰的地铁站。
    空气中弥漫着繁荣而焦躁的味道。
    左边的玻璃房里,苹果派驻的热工程团队正在用咆哮般的音量争论iPhone 3G的散热模组公差;
    右边的开放区,辉瑞的药学家们穿着白大褂,对着正在装修升级的临时实验室指指点点;
    而角落里,红杉资本的财务审计团队正像防贼一样,在一摞摞报销单里寻找哪怕一美分的漏洞。
    这是一家初创公司爆发前夜特有的混乱与生机。
    上午九点半。
    电梯门开。
    “滋??”
    一阵滑板轮子碾过瓷砖的声音切开了嘈杂。
    克莱尔?王踩着一块涂鸦长板,像条泥鳅一样钻进了办公区。
    她没穿那天的面试装,而是套着件当季新款的Miu Miu短款针织衫,露出一截紧致的腰线。
    下身是一条洗得发白的高腰阔腿牛仔裤,脚踩Vans板鞋。
    脖子上挂着莱卡相机,手腕上那几个冲浪手环随着动作叮当乱响。
    既不是硅谷那种“格子衫+拖鞋”的邋遢极客风,也不是华尔街那种“把钱穿在身上”的精英风。
    而是一种漫不经心的时髦,一种“我刚从Coachella音乐节回来顺便写个代码”的松弛感。
    身为Facebook上的初代网红,对时尚的拿捏自成一派。
    “早,Boss!"
    克莱尔一个漂亮的收板动作,稳稳停在林允宁的工位旁,顺手把一杯星巴克放在他桌上,“我看你脸色不太好,特意给你加了双份浓缩。”
    林允宁正对着屏幕发愁,闻言抬起头,接过咖啡喝了一口:
    “谢了。欢迎入职,你的工位在里面,机房旁边。”
    克莱尔环顾四周,看着那些吵架的苹果工程师和板着脸的辉瑞专家,吹了个口哨:
    “哇哦,这地方比我想象的还要......热闹。看来我要在这种大杂烩环境里工作了?”
    “习惯就好。”
    林允宁站起身,“走吧,带你看看你的武器库。”
    推开机房厚重的隔音门,巨大的风扇轰鸣声瞬间淹没了外面的喧嚣。
    数千张NVIDIA Tesla C870显卡在黑色的机柜中闪烁着幽幽的蓝光,热浪扑面而来。
    克莱尔走到终端机前,熟练地敲击键盘,查看集群状态。
    “Tesla C870...嗯,虽然是现在的卡皇,但显存只有1.5GB。”
    她看着屏幕上的参数,眉头微微皱起,转头看向林允宁,“Boss,你确定我们要在这个‘显存只有指甲盖大小’的东西上跑Attention机制?
    “虽然你那天画的Q、K、V公式很迷人,但你我都知道,全连接的自注意力矩阵(Self-Attention)是O(N^2)的复杂度。
    “如果我们要处理一篇几千词的论文,生成的矩阵会瞬间撑爆这可怜的1.5GB。我们还没开始训练,显卡就要报警了。”
    “谷歌那边有什么秘密武器吗?”
    林允宁靠在机柜旁,随口问道。
    “并没有。”
    克莱尔耸耸肩,“杰夫?迪恩他们也是用堆机器的笨办法,或者把模型切得碎碎的。虽然有些传闻说他们在搞专用的ASIC芯片,但那还在PPT阶段。”
    “这也是我想做的。”
    林允宁眼神一凝,指了指那些显卡,“以后有了钱,我们会研发自己的芯片,专门为矩阵乘法设计的处理单元。但那是以后。现在,我们得带着脚镣跳舞。”
    “怎么跳?”
    克莱尔挑眉,“把序列截断?只读摘要?或者用你之前在ICML上提出的那个线性注意力模型?”
    林允宁看了看克莱尔,没想到她居然对自己的工作这么了解。
    但他摇了摇头:
    “不。之前的线性注意力 (Linear Attention)虽然快,但它采用了核函数近似,丢失了太多细节。对于我们要做的‘自然语言阅读助手来说,精度不够。”
    林允宁想了想,走到白板前。
    拿起笔,在上面画了一个巨大的方格矩阵。
    “克莱尔,从语言学的角度想一想。当你读一篇论文时,你的注意力是均匀分布的吗?”
    “当然不是。”
    克莱尔立刻跟上了思路,她走到白板前,抢过林允宁手里的笔,在矩阵对角线上画了一条粗线,“大部分时候,词只和它前后的词有关。比如‘卷积神经网络,这三个词是紧密绑定的。这是局部性(Locality)。”
    “没错。”
    林允宁点头,然后伸手在矩阵的空白处随机点了几个点,“但还有一种情况。比如文章开头的‘定理1',和文章结尾的‘证明完毕,它们距离很远,但逻辑上是强相关的。”
    “这是长程依赖。”
    克莱尔眼睛亮了,“所以......我们不需要计算整个NXN的矩阵?”
    “我们只需要计算这条对角线”,再加上这几个‘随机点’。
    林允宁在白板上写下了一个新的复杂度公式:
    Complexity: O(N^2)-> O(N log N)
    “我们保留局部的滑动窗口,再引入少量的全局Token作为信息高速公路。剩下的90%空白区域,直接置零,不参与计算。”
    林允宁看着克莱尔,微笑道:
    “我们就叫它......稀疏注意力(Sparse Attention)吧。
    “既然显存装不下整个世界,那我们就只保留世界的主干。
    “这样,哪怕是1.5GB的显卡,也能吞下整篇论文。”
    克莱尔盯着白板上的图示,眼神从审视变成了兴奋。
    作为普林斯顿的计算机博士,她太清楚这一刀“剪枝”切得有多精准了。
    这不仅是工程上的妥协,更是一种对语言结构的深刻洞察。
    "1560......"
    克莱尔把玩着手里的马克笔,嘴角勾起一抹极客特有的狂热笑容,“这就像是在拥堵的高速公路上,直接给数据开了个虫洞。
    “Boss,我现在承认,你的数学直觉确实比谷歌那帮老头子厉害多了。
    “给我两天时间,我把CUDA内核重写一遍,让它支持这种稀疏矩阵乘法。”
    “交给你了。”
    林允宁满意地笑了笑。
    跟聪明人打交道,就是简单。
    有了克莱尔这个科班出身的高材生,自己可以省下很多处理琐事的时间了。
    然而,他却没料到,这位兼职网红的到来,带给以太动力的影响可远不止是学术上的。
    三天后,中午十二点。
    茶水间。
    自来熟的克莱尔,没几天就跟公司上上下下都混得极熟。
    她父亲是华夏港岛人,母亲是俄国人,自小在美国长大,英语、俄语包括普通话和粤语都相当流利,与人沟通毫无障碍。
    此时,她正端着一杯燕麦拿铁,靠在吧台上,用一口流利的普通话跟程新竹和方佩妮八卦。
    “哎,咱们Boss除了写公式,有私生活吗?”
    克莱尔眨着眼,“我看他对女生绝缘啊,是不是有什么难言之隐?”
    “啊?”
    单纯的程新竹愣了一下,手一抖,差点把手里的饭盒掉了,“这个......允宁他好像一直都很忙......”
    “那就是心里有人了?”
    克莱尔敏锐地捕捉到了程新竹的迟疑,立刻来了精神,“是不是那个经常来找他的长腿美女?叫沈知夏的那个?”
    佩妮在旁边推了推厚重的黑框眼镜,小声说道:
    “那是林总的好朋友......从小一起长大的......”
    “啧啧,青梅竹马,养成系啊。”
    克莱尔一脸磕到了的表情,拿出手机开始翻看,“怪不得他对别的女生都冷冰冰的。看来这块高岭之花是有主的。”
    正聊着,高跟鞋的声音如同精准的节拍器,由远及近。
    方雪若走了进来。
    她今天穿着深蓝色的阿玛尼职业套裙,手里拎着一只大象灰的爱马仕铂金包(Birkin 30),整个人像是一把打磨得发亮的手术刀,散发着生人勿近的冷气。
    “聊什么呢?这么开心。”
    雪若淡淡地问了一句。
    茶水间瞬间安静,连空气都凝固了。
    唯独克莱尔不怕死。
    “聊八卦呢。”
    克莱尔转过身,上下打量了一下雪若,目光停在那只铂金包上,嘴角勾起一抹挑剔,
    “雪若姐,这包是经典款。但这身衣服......是不是太紧绷了?
    “现在流行Mix & Match(混搭)。你要是换件丝绸衬衫,解开两颗扣子,会更Chic一点。现在这样,有点像要把谁吞并了的女魔头。”
    旁边的方佩妮吓得把头埋进了饭盒里。
    敢当面教方雪若穿搭?
    这是不想干了?
    然而,方雪若并没有像她们想象中那样生气或者窘迫。
    她把那只价值一辆轿车的包轻轻放在吧台上,动作优雅得像是在进行茶道。
    她转过头,看着克莱尔那身破洞牛仔裤,眼神平静,却带着一种高维生物俯视低维生物的压迫感。
    “Claire,你很懂流行。”
    方雪若把包轻轻放在吧台上,语气平静却带着一种碾压般的气场,“但在我的世界里,不追逐流行。
    “这身衣服代表的是专业,这只包代表的是资本的信誉。
    “坐在谈判桌面那群老狐狸,不需要我看起来‘别致,他们需要确认我有掌控每一美分的绝对理性。
    她端起水杯,抿了一口,红唇微启:
    “你的风格适合写代码,很自由。但我的风格......是用来赢的。”
    说完,她拎起包,转身离开。
    高跟鞋的声音依旧精准,没有一丝乱了节奏。
    克莱尔愣了两秒,随即吹了声口哨,眼神里反而多了点欣赏:
    “哇哦。好酷的姐姐。咱们公司原来不止有老板那个怪胎,还有女王啊。”
    接下来的几天,以太动力的员工们发现,这位新来的AI主管简直是个精力过剩的怪物。
    白天,她像个疯子一样在机房里重写CUDA底层代码,为了优化一个矩阵乘法的算子,能对着屏幕骂上一小时的娘,然后又兴奋地大叫。
    而到了晚上,当大家准备加班时,她却已经换上了亮片吊带裙,化着夸张的烟熏妆,拉着公司里的年轻人要去探索芝加哥的地下酒吧。
    “工作是工作,生活是生活!”
    这是她的口头禅。
    虽然程新竹和佩妮每次都被她的大胆穿搭吓得不敢睁眼,但在她的带动下,这两个只知道闷头干活的小姑娘,脸上也开始有了不一样的神采。
    转眼到了周五。
    芝加哥的夕阳把以太动力的玻璃幕墙染成了金红色。
    按照惯例,今天是所谓的“Happy Hour”。
    克莱尔早早从机房钻了出来,把茶水间改造成了临时化妆室。
    她在里面支起了一面带LED灯的化妆镜,桌上铺满了令人眼花缭乱的眼影盘、高光粉和几件看起来布料少得可怜的衣服。
    “别动,新竹,眼线歪了!”
    克莱尔一手托着程新竹的下巴,一手拿着眼线笔,神情比写代码还要专注。
    她自己已经换好了一身“战袍”??
    一件亮片缀满的电光蓝露背吊带短裙,下身是破洞极大的黑色渔网袜,脚踩着一双十厘米的铆钉高跟靴。
    原本盘在脑后的粉色头发此刻蓬松地披散下来,化着夸张的烟熏妆,整个人就像是一颗要在夜色中爆炸的迪斯科灯球。
    这副打扮如果让李飞飞教授看到,估计能直接气晕过去。
    “Claire......这、这裙子是不是太短了?”
    佩妮缩在一旁的椅子上,看着手里那条只有巴掌大的银色短裙,推着眼镜的手都在抖,“而且这上面全是洞......会不会漏风啊?”
    “漏风才凉快!我们要去的是Underground Club,那里热得像蒸笼!”
    克莱尔头也不回,此时她刚刚给程新竹画完了左眼的截断式眼影。
    那种冷艳的金属色泽,让这个平时只会穿卫衣的乖乖女瞬间有了几分赛博朋克的味道。
    程新竹看着镜子里的半张脸,眼睛瞪得像铜铃
    “天呐......这真的是我吗?好......好妖艳!”
    “这叫Slay全场!”
    克莱尔打了个响指,转身去拿腮红刷,“Penny,别磨蹭,赶紧换衣服!今晚咱们是以太动力女子天团”,不仅要搞定代码,还要搞定舞池里的………………”
    “咳咳。”
    一阵尴尬的咳嗽声打断了克莱尔的施法吟唱。
    她手一抖,腮红刷差点戳进程新竹的鼻孔里。
    三人回头,只见林允宁正站在茶水间门口,手里拿着一叠打印出来的Log日志,表情复杂地看着眼前这一幕????
    狂野的克莱尔,抱着短裙瑟瑟发抖的方佩妮,还有......画了一半,左眼妖艳右眼清纯,看起来像个精神分裂患者的程新竹。
    "......Boss?"
    克莱尔最先反应过来,她并没有因为穿着暴露而感到羞涩,反而大大方方地摆了个Pose,“怎么样?今晚的公司团建造型,还满意吗?”
    林允宁看着这一屋子的渔网袜和亮片,无奈地揉了揉太阳穴,尽量让自己的视线避开那些尴尬的位置,专注于工作:
    “造型很有创意。但是克莱尔,恐怕你的团建得推迟一下了。”
    “What?”
    克莱尔发出一声惨叫,“今天是周五!是神圣的Party Night!”
    “我知道,我也很不想当那个扫兴的人。”
    林允宁叹了口气,扬了扬手里的日志,“但是稀疏注意力的模型训练出问题了。
    “代码是跑通了,显存也没爆。但是Loss(损失函数)曲线......它不但没下降,反而在做布朗运动。
    “模型好像并没有学会读论文,它好像......疯了。
    “咱们折腾了一周的AI,现在是个只会输出乱码的智障。
    克莱尔的脸瞬间垮了下来。
    她哀怨地看了一眼还没化完妆的两个小迷妹。
    “你们......先自己练练化妆技术......我去去就回。
    程新竹顶着那张阴阳脸,可怜巴巴地点了点头。
    机房里,冷气森森。
    克莱尔裹了一件林允宁备用的卫衣,遮住了那身火辣的吊带裙,但这丝毫掩盖不住她身上的怨气。
    “Boss,咱们打个赌。”
    她盯着屏幕,“我要是解决了,你得跟我们一起去夜店,并且买单。”
    “成交。”
    林允宁想也没想,随口答应下来,指了指屏幕。
    屏幕上,两人最新搞出的自然语言处理(NLP)模型??Aether Reader 0.1版本的输出窗口正在滚动。
    这是个类似问答助手的初代模型,类似后世的ChatGPT,但限于算力和训练参数,功能差了何止十万八千里。
    林允宁输入了一个简单的问题:
    Query: What is the Heisenberg Uncertainty Principle?(海森堡不确定性原理是什么?)
    模型思考了三秒,吐出了一段文字:
    Answer: The Heisenberg Uncertainty Principle is (Image 3] available at Acknowledgements: We thank Prof. Smith for coffee. Fig 2 shows the cat is dead.
    (答案:海森堡不确定性原理是[图片3]可访问链接...致谢:感谢史密斯教授的咖啡。图2显示猫死了。)
    林允宁指着这段胡言乱语,一脸无奈:
    “看见了吗?它根本没在读内容。它把图表索引、网页链接、页眉页脚的致谢词,甚至还有这不知道哪来的‘猫死了’全都混在一起了。
    “稀疏注意力虽然解决了显存问题,让它能‘吞’下长文章,但它好像消化不良了。”
    克莱尔笑了笑,扭过头看着林允宁:
    “老板,你从哪里搞来的数据?”
    “临时没有合适的分类数据源,我从网上用爬虫批量下载作为测试用的。”
    克莱尔拍了拍林允宁的肩膀:
    “好了,你输了,今晚准备好跟我们去夜店买单吧。
    “这是因为数据太脏了。你用爬虫抓下来的PDF,需要大量的清洗。
    "Garbage in, Garbage out,你喂给它的是混着沙子的生米,它能给你煮出饭来才怪。”
    林允宁想了想,点了点头,看着克莱尔:
    “那按照这个情况,我们需要写正则表达式去过滤页眉页脚?还是人工标注?这至少需要一周的时间。
    “今晚先别出去玩了,等搞好了我给你放假......”
    “停停停!”
    克莱尔猛地抬手,打断了林允宁关于“加班”的可怕设想。
    她盯着屏幕上那些乱码,不仅没有沮丧,反而像是松了一口气。
    “就这?”
    她挑了挑眉,那双画着烟熏妆的眼睛里闪过一丝狡黠,“Boss,你数学是天才,但在这种脏活累活上......你是个弟弟。
    “想用正则表达式去洗几万篇排版各异的PDF?那你洗到明年也洗不完。
    “有的论文是双栏,有的是单栏,有的公式是图片,有的公式是Latex......正则规则会写死你的。那是上个世纪的做法”
    她一边说着,一边从那个镶满水钻的晚宴包里,掏出了一个看起来普普通通的黑色U盘。
    “还好,本小姐早有准备。”
    克莱尔把U盘插进服务器接口,得意地笑着,那是一种即将要把老板按在地上摩擦的自信:
    “为了今晚的Party,我必须拿出我的大杀器了。
    “Boss,让开点。让你见识一下,什么是普林斯顿‘懒人'的最高智慧??
    “Project Washer (洗衣机计划)。”
    她修长的手指悬在回车键上,转头冲林允宁眨了眨眼:
    “准备好见证奇迹了吗?”