学霸的模拟器系统: 第201章 SVM的黄昏与资本的嗅觉(求订阅求月票)
当晚。
科瓦利斯会议中心,C厅。
2007年的机器学习界,就像是一个等级森严的罗马斗兽场。
谷歌和微软的展台占据了正中央最显眼的位置。
他们不仅铺了厚厚的长毛地毯,还摆满了懒人沙发和免费的意式浓缩咖啡机。
谷歌甚至豪横地拉来了几箱刚发售的iPhone作为抽奖礼品,展台前排队领抽奖券的人一直排到了厕所门口。
相比之下,花了五万美金“插队”进来的以太动力展台,虽然位置紧挨着巨头,却显得有些......冷清。
一张桌子,两把椅子,几张印着复杂的蛋白质结构和神经网络拓扑图的海报。
这就好比在一群穿着比基尼的维密模特中间,突然站了一个穿着白大褂、戴着厚底眼镜的老学究。
路过的参会者大多只是瞥一眼那张海报上密密麻麻的数学公式,然后就转身去Google那边抢免费的飞盘了。
“这五万美金是不是打水漂了?”
程新竹坐在展台后,无聊地转着手里的圆珠笔,“过去半小时,只有两个迷路的本科生过来问能不能借个充电器。”
“那是他们不识货。”
方雪若整理了一下刚换上的黑色真丝衬衫,从名片夹里抽出几张烫金名片,“坐着等客上门那是小卖部做的事。在这种场合,你得学会‘狩猎’。”
说完,她端起一杯甚至还没喝过的红酒,踩着七厘米的高跟鞋,径直走向了休息区。
那里坐着几个穿着杰尼亚西装,没戴胸牌的中年人。他们的眼神不像学者那样聚焦在论文上,而是像雷达一样在人群中扫描。
那是来自沙丘路(Sand Hill Road,硅谷风投聚集地)的猎手。
雪若没有直接过去递名片。她假装在打电话,声音不大,但正好能让旁边的人听见:
“......对,辉瑞那边的二期款刚才到账了。但我还是那个意思,除非红杉能接受我们的估值模型,否则这轮融资我们不急着开......毕竟现金流很健康,我们没必要稀释股权………………”
“辉瑞”、“二期款”、“不急融资”。
这三个词就像是带着血腥味的鱼饵。
旁边那个正无聊地翻着会议手册的秃顶男人,耳朵瞬间竖了起来。
他瞥了一眼雪若胸前的牌子: Aether Dynamics, CFO。
五分钟后。
当方雪若挂断那个并不存在的电话时,那张名片已经自然而然地递到了对方手里。
“以太动力的小姐,我是KPCB(凯鹏华盈)的合伙人。听说你们在做AI制药?辉瑞那个PX-117项目是你们做的?”
“只是个小项目。”
方雪若矜持地笑了笑,那种“我不差钱”的态度拿捏得死死的,“我们主要是在做底层算法。您知道,辉瑞只是验证了一下我们算法的冰山一角。”
不到半小时,原本门可罗雀的以太动力展台前,多了好几个西装革履的投资人。
他们或许看不懂反向传播,但他们听得懂“辉瑞背书”和“独家专利”。
被推到前台讲解技术的程新竹,瞬间忙得不可开交。
“......是的,这不是黑箱。”
程新竹指着海报上的神经网络图,对一个试图搞清楚原理的投资经理解释道,“这就好比你在看书,你的眼睛不会盯着每一个字看,而是会跳跃,聚焦。我们的算法就是让计算机学会这种‘注意力’。
“我们在AD-01(阿尔茨海默症新药)的筛选中,就是靠这个机制,在几亿种分子里一眼看中了那个能穿过血脑屏障的结构。这不是运气,这是数学的必然。”
看着程新竹从一开始的结结巴巴,到后来挥斥方遒,把那帮投资人忽悠得一愣一愣的,方雪若满意地退到了角落,深藏功与名。
是的,以太动力暂时不需要投资。
以她对林允宁的了解,那个小家伙也不太可能接受风投的注资。
但只要在投资圈打响名气,未来的很多事情,都会好很多。
与此同时,B厅的学术报告现场。
林允宁坐在后排,手里拿着一支笔,笔记本上却是一片空白。
台上的演讲者是来自斯坦福的一位教授,正在讲《支持向量机(SVM)在图像分类中的核函数优化》。
幻灯片上全是凸优化(Convex Optimization)的公式,严谨、漂亮、无懈可击。
“只要我们找到那个完美的超平面,就能将猫和狗的数据点在万维空间里完全分开......”
台下掌声雷动。
2007年,是SVM和贝叶斯网络的黄金时代。
人们迷恋这种数学上有着严格证明,具有全局最优解的模型。
至于神经网络?
那是“炼金术”。
是非凸的,容易陷入局部极小值的,不可解释的黑魔法。
一个搞不清原理的黑匣子,注定不会成功。
林允宁听了一会儿,起身离开了会场。
在走廊的茶歇区,他看到了一个熟悉的身影。
一个留着法式微卷发型,戴着眼镜的中年人,正孤独地站在一张关于“卷积神经网络(CNN)”的海报前,手里拿着一块干硬的曲奇饼干。
他的海报前空无一人,和旁边SVM展区的水泄不通形成了鲜明对比。
Yann LeCun(杨立昆)。
未来的图灵奖得主,Facebook首席AI科学家。
但现在的他,还是个被主流学界排挤的“顽固分子”。
他的卷积网络虽然在90年代成功识别了手写数字,但因为算力限制和理论偏见,已经被学术界冷落了快十年。
林允宁走过去,站在那张海报前。
“局部连接,权值共享。”
林允宁看着海报上的结构图,轻声说道,“先生,您是在模仿人类视网膜的感受野(Receptive Field)。这才是图像处理的本质,而不是把像素拉成一条长长的向量去喂给SVM。”
杨立昆愣了一下,转头看着这个年轻的亚裔面孔。
“你看得懂?”
他的英语带着浓重的法国口音,“现在这帮年轻人,都在忙着推导核函数,已经没几个人愿意看这种‘老古董了。他们说这东西只有在识别邮政编码时才有用。”
“那是他们还没意识到算力爆炸的临界点快到了。”
林允宁指了指不远处正在展示GPU渲染技术的NVIDIA展台,“当显卡的浮点运算能力再翻两番,您这个‘老古董”就会变成吞噬一切的巨兽。到时候,那些漂亮的核函数在千万级像素面前,连跑都跑不起来。”
杨立昆的眼睛亮了。
那种眼神,就像是在茫茫荒原上遇到了唯一的同类。
“你是哪个实验室的?多伦多的?还是蒙特利尔的?"
“芝加哥大学,以太动力。”
林允宁伸出手,“林允宁。我也在做神经网络,不过不是卷积,是注意力机制。”
“注意力?”
杨立昆皱了皱眉,“那个O(N^2)复杂度的东西?想法不错,但那是死路。序列一长就崩了。”
林允宁笑了。
这已经是他在这个会场里第二次听到这句话了。
“教授,如果我把那堵墙拆了呢?”
林允宁从口袋里掏出那张他在飞机上写过的餐巾纸,递了过去,“如果复杂度变成了O(N),您觉得它还是死路吗?”
杨立昆接过那张皱巴巴的纸。
起初,他的表情是漫不经心的。
但当他的目光扫过那个利用核技巧拆解Softmax的公式时,他拿着饼干的手停在了半空中。
一秒,两秒,三秒。
法国人的瞳孔剧烈收缩。
“Merde...(见鬼)
他低声爆了一句法语粗口,“这是......这是作弊!你把非线性项提前了?等等,这在数学上是成立的......只要那个映射函数中存在……………”
“明天上午十点,C厅。
林允宁抽回那张餐巾纸,像是收回了一张藏宝图,“我会展示那个∮函数到底是什么。”
杨立昆看着眼前这个年轻人,像是第一次认识他一样。
“我会去的。”
他扔掉手里的饼干,拍了拍手上的碎屑,眼神变得严肃起来,“如果你明天真的能跑通这个Demo,哪怕是Google那帮鼻孔朝天的傲慢家伙们,恐怕也要把下巴掉在地上了。”
晚上九点,酒店房间。
方雪若正在盘点今天的战果:“三家VC留了名片,表示很有兴趣。还有两家药企想了解我们的筛选平台。虽然还没签单,但势头不错。
程新竹瘫在沙发上,嗓子都哑了:“我今天讲了不下五十遍血脑屏障,感觉嘴都要起泡了。”
林允宁站在窗前,看着楼下灯火通明的大学城。
他的电脑屏幕上,那个刚刚编写完成的线性注意力代码(Linear Attention Code)正在进行最后的编译。
进度条走到100%。
【编译成功。】
【内存占用预测:128MB(原算法需128GB)。】
【加速比:1500x。】
“早点休息吧。”
林允宁合上电脑,站起身来,转头对两位合伙人说道,“明天上午的场子,可能会比较......热闹。”
他想起白天魏斯那副傲慢的嘴脸,又想起杨立昆震惊的表情。
旧时代的余晖依然耀眼,支持向量机和核方法的信徒们还在欢庆他们的数学大厦坚不可摧。
但他们不知道,地基已经被抽走了。
明天,他要在那个舞台上,亲手按下一枚核按钮。
......