第401章 李东教授真是“好人”

(去读书 www.qudushu.la)    不过也正是这幅离谱的画面，让李东突然灵光一闪。

    他也顾不上眼前的诺维格教授了，而是直直的看着休息室里的三位巨头，脸上浮现出一个和蔼的笑容。

    “几位。”

    “咱们也别绕圈子了。”

    “我对ai的底层架构有兴趣，你们对我手里的降维算法有兴趣，这一点，大家心知肚明。”

    休息室里安静了下来。

    凯利三人交换了一个眼神……

    来了。

    “但我也实话实说。”

    “我那套内部闭源的2.1算法，是不可能放出来的。”

    “因为它存在理论缺陷。”

    “拿来跑一跑黎曼zeta函数的非平凡零点还行，可真要把它泛化到具体的工程级项目上，目前是不可行的。”

    这话李东说得脸不红心不跳，缺陷？你问问黎曼他答应吗？

    它不可能开源的原因，从头到尾只有一个……

    华夏现在还用着呢。

    听完这番话，对面三人眼明显露出了失望的神色。

    不过就在这时，李东话锋一转。

    “但是。”

    “我已经公开出去的那套1.0算法，其实是能够无缝桥接到大模型方向上的。”

    三个人失望的眼中爆发出精光。

    要知道，1.0那套基底开源这麽些年，各家私底下其实都在偷偷跑消融实验做适配。

    底层的数学红利或多或少吃到了一些，可“无缝桥接”这四个字，那还没有人能做到。

    而现在算法的主人在他们面前，亲口说能嫁接。

    斯——

    凯利轻轻的吸了一口气说道。

    “李东教授，您……有什麽条件？”

    李东摆了摆手。

    “哎，要什麽条件啊。”

    “我觉得，学术这个东西，本来就是属於全人类的。”

    “你们有什麽跑不通的地方，都可以问，最好是关於pre-training（预训练）、底层通信网络、工程收敛这些方向的，越底层越好，都可以尽量问我。”

    这下对面三个人是彻底呆住了。

    唐杰也傻了。

    他甚至咳嗽了两声，想提醒一下李东。

    兄弟，你知道自己在说什麽吗？

    李东则是不动声色地，冲他眨了眨眼。

    唐杰到了嘴边的话，又咽了回去。

    而此时，对面那三位，反倒有点拿不定主意了。

    这是什麽情况？

    李东，是这麽好的一个人吗？

    天上掉馅饼，还是请君入瓮？

    可三人在脑子里把利害关系飞快地推演了一遍，愣是没算出李东这麽做能图他们什麽。

    倒是数学圈里一直流传的那句话，不约而同地浮上了三个人的心头。

    李东，是一个纯粹的学者。

    看来，并不是空穴来风。

    於是三人齐齐地冲李东点了点头，凯利的声音里，带上了几分真诚的感激。

    “谢谢您，李东教授，人类ai范式的跃迁，离不开您的贡献。”

    “不过，请您稍等我们一下，具体到底层算子和分布式架构的东西，我们还需要把公司的chief scientist（首席科学家）叫过来同您面谈。”

    朗和哈特也跟着点头。

    这种硬核的局，带商务vp团队来纯属白给，必须把各自家里真正控盘预训练、手搓cuda算子的大牛请过来才行。

    “那行。”李东痛快地站起身“人到了，你们叫我，我先去和外面的同行们交流交流。”

    三人一时没反应过来，下意识地问了一句。

    “李东教授，您要交流什麽？”

    李东理所当然地说道：“当然是交流我那套降维算法的工程适配呀。”

    “毕竟，这也是为了推动全人类开源生态的发展嘛。”

    说完他朝三人笑了笑，推门走出了休息室。

    三个人花了足足两秒锺才反应了过来。

    外面的大厅里可全是竞品同行呀。

    “该死！”

    凯利第一个掏出手机，几乎是用吼的。

    “雅各布？对，是我！你现在，立刻，马上，飞首尔！”

    “什麽叫没排上商业航班？让後勤直接把公司那架湾流g650推出来！当场报备航线，快！”

    “我不管你卡上还挂着几个千卡集群的消融实验，天塌下来也先给我把显卡全停了！”

    另一边，朗背过身去，语速快得像在抢答。

    哈特那通电话表面上声调平稳，握着手机的手都鼓起了青经。

    三通电话，三个号码，内容大同小异。

    於是乎这一天的矽谷发生了一桩极其罕见的事情。

    三家巨头公司的私人飞机，在同一个下午先後从湾区的跑道上拔地而起，它们的目的地都是……

    韩国，首尔。

    ……

    休息室外。

    唐杰找了个没人的电话，拨通了一个国内的号码。

    他把会场这边刚刚发生的事，原原本本复述了一遍。

    电话那头沉默了几秒，然後笑了。

    “唐教授，把心放肚子里。”

    “你呀，还是不够了解李东教授。”

    唐杰握着手机，怔了一下。

    “……行，我明白了。”

    挂断电话後，他抬起头。

    目光穿过大厅里的人群落在那个正谈笑风生的年轻人身上，神情说不出的古怪。

    ……

    展区的另一边，独角兽联合展台旁的咖啡台。

    两个挂着参展商工牌的人，正端着咖啡闲聊。

    其中一位是埃里克万斯，矽谷一家ai独角兽的联合创始人，兼首席科学家。

    他们家的招牌是long context与极速推理，两年前靠一手“百万级context window”的硬核绝活一战成名，估值一路狂飙过百亿美元大关，是这条细分赛道上跑得最快的黑马。

    下午唐杰领着李东在大厅里寒暄的时候，万斯就排在换名片的队伍里，还很郑重地做过一番自我介绍。

    此刻他正和一位欧洲基础实验室的研究员聊得起劲，余光忽然瞥见一道身影朝这边走了过来。

    万斯扭头一看，整个人立刻精神了。

    他连忙朝那位研究员抱歉地举了举咖啡杯，丢下一句“回头再聊”，便快步迎了上去。

    “李东教授！”

    “万斯博士。”李东笑着同他握了握手，连破冰的废话都懒得铺垫，开门见山。

    “正好碰见你，我想问问你有没有想过，把我那套降维算法1.0完完全全地适配到大模型的底层架构上去？”

    万斯脸上的笑容，僵住了。

    随後转成了狂喜。

    他不知道李东为什麽忽然问起这个。

    可李东都这麽问了，这天下哪有不吃白食的道理？

    万斯深吸了一口气说道。

    “想过！李东教授，我们不光想过，还砸了真金白银进去跑过消融实验！”

    “您的降维算法里的fft网格的非线性展开，本质上是在做高维流形的低秩逼近，对吧？”

    “我们就把这套思路端到了长文本的kv cache上。”

    “给key-value矩阵强做低秩投影，切掉尾部的奇异值，显存开销当场砍下去七成。”

    “跑常规文本的perplexity，指标很稳，ppl几乎不掉点。”

    “可一上niah的精确检索评测，recall就当场崩盘。”

    “後来做可视化才定位到，attention矩阵的奇异值谱，是个极其极端的重尾分布。”

    “模型里那几个专司精确检索的attention head，要在几十万个token里捞出那根‘针’，它们学到的特征向量全挤在谱的尾巴上。”

    “我们把尾巴这麽一刀切，等於直接把这几个head的眼睛给挖了。”

    “李东教授，您那套算法算zeta零点的时候，奇异值截断比我们猛得多，凭什麽您的尖峰特征就能无损保留？”

    他说的问题，信息密度高得吓人。

    周围几个竖着耳朵的参展商，已经不动声色地朝这边围拢了过来。

    李东慢条斯理地开了口。

    “你这个问题，算是摸到门道了。”

    “但你们的方向，从一开始就歪了。”

    万斯一怔：“错在哪？”

    “错在你们想靠暴力的‘砍’去收敛边界。”

    “在我的理论框架里，svd谱截断压根不是c位，那只是工程落地时顺手的後处理。”

    “真正的杀招，是截断前的那次非线性流形重排。”

    “零点，是zeta函数的特征指纹。”

    “你说的精确检索，是全局序列的特征指纹，指纹这东西脾气很怪，选错了基底，你给它留再高的rank它也存不住，扔进正确的正交基底里，rank 1就足够表达了。”

    “所以，你们直接在kv的原始特征空间里强做低秩，纯属南辕北辙。”

    ……略

    “等特征重分布做完，你再去切奇异值，error bound（误差上界）自然就收敛了。”

    万斯听得连呼吸都屏住了。

    听起来……数学逻辑上完全能闭环啊！

    “那、那这个非线性重构算子，该怎麽参数化？”他急切地追问。

    “这就得看你们对自家数据分布的先验假设了。”李东高深莫测说道，“流形重构是同数据分布强绑定的，我总不能越俎代庖替你们去定义你们自己的预训练语料吧？”

    万斯重重地点头。

    有道理。

    这话简直不能更有道理了。

    “不过，”

    李东随口地补了一句。

    “我倒是好奇一件事。”

    “你们费这麽大的劲，又是投影，又是重排，折腾来折腾去，无非是想把那坨越来越臃肿的cache压小一点，对吧？”

    “那你们就没想过，干脆，把kv cache彻底扬了？”

    万斯愣住了。

    把cache扬了？

    attention机制不带cache，那他妈还叫……

    等等。

    他的瞳孔，缓缓地放大了。

    不知怎麽的，他脑子里那些散落了快一年的拚图碎片。

    线性注意力（linear attention）的递推范式，状态空间模型（ssm）的隐状态方程，还有上个月组会上被他亲手毙掉的那份疯狂的rnn变体提案，在这一瞬间，被一条逻辑链猛地串了起来。

    如果，hidden state不再是存放kv对的死仓库，而是一个活的“学生”呢？

    万斯整个人，僵在了原地。

    而站在他对面的李东，端着咖啡，笑眯眯地看着他。

    与此同时，记忆宫殿。

    大厅的正中央，凭空多出了一座临时的小书架。

    书架上，静静躺着一份崭新的文献。

    李东走过去，把它翻开。

    【将“记忆”从静态的kv cache，重构为动态更新的权重矩阵。】

    【hidden state不再是堆叠键值对的外部显存，而是内嵌於backbone中、在inference阶段同步迭代的微型模型。】

    【序列建模等价於在线元学习（online meta-learning）。】

    【每自回归生成一个新token，即向该微型模型输入一条样本，“检索回忆”等效於一次forward pass，“上下文记忆”等效於一步gradient descent。】

    【至此，context window长度彻底摆脱显存墙（memory wall）的物理桎梏，仅受限於内层学习器的参数容量与遗忘门控。】

    【信息压缩不再是暴力的有损截断，而是一场由目标函数驱动的端到端表征学习……】

    【至於内层学习器的loss function该如何设计，其权重更新又该如何与外层backbone的梯度反传实现数学上的解耦……】

    文献到这里，断了。

    李东合上这半截思路，眉毛轻轻挑了挑。

    在inference阶段，依然持续做training的模型？

    把几百万的context直接压进权重里？

    好家夥。

    这帮ai极客脑子里憋着的狠活，可比他们挂在arxiv上的水文，野得多了。

    退出记忆宫殿，现实里不过才过去了一两秒。

    李东心满意足，朝着万斯伸出手，和蔼地笑道。

    “万斯博士，和你交流技术很愉快。”

    万斯下意识地握住那只手点了点头。

    他整个人，还在李东方才给他的那套“保谱非线性流形重排”里没出来。

    回去就让底座团队把重构算子的参数化方案，在合成数据上挨个跑通！谱头！得让针挪到谱头上去！

    等他回过神来的时候，李东已经走出去七八米远了。

    而李东一边走，一边在心里慢悠悠地补了一句。

    逻辑要是真能闭环，老子李东的名字倒过来写。

    ……

    平心而论，这事不能怪万斯博士不够顶尖。

    要知道，今天这座展厅里，坐着全世界小半个ai产业的智商天花板。

    可把这几百号人的纯数学功底统统加在一起，也未必够得上李东一个打的。

    所以李东随随便便偷换一个高维流形的概念，或者把他那套降维算法上的微分算子拆下来，重新包装进ai的黑话语境里，听上去就格外自洽，格外有第一性原理的降维打击感。

    什麽“指纹要扔进正确的正交基底”，什麽“强行让针从谱的尾巴跃迁到谱头”。

    句句符合直觉，字字切中痛点。

    可你真要拿着这几句话回实验室调参落实，烧上三个月a100就会发现一个朴素的事实……

    针要是他妈的知道怎麽自主跃迁去谱头，它还能叫针吗？

    这就好比一位物理宗师告诉你，实现常温超导的诀窍，是在电子撞击晶格之前，先给它规划一条没有电阻的绝对平滑轨。

    听的时候，醍醐灌顶，以为找到了发《nature》的捷径。

    跑的时候，loss爆炸，连显卡都得烧冒烟。

    ……

    而李东对此，毫无心理负担，毕竟李东也没骗人，只是给他们的路全是真的，但是没有细节而已。

    他端着那杯早就凉透的咖啡，在偌大的展厅里，一个挨着一个地薅了过去。

    在一家以sora类视频生成闻名的多模态公司展台前，他同对方的预训练负责人，切磋了一下“高维时序数据的流形展开”。

    十分锺後，记忆宫殿的书架上多了一份文献。

    【抛弃基於像素重建的视频生成范式，将其重构为可交互的world model（世界模型）：输入action，自回归预测next state，让agent在隐空间的“世界梦境”里，率先完成对现实物理法则的低成本试错与先验对齐。】

    然後又在一家以模型可解释性研究出名的初创实验室那边，他同一位核心研究科学家，探讨了“高维隐空间内的稀疏结构”。

    书架上又多了一份……

    【模型内部的特征存在严重的polysemanticity，单个神经元往往身兼数职。】

    【引入稀疏自编码器作为外挂字典，将纠缠的特征解耦成单义的线性组合，再沿着计算图回路，对大模型的幻觉或越狱行为执行定点编辑。】

    再往後，是一位做非自回归生成架构的独角兽cto，聊的是“并行拓扑展开与采样收敛路径”。

    灵感再次+1

    【打破语言模型从左至右next-token prediction的强制因果约束。】

    【将全局序列视为高斯噪声，引入diffusion架构全序列并行去噪，在迭代采样路径中，赋予模型在隐空间内反悔与自我纠错的非马尔可夫演化能力。】

    一圈聊下来，记忆宫殿大厅里的临时书架，已经密密麻麻堆满了。

    李东站在书架前，望着那一份份字迹崭新的文献，由衷地发出了一声感叹。

    这些开源布道者，真是大好人啊。

    而与此同时，展厅的各个角落里。

    那些刚同李东教授做完深潜级技术交流的各路大佬，也都在心里发出了同一声感叹。

    李东教授，真是个开源先驱的好人啊。

    ……

    vip休息室的门口。

    凯利、朗、哈特，三个人并排站着，谁也没有说话。

    他们就这麽眼睁睁地看着，李东从算力芯片生态的展台，溜达到头部云厂商的展台。

    前一刻还在同他们竞品家的资深研究员谈笑风生，下一刻就同他们战略合作夥伴家的技术副总裁相见恨晚。

    全场上下，凡是工牌上印着scientist（科学家）或者engineer（工程师）字样的核心高管，几乎被他一对一深聊了个遍。

    而且每聊完一个，那些人脸上都会浮现出一种拿到神级paper一作般的潮红。

    三个人的心，一点一点地往下沉。

    也不知道，这帮家夥背地里又掏出手机给自家的算力集群下了多少调参指令了。

    哈特低头看了一眼手机上的航班追踪软件。

    地图上那三个小小的飞机图标，才刚刚飞过白令海峡。

    凯利也没有说话，只是再一次拨通了那个号码，对着听筒吼道。

    “雅各布，马上把pre-training组全员拉进线上会！”

    “在飞机落地前，把李东教授开源仓库里的每一行代码连带着底层算子，全给我逐行盘一遍！”

    去读书 www.qudushu.la