李沐大模型公司细节曝光,项目GitHub空仓标星超500

原因之一,就是李沐和Alex Smola都是AI领域里有技术、有名气的大牛 。
AI 2.0时代 , 创业赛道上众星云集,李沐和Alex Smola弃亚马逊入大模型,属于是有名气、有技术的人投身最明星的赛道,当然格外耀眼 。
李沐,二者之间大家比较熟悉的那一位 。
自己有很厉害的经历,加上在小破站传道授业,打下了响当当的知名度 。
而Alex Smola,更是一个AI届的神级大牛 。
直接上数据:
Smola在 上的被引用次数,超过17万次 。
其中,被引次数前三的所著论文,被引数统统破万 。
除了是ML著作《动手学深度学习》的主要作者外,Smola这些年的履历也很值得好好了解一番——
1996年 , Smola在慕尼黑工业大学完成硕士学业,而后又在柏林工业大学拿下计算机科学博士学位 。
博士毕业后,他先后去往柏林GMD软件工程和计算机体系结构研究所、NICTA(澳大利亚信息与通信技术研究中心)工作 。
2004年起,Smola在NICTA的统计机器学习项目中,担任高级首席研究员和项目负责人;到了2008年,Smola选择入职雅虎研究院 。
2012年春天到2014年年底 , 2年多的时间里,Smola的工作地点是谷歌研究院 。

李沐大模型公司细节曝光,项目GitHub空仓标星超500

文章插图
期间 , 他开始担任CMU的教授 。也是这个时候,他成为了李沐的博士导师,二人结缘 。
2016年7月 , Smola成为了亚马逊的一员,致力于构建AI和机器学习工具 。
他的首要任务之一,是让AWS和开发者社区建立和保持联系 。
具体来说,他的工作是让更多的开发者共同建设亚马逊深度学习库MXNet 。
离职创业前,Smola在亚马逊担任的职位是杰出科学家和副总裁 。
值得一提的是,由于Smola在分布式深度学习框架领域曾提出并行LDA()的框架——这是参数服务器概念的最早来源,因此 , Smola也被业界称为参数服务器之父 。
参数服务器,以共享的形式实现不同节点之间数据交互的通信模式 。
其采用了一种将模型参数中心化管理的方式,来实现模型参数的分布式存储和更新 。
它的作用在于存储一些多节点共享的数据,常适用于存在数据共享的应用场景 。
在大模型当道的现在,我们也可以说参数服务器的提出对大模型训练的性能和效果发挥着重要作用 。
另一个值得期待的原因 , 就是李沐和Smola师徒二人,此前有过一次还算成功的创业经历 。
李沐大模型公司细节曝光,项目GitHub空仓标星超500

文章插图
Smola是李沐在CMU读博期间的导师 , 那时候两人曾一同创办数据分析算法公司 Labs,Smola任CEO,李沐任CTO 。
李沐在《博士这五年》一文中提到,那次创业,他们拿了几十万投资,风风火火干了好一阵,最后把公司卖给了一家小上市公司 。
结束这段创业经历后,两人才先后踏入亚马逊公司的大门 。
直到今年2月,Smola在领英宣布离职,成立新公司并担任CEO 。
他在领英资料里提到:
我们正在建造一个大项目……请继续关注 。如果你想在可扩展基础模型上工作,请告诉我 。
随后传出消息,这个“大项目”就是Smola和李沐的二次联手创业 。
不过直到现在 , 除了悄悄招人扩大团队以外,Boson.ai没有再多的公开大动作 。
包括李沐的领英,最新动态仍然停留在他的亚马逊经历 。
One More Thing
因此 , 在得知李沐老师要用大模型能力做游戏引擎后,我们第一时间兴奋地冲向了Boson.ai的主页 。
有点遗憾,仓库和几个月前官宣时一样,没有什么新变化 , 也没有任何与游戏相关的蛛丝马迹 。
但是就这么一个什么也没有的主页,已经有近500颗星了……
【李沐大模型公司细节曝光,项目GitHub空仓标星超500】—联系作者—