共计 814 个字符,预计需要花费 3 分钟才能阅读完成。
长文本是关键 。在与杨植麟的长达两个小时的交流中,他提到的观点让我印象深刻: 无损长上下文是实现 AI-Native 产品的基础。在 2023 年 10 月,他创立的月之暗面首次推出了支持 20 万字输入的 moonshot 模型和智能助手 Kimi,专注于长文本的处理。因为他判断,AI-Native 产品的终极价值在于能够实现个性化交互,而这一切依赖于长期的用户交互历史。
杨植麟被誉为天才的 AI 科学家和连续创业者,在这次深度访谈中,他再次证明了自己对大型模型的深刻理解。他对微调和 tokenizer 的观点颇具争议:认为微调终将消失,tokenizer 也许并非必需。他对数据瓶颈和能源限制有不同看法,认为多模态技术能缓解数据不足,而合成数据可以通过改变计算方式来解决能源问题。
此外,关于如何超越 OpenAI,他强调技术愿景的重要性,认为领导者需要做出技术判断并付诸执行。他指出,月之暗面希望比 OpenAI 更关心用户,因为有效的用户数据将超越基本模型本身的效果。
AGI 的未来。在谈到 AGI 时,杨植麟提到,AI 的本质是一系列的scale law。当今模型的训练规模不断扩大,但他相信,通过技术进步可以在资源有限的情况下实现突破。他预计,未来一年内将会有更大的模型出现,而对数据和算力的需求也是不断上升。
关于与 OpenAI 的差异化定位,杨植麟表示,虽然 OpenAI 在多个领域具有竞争力,但某些技术如长文本处理上,月之暗面可能更具优势。他相信,AGI 技术的演进将会有巨大的空间,尤其是在处理长文本、多模态生成等方面。
在谈及未来的超级应用时,杨植麟认为个性化的交互将是核心,而如何利用用户的交互历史来提升体验至关重要。他认为传统的微调方式可能在未来会被更高效的上下文能力取代。
总结起来,杨植麟在多次互动中反复强调了对未来的信心,认为真正的 AI-Native 产品未来不仅要关注模型的规模,更要关注如何让用户拥有更个性化的体验。他的观点将为我们探索 AGI 的未来铺平道路。