960个参数跑通Transformer:从零理解大模型
如果有人问你"大模型有几千亿参数,参数到底是什么",大多数回答要么是"就是权重矩阵"(等于没说),要么丢一堆公式把你吓跑。 这篇从零开始,用一个 960 个参数的迷你 Transformer 把这件事讲透。能跑,有真实输出,不灌水。 参数是什么:不是旋钮,是"话语权" 想象模型在回答一个问题:猫喜欢吃? 模型内部有几百亿个"小评委",每个评委只管一件具体的事…
如果有人问你"大模型有几千亿参数,参数到底是什么",大多数回答要么是"就是权重矩阵"(等于没说),要么丢一堆公式把你吓跑。 这篇从零开始,用一个 960 个参数的迷你 Transformer 把这件事讲透。能跑,有真实输出,不灌水。 参数是什么:不是旋钮,是"话语权" 想象模型在回答一个问题:猫喜欢吃? 模型内部有几百亿个"小评委",每个评委只管一件具体的事…
Brain2Qwerty 非侵入式脑机接口 每年都有无数人因中风、意外或脑部疾病丧失说话和行动的能力。传统的脑机接口虽然能帮助这些患者重获沟通能力,但需要将电极植入大脑,手术风险高昂。现在,Meta旗下的AI研究团队(FAIR)带来了一个更安全的替代方案:Brain2Qwerty——一种通过分析大脑活动直接解码句子的非侵入式方法,无需任何手术。 从脑电波到完…
阿里达摩院联合广东省人民医院等多家机构,开发了一种名为 COCA(Colorectal Cancer detection with AI)的深度学习模型,能够利用常规非对比增强 CT 扫描检测结直肠癌,无需肠道准备或特殊筛查检查。 为什么需要新方法 结直肠癌是全球癌症死亡的二号杀手,早期筛查至关重要——早期发现的患者 5 年生存率高达 90%,但约 76%…