视频:普通人也能理解AI大模型《大型语言模型入门》上线

回归 OpenAI 的 Andrej Karpathy 最近录制了一个长达 1 小时关于大型语言模型(LLM)的视频,希望让更多人看到和学习。

视频的主题为《大型语言模型入门》,涵盖了 LLM 的推理、训练、微调以及新出现的 LLM 操作系统和 LLM 安全。视频主打「非技术性」,偏科普,所以更加容易理解。

以下是原视频:

我们接下来整体了解一下 Karpathy 都讲到了哪些内容。视频主要分为三大部分展开,分别是 LLMs、LLMs 的未来和 LLM 安全。

在第一部分,Karpathy 首先介绍了 LLM 的一些入门知识,并以 Meta 推出的开源大模型 Llama 2-70b 为例讲解。该模型有 700 亿参数,它主要包含两个文件,分别是参数文件(文件大小为 140GB)和运行这些参数的代码(以 C 语言为例需要约 500 行代码)。

因此,在 LLM 推理阶段,Karpathy 表示只要有这两个文件再加上一台 MacBook,我们就可以构建一个独立的系统,无需联网或其他设施。这里他展示了跑 70 亿参数大模型的例子。

LLM 训练比推理复杂得多。Karpathy 表示,模型推理可以在一台 MacBook 上运行,但模型训练过程耗费的计算量就非常大了。因此,我们需要对互联网内容进行压缩。他以 Llama 2-70b 为例来说明,训练该模型需要从网络爬取约 10TB 的文本,大约需要 6000 个 GPU 训练约 12 天,耗资 200 万美元,参数文件大小约为 140GB。

显然 Llama 2-70b 并不是最大的,如果训练 ChatGPT、Claude 或 Bard,这些数字可能会增加 10 倍或者更多,耗资可能高达千万甚至上亿美元。

不过,一旦拥有了这些参数,运行神经网络的计算成本就相对较低了。Karpathy 解释了什么是神经网络,它的基本任务是预测序列中的下一个单词。他将训练过程视为一种互联网的压缩,如果可以准确地预测下一个单词,则能够用来压缩数据集。

想要了解更详细内容,大家可观看原视频。

不要错过富源更多关于融资、科技和商业趋势的精准信息,最新动态和深入分析。立即点击 这里立刻订阅富源

相关资讯

政府出资$2400为你的企业数字化转型和升级

CDAP申请条件及流程: (1)micro–grant 小额资金 – “Grow Your Business Online” 政府扶持的金额:符合条件的企业将获得高达 2,400 加元的小额赠款,以帮助支付与采用数字技术相关的成本。 赠款将通过加拿大各地的本地和区域服务提供商提供。 服务提供商还将支持电子商务顾问网络,他们将为小企业采用电子商务提供建议和帮助。 企业申请所需的要求: 申请流程:

详细内容

寻找风投:.406 Ventures VC

美国波士顿有一家风险投资公司始终保持着低调而高效的姿态,它就是 .406 Ventures VC。今天,我们来深入了解这家神秘的投资机构。 .406 Ventures VC 不仅以其精准的投资眼光著称,更以其对初创企业的深度支持和指导备受赞誉。 # 投资领域 明确投资3个领域: 健康科技,网络安全,数据分析到云计算。 该公司的投资组合包括了一系列令人印象深刻的企业,每一家都在其领域内展现出

详细内容

寻找风投:SWO Angels:加拿大南安大略的天使投资集团

SWO Angels 是一家位于加拿大安大略省的天使投资集团,专注于为初创企业提供资金和支持。作为一个活跃的投资者,SWO Angels 主要面向以下条件的公司: - **客户吸引力**:年收入至少10万加元,或在三个月内有很高的可能性与战略客户达成销售 - **可扩展性**:利用创新技术快速增长客户和收入 - **可解决市场规模**:每年至少1亿加元 - **市场地理位置**:全球 - **

详细内容