政府出资$2400为你的企业数字化转型和升级
- Goldrute
- 15 Apr 2024
CDAP申请条件及流程： （1）micro–grant 小额资金 – “Grow Your Business Online” 政府扶持的金额：符合条件的企业将获得高达 2,400 加元的小额赠款，以帮助支付与采用数字技术相关的成本。 赠款将通过加拿大各地的本地和区域服务提供商提供。 服务提供商还将支持电子商务顾问网络，他们将为小企业采用电子商务提供建议和帮助。 企业申请所需的要求： 申请流程：
详细内容视频：普通人也能理解AI大模型《大型语言模型入门》上线
- Goldrute
- 24 Nov 2023
回归 OpenAI 的 Andrej Karpathy 最近录制了一个长达 1 小时关于大型语言模型（LLM）的视频，希望让更多人看到和学习。
视频的主题为《大型语言模型入门》，涵盖了 LLM 的推理、训练、微调以及新出现的 LLM 操作系统和 LLM 安全。视频主打「非技术性」，偏科普，所以更加容易理解。
以下是原视频：
我们接下来整体了解一下 Karpathy 都讲到了哪些内容。视频主要分为三大部分展开，分别是 LLMs、LLMs 的未来和 LLM 安全。
在第一部分，Karpathy 首先介绍了 LLM 的一些入门知识，并以 Meta 推出的开源大模型 Llama 2-70b 为例讲解。该模型有 700 亿参数，它主要包含两个文件，分别是参数文件（文件大小为 140GB）和运行这些参数的代码（以 C 语言为例需要约 500 行代码）。
因此，在 LLM 推理阶段，Karpathy 表示只要有这两个文件再加上一台 MacBook，我们就可以构建一个独立的系统，无需联网或其他设施。这里他展示了跑 70 亿参数大模型的例子。
LLM 训练比推理复杂得多。Karpathy 表示，模型推理可以在一台 MacBook 上运行，但模型训练过程耗费的计算量就非常大了。因此，我们需要对互联网内容进行压缩。他以 Llama 2-70b 为例来说明，训练该模型需要从网络爬取约 10TB 的文本，大约需要 6000 个 GPU 训练约 12 天，耗资 200 万美元，参数文件大小约为 140GB。
显然 Llama 2-70b 并不是最大的，如果训练 ChatGPT、Claude 或 Bard，这些数字可能会增加 10 倍或者更多，耗资可能高达千万甚至上亿美元。
不过，一旦拥有了这些参数，运行神经网络的计算成本就相对较低了。Karpathy 解释了什么是神经网络，它的基本任务是预测序列中的下一个单词。他将训练过程视为一种互联网的压缩，如果可以准确地预测下一个单词，则能够用来压缩数据集。
想要了解更详细内容，大家可观看原视频。
不要错过富源更多关于融资、科技和商业趋势的精准信息，最新动态和深入分析。立即点击 这里立刻订阅富源！
