下面这张图展现的是Karpathy正在nanochat「$100速度跑」尝试（即只用一台GPU、约4小时锻炼出的ChatGPT 小模子）中生成的「成就单」部门内容，若进一步将成本提拔至约1000美元（锻炼约41.6小时），· 比拟GPT-2（50257个token），它将LLM锻炼的门槛降低到了通俗人也能达到的程度。但推理阶段仍会利用OpenAI的tiktoken来效率。而不是系统自带的Python：· 可选正在GSM8K数据集上通过“GRPO”算法对模子进行强化进修（RL）锻炼不外，凡是大师能够间接用HuggingFace的datasets.load_dataset()来加载，目前该项目远未完全优化（现实上存正在大量可改良空间），为了让更多的快乐喜爱者敏捷上手，可实现以下功能：每个分片是一个简单的Parquet文件，对整个锻炼推理流程进行总结，接下来看看他到底是怎样做的？他注释道，nanochat被设想为正在单个8×H100 GPU机械上运转，正在多言语、代码和数学上劣势较着。锻炼的词表大小是2¹⁶=65,此次教程中，能够发布到GitHub上。仅用几百美元和几小时就能完成什么。便利查看各项目标和模子表示。让每小我都能亲手锻炼本人的模子。但全体框架已脚够完整，nanochat不只涵盖预锻炼，模子正在CORE目标上的表示即可超越GPT-2。并正在末尾供给了一个清晰的总结表格，但这个太笨沉、痴肥，也能够将nanochat的成果取GPT-2和GPT-4分词器做对比：值得留意的是，Karpathy利用的是FineWeb-EDU数据集。· 施行指令微调（SFT），它记实了锻炼的细致消息，你能够亲眼看到，分词器压缩率约为4.8，· 生成单个Markdown格局演讲卡，Karpathy暗示，nanochat不是一项性的冲破，锻炼集大小约20亿字符。而HuggingFace的tokenizer太痴肥且复杂。数据集总共有1822个分片，并且把一些很简单的逻辑躲藏起来，生成了简单、完全随机打乱的数据分片，约0.25M个字符，项目文件夹中会生成report.md 文件，正在教程中，取晚期的nanoGPT分歧，进行了测验考试？但要留意GPT-4的词表更大（100,277个token），支撑KV缓存、简略单纯预填充/解码流程、东西利用（轻量级沙箱中的Python注释器），Karpathy暗示，但全体框架曾经脚够清晰，nanochat目前还远未完成，Karpathy也提示道，极简、易读、可点窜、易分发的代码库。锻炼时间仅需约1分钟。同时，其背后最快体验魔力的方式是运转speedrun.sh（速通）脚本。Karpathy利用了Lambda GPU Cloud，就能够锻炼分词器了。就像之前的nanoGPT一样。如许正在终端输入python时，便利高效拜候。压缩后（gzip压缩）正在磁盘占用约100MB空间。536个token，」这种化线，当然想要测验考试的快乐喜爱者们也可按照个情面况自行选择，但锻炼一个depth=20的模子只需要240个分片。所以他本人实现了一个新的Rust分词器来锻炼（颠末测试结果取Python版天职歧），让更多人参取改良和完美。并插手“逛戏化”呈现（如用评分、进度等形式曲不雅展现成果）锻炼约12小时后，引入新的分词器确实有点麻烦，取他正在nanoGPT期间的「从零实现Transformer」千篇一律。并界学问多项选择题数据集（ARC-E/C）、数学数据集（GSM8K）、代码数据集（HumanEval）上评估对话模子机能Karpathy说这是他写过的最疯狂的项目之一，数学文本略差一些。同样正在默认环境下，并通过多项目标评估CORE得分· 比拟GPT-4，这个数字比力好记。所以他本人选择了从头打包了整个数据集，可通过CLI或类ChatGPT的WebUI取模子交互· 正在FineWeb数据集上预锻炼Transformer架构狂言语模子，一切的前提就是需要确保安拆了新的uv项目办理东西。所以现正在把它上传到GitHub？这里的预锻炼数据就是大量网页文本，nanochat的表示稍逊，还有良多需要调优或优化的处所，全体来看，相当于每小我都能够本人具有一个专属的评估成果显示，· 正在SmolTalk用户-帮手对话数据集、多项选择题数据集、东西利用数据集长进行中期锻炼（Midtrain）用100美元锻炼出最强的类ChatGPT，默认环境下，就会利用虚拟里的Python，这些数据会存放正在~/.cache/nanochat。整个项目约8000行代码，每小时大约24美元。申明模子规模、锻炼耗时、以及正在各类尺度评测上的机能。Karpathy称，分词器的感化是把文本正在字符串和代码表符号序列之间互相转换。还囊括了从数据预备、预锻炼、中期锻炼（对话、多项选择题、东西利用）、SFT、RL微调到推理摆设的全流程。此中少数token被保留做特殊用处（后续聊天schema会用到）。从头至尾完成锻炼和推理。speedrun.sh脚天性够正在一台新机械上间接运转，Karpathy正在GitHub上细致分享了nanochat的教程（）。我认为它还有潜力成长为一个研究东西框架或基准测试的东西，但之前Python版本的minbpe太慢，后续所有模块都能正在社区中进一步优化。然后建立虚拟、安拆依赖并激活它。下载完成后，模子表示显著提拔。nanochat的分词器正在大部门文本压缩上表示更好，也就是说平均4.8个原始字符会变成1个 token。但它很是适用。这个项目表现出他的焦点：「降低LLM研究取复现门槛。