nanochat

Minimal ChatGPT Clone Training Pipeline

Oct 13, 2025

极速启动

单脚本 · 4 小时 · 约 100 美元 · 即可对话

全栈自研

分词器 · 预训练 · 微调 · RL · 推理 · WebUI · 一次带走

指标速览

MMLU 40+ · ARC-E 70+ · GSM8K 20+(24h 深度 30 模型)

训练路径

FineWeb 预训练 → SmolTalk 对话微调 → 工具/多选题/RL

研究利器

8k 行可读代码 · 零依赖 · 可分叉 · 可基准 · 可改进

立即行动

租 8×H100 → 克隆仓库 → bash 一键 → 聊天窗口即刻出现

"Strong baseline in one cohesive, hackable repo."

— Andrej Karpathy