#LLM 推理 · GitHub Explorer

GitHub推荐：16万星的模型标准：Transformers v5为何重写底层

⭐ 163.8k

Python LLM 推理LLM 训练量化与金融已发布

DeepSeek-V3

⭐ 102.3k

Python LLM 推理基础模型量化与金融已发布

llama.cpp

⭐ 101.9k

C++ AI AgentLLM 推理基础模型

PyTorch 凭什么赢下研究界 85%：100K star、330 万行背后的 Dispatcher 与 torch.compile

⭐ 100.6k

Python LLM 推理LLM 训练量化与金融

browser-use

⭐ 86.2k

Python AI AgentLLM 推理工作流编排

PaddleOCR

⭐ 72.8k

Python LLM 框架LLM 推理IoT / 硬件

OpenHands

⭐ 69.5k

Python AI AgentLLM 推理基础模型

最流行的 YOLO 框架，商用却要买授权

⭐ 58.1k

Python LLM 推理安全

Memos

⭐ 58.1k

TypeScript AI AgentLLM 推理编辑器与知识库已发布

TradingAgents

⭐ 47.5k

Python AI AgentLLM 推理开发者工具

LocalAI

⭐ 44.2k

Go AI AgentLLM 推理基础模型

4.6 个月 43.6K star 的 codegraph：不让模型更聪明，只让它少迷路

⭐ 43.7k

TypeScript AI AgentAI 编程LLM 框架

exo

⭐ 42.8k

Python LLM 推理教育与学习IoT / 硬件

MiniMind

⭐ 41.8k

Python LLM 推理LLM 训练基础模型

Jan

⭐ 41.2k

TypeScript/TSX LLM 推理基础模型协议与规范

Fabric

⭐ 40.4k

+ LLM 推理基础模型安全

microsoft/BitNet

⭐ 36.2k

Python LLM 推理基础模型量化与金融已发布

GitHub 推荐：6 个月 35.8K stars：llmfit 用 51 万行 JSON 重写本地 LLM 选型

⭐ 35.8k

Rust LLM 推理基础模型IoT / 硬件已发布

GitHub 推荐：89 天 15K stars：HKUDS 把 LLM Agent 套到量化交易，造了一台「会自己写策略」的个人研究员

⭐ 35.5k

Python AI AgentLLM 框架LLM 推理已发布

wshobson/agents

⭐ 33.0k

Markdown AI AgentAI 编程LLM 推理已发布

一个人 4 个月做到 33K star：free-claude-code 怎么让 Claude Code 换上任意免费模型

⭐ 33.0k

Python AI AgentAI 编程LLM 推理

GitHub推荐：5 个月 32k stars 的 Claude Code 开源复刻：把 200+ 模型塞进同一个终端 agent loop

⭐ 32.4k

TypeScript AI AgentAI 编程LLM 推理已发布

blakeblackshear/frigate

⭐ 31.0k

TypeScript LLM 推理基础模型检索与搜索

nautilus_trader

⭐ 30.0k

Rust LLM 推理量化与金融

GitHub推荐：28.8K stars、3 天 1.0 的 Mojo + MAX：高通花 9 个月收购的「AI 推理版 LLVM」到底在改写什么

⭐ 28.8k

Python LLM 推理IoT / 硬件已发布

MoneyPrinterV2

⭐ 28.5k

Python LLM 推理基础模型工作流编排

不切离散 token 的 TTS：27.5K star 的 VoxCPM 把克隆相似度做到反超 ElevenLabs

⭐ 27.5k

Python LLM 推理量化与金融音视频

GitHub 推荐：2.3 月 27K stars：Colibrì 怎么用纯 C + 三层磁盘流式把 744B MoE 跑在消费级硬件上

⭐ 27.5k

C Header LLM 推理基础模型IoT / 硬件已发布

开源版 Bloomberg 终端 FinceptTerminal：25K star，从 Python 重写成 C++/Qt 壳 + Python 数据引擎

⭐ 25.9k

Python AI AgentLLM 框架LLM 推理

SGLang

⭐ 25.5k

Python LLM 推理IoT / 硬件

MLX

⭐ 25.1k

C++ LLM 框架LLM 推理基础模型

oh-my-claudecode

⭐ 24.4k

TypeScript AI AgentAI 编程LLM 推理

GitHub 推荐：4GB 跑 70B：AirLLM 如何用流式加载反量化路线

⭐ 23.6k

Python AI AgentLLM 推理基础模型已发布

Project N.O.M.A.D.

⭐ 21.8k

TypeScript LLM 框架LLM 推理基础模型

GitHub推荐：4.5 个月 21K stars：印度一人公司如何把 200+ AI 模型塞进同一个 Studio

⭐ 21.4k

JSON AI AgentLLM 推理开发者工具已发布

连 TensorRT 都是它的一个后端：微软 ONNX Runtime 怎么用一套抽象统一 20+ 推理硬件

⭐ 20.8k

C++ LLM 推理IoT / 硬件

Dyad

⭐ 19.9k

TypeScript/TSX AI AgentAI 编程LLM 推理

11 年零断更的开源量化引擎 Lean：换一行配置，回测代码直接跑实盘

⭐ 19.8k

C# LLM 推理量化与金融

GitHub推荐：19K stars 隐私优先：Meetily 如何用 Rust + whisper.cpp 把会议录音从云端搬回本机

⭐ 19.3k

TypeScript LLM 推理基础模型音视频已发布

Stefan Jansen《Machine Learning for Trading》代码库：一人维护 19k stars 的 ML × 量化交易「事实教材」

⭐ 19.1k

Jupyter Notebook LLM 推理教育与学习量化与金融已发布

Wave Terminal

⭐ 18.5k

Go LLM 推理基础模型开发者工具已发布

claude-scientific-skills

⭐ 17.4k

Markdown AI AgentAI 编程LLM 推理

3.8 个月单人 16K star：oMLX 把 Mac 本地推理的 90 秒等待压到 1 秒

⭐ 16.2k

Python AI AgentAI 编程LLM 推理

GGML

⭐ 14.4k

C++ LLM 推理基础模型量化与金融

GitHub推荐：Meta 把 13,000 个应用 8 年的设计系统开源了：Astryx 凭什么让 AI 也能照规范出图

⭐ 13.7k

TSX AI AgentLLM 推理开发者工具已发布

Redis 之父的新战场：1 个月 13K stars 的 DwarfStar(ds4) 怎么把 1M 上下文搬上 96GB MacBook

⭐ 13.1k

C LLM 推理基础模型教育与学习已发布

nano-vllm

⭐ 12.7k

Python LLM 推理基础模型

GitHub推荐：11K stars 的量化入口死了 19 个月：一个 GitHub README 怎么撑起 SaaS 商业漏斗

⭐ 11.1k

Python LLM 推理量化与金融音视频已发布

2.5 个月 10.9k stars：单人 98% 主导的 turbovec 怎么把 Google 论文做成 FAISS 的 ARM 杀手

⭐ 10.9k

Python LLM 框架LLM 推理基础模型已发布

HF 开源会读论文、训模型的 AI「ML 工程师」

⭐ 10.3k

Python AI AgentAI 编程LLM 推理

万星小镇的 1KB 玄学：a16z × Convex 的 AI Town 凭什么让 8 个 NPC 自己聊出性格

⭐ 10.0k

TypeScript AI AgentLLM 框架LLM 推理已发布

GitHub 推荐：22B 单流 DiT 把音视频一次出齐：LTX-2 如何把视频生成压到 Mac 也能跑

⭐ 9.7k

Python LLM 推理IoT / 硬件量化与金融已发布

zvec

⭐ 9.1k

C++ LLM 推理检索与搜索数据库已发布

字节 Dolphin 文档解析：单 VLM 两阶段拆 PDF，9K star 背后代码 MIT 模型却非商业

⭐ 9.0k

Python LLM 推理基础模型量化与金融

18 个月、35k 行代码、一人写完 8.5K stars 的本地 AI 笔记：Reor 把 RAG 装进 Markdown 编辑器后归档了

⭐ 8.6k

TSX AI 编程LLM 框架LLM 推理已发布

对标 OpenAI Deep Research 的本地平替：8.4k star，研究全程不出本机、每人一把密钥加密

⭐ 8.4k

Python LLM 推理基础模型检索与搜索

mistral.rs

⭐ 6.7k

Rust AI AgentLLM 推理基础模型

mlx-audio

⭐ 6.6k

Python LLM 推理开发者工具检索与搜索

Jane Street 的 magic-trace：把没人会用的 Intel PT 变成一键看进程最后 10ms 在干嘛

⭐ 6.1k

OCaml LLM 推理开发者工具IoT / 硬件

Airweave

⭐ 6.0k

Python AI AgentLLM 推理开发者工具已发布

GLM-4.5 到 GLM-5 都用它训：slime 怎么靠 SGLang 原生把强化学习后训练做到生产级

⭐ 6.0k

Python AI AgentLLM 推理LLM 训练

nilsherzig/LLocalSearch

⭐ 6.0k

Svelte AI AgentLLM 框架LLM 推理

GitHub推荐：5.9k stars 但 90 天 0 commit：AutoHedge 的明星单兵陷阱

⭐ 5.9k

Python AI AgentLLM 推理教育与学习已发布

LiteRT-LM：Google 把 Gemma 跑进手机和手表的端侧 LLM 引擎，NPU 加速超 llama.cpp

⭐ 5.5k

GLSL LLM 框架LLM 推理基础模型

把 GPT-2 训练从 45 分钟刷到 90 秒：Muon 优化器就诞生在这个 speedrun

⭐ 5.3k

Python LLM 推理检索与搜索量化与金融

GitHub推荐：NVIDIA Model-Optimizer: NVFP4 + QAD 把 550B 模型压缩出 5.9× decode

⭐ 5.3k

Python LLM 推理检索与搜索量化与金融已发布

扩散模型当草稿，LLM 推理最高提速 6 倍

⭐ 5.0k

Python LLM 推理基础模型

Thunderbird 杀进 AI：一个让你「自己掌控数据」、对抗云端封闭 AI 的开源客户端

⭐ 4.7k

TypeScript AI AgentAI 编程LLM 推理

4.5K stars、89% 单人代码：把 70B 模型塞进 24GB 显卡的 EXL2 量化推理库怎么炼成的

⭐ 4.5k

Python LLM 推理基础模型量化与金融已发布

vLLM-Omni

⭐ 4.1k

Python LLM 推理基础模型IoT / 硬件已发布

mini-sglang

⭐ 3.9k

Python LLM 推理

GitHub 推荐：13 个月 4.7K commits、3 天涨 1100 star：code-graph-rag 怎么把「图 RAG 召回率」做成开源议题

⭐ 3.8k

Python LLM 框架LLM 推理检索与搜索已发布

本地 LLM 选型不靠猜大小：whichllm 3 个月 3.4K stars 的 evidence-based ranking

⭐ 3.4k

Python LLM 推理基础模型开发者工具已发布

GitHub 推荐：Magnitude：80 天 3.2K Stars，YC 团队如何用 Rust+Effect 把本地 LLM 推理做成 Agent 的「零 token 后端」

⭐ 3.2k

Rust AI AgentAI 编程LLM 推理已发布

MatMul-Free LLM

⭐ 3.1k

Python LLM 推理量化与金融

单人 9 个月 890 commit：医疗 AI 的「主权化」开源革命 maziyarpanahi/openmed

⭐ 2.7k

Python LLM 推理Web 框架协议与规范已发布

GitHub 推荐：3.4 个月 16 个 STT 家族：transcribe.cpp 用 ABI 纪律重写 ggml 推理哲学

⭐ 1.2k

C++ LLM 推理基础模型量化与金融已发布

rlama

⭐ 1.1k

Go AI AgentLLM 框架LLM 推理

mistral-common

⭐ 871

Python LLM 推理基础模型

Claude-code-memory

⭐ 72

Python AI 编程LLM 框架LLM 推理

GitHub推荐：LM Studio 推出 model.yaml：用一份声明式 yaml 给 LLM 装上「产品参数」

⭐ 63

CSS LLM 推理基础模型

5 年 10K stars：xformers 如何用「Bias 协议」重定义 Transformer 加速

⭐ 10

Python LLM 推理教育与学习协议与规范已发布

GitHub 推荐：阿里开源 OpenCodeReview：13K stars + 1/9 token 的「确定性 × Agent」AI 审查引擎

AI AgentAI 编程LLM 框架已发布

#LLM 推理 83 篇

GitHub推荐：16万星的模型标准：Transformers v5为何重写底层

DeepSeek-V3

llama.cpp

PyTorch 凭什么赢下研究界 85%：100K star、330 万行背后的 Dispatcher 与 torch.compile

browser-use

PaddleOCR

OpenHands

最流行的 YOLO 框架，商用却要买授权

Memos

TradingAgents

LocalAI

4.6 个月 43.6K star 的 codegraph：不让模型更聪明，只让它少迷路

exo

MiniMind

Jan

Fabric

microsoft/BitNet

GitHub 推荐：6 个月 35.8K stars：llmfit 用 51 万行 JSON 重写本地 LLM 选型

GitHub 推荐：89 天 15K stars：HKUDS 把 LLM Agent 套到量化交易，造了一台「会自己写策略」的个人研究员

wshobson/agents

一个人 4 个月做到 33K star：free-claude-code 怎么让 Claude Code 换上任意免费模型

GitHub推荐：5 个月 32k stars 的 Claude Code 开源复刻：把 200+ 模型塞进同一个终端 agent loop

blakeblackshear/frigate

nautilus_trader

GitHub推荐：28.8K stars、3 天 1.0 的 Mojo + MAX：高通花 9 个月收购的「AI 推理版 LLVM」到底在改写什么

MoneyPrinterV2

不切离散 token 的 TTS：27.5K star 的 VoxCPM 把克隆相似度做到反超 ElevenLabs

GitHub 推荐：2.3 月 27K stars：Colibrì 怎么用纯 C + 三层磁盘流式把 744B MoE 跑在消费级硬件上

开源版 Bloomberg 终端 FinceptTerminal：25K star，从 Python 重写成 C++/Qt 壳 + Python 数据引擎

SGLang

MLX

oh-my-claudecode

GitHub 推荐：4GB 跑 70B：AirLLM 如何用流式加载反量化路线

Project N.O.M.A.D.

GitHub推荐：4.5 个月 21K stars：印度一人公司如何把 200+ AI 模型塞进同一个 Studio

连 TensorRT 都是它的一个后端：微软 ONNX Runtime 怎么用一套抽象统一 20+ 推理硬件

Dyad

11 年零断更的开源量化引擎 Lean：换一行配置，回测代码直接跑实盘

GitHub推荐：19K stars 隐私优先：Meetily 如何用 Rust + whisper.cpp 把会议录音从云端搬回本机

Stefan Jansen《Machine Learning for Trading》代码库：一人维护 19k stars 的 ML × 量化交易「事实教材」

Wave Terminal

claude-scientific-skills

3.8 个月单人 16K star：oMLX 把 Mac 本地推理的 90 秒等待压到 1 秒

GGML

GitHub推荐：Meta 把 13,000 个应用 8 年的设计系统开源了：Astryx 凭什么让 AI 也能照规范出图

Redis 之父的新战场：1 个月 13K stars 的 DwarfStar(ds4) 怎么把 1M 上下文搬上 96GB MacBook

nano-vllm

GitHub推荐：11K stars 的量化入口死了 19 个月：一个 GitHub README 怎么撑起 SaaS 商业漏斗

2.5 个月 10.9k stars：单人 98% 主导的 turbovec 怎么把 Google 论文做成 FAISS 的 ARM 杀手

HF 开源会读论文、训模型的 AI「ML 工程师」

万星小镇的 1KB 玄学：a16z × Convex 的 AI Town 凭什么让 8 个 NPC 自己聊出性格

GitHub 推荐：22B 单流 DiT 把音视频一次出齐：LTX-2 如何把视频生成压到 Mac 也能跑

zvec

字节 Dolphin 文档解析：单 VLM 两阶段拆 PDF，9K star 背后代码 MIT 模型却非商业

18 个月、35k 行代码、一人写完 8.5K stars 的本地 AI 笔记：Reor 把 RAG 装进 Markdown 编辑器后归档了

对标 OpenAI Deep Research 的本地平替：8.4k star，研究全程不出本机、每人一把密钥加密

mistral.rs

mlx-audio

Jane Street 的 magic-trace：把没人会用的 Intel PT 变成一键看进程最后 10ms 在干嘛

Airweave

GLM-4.5 到 GLM-5 都用它训：slime 怎么靠 SGLang 原生把强化学习后训练做到生产级

nilsherzig/LLocalSearch

GitHub推荐：5.9k stars 但 90 天 0 commit：AutoHedge 的明星单兵陷阱

LiteRT-LM：Google 把 Gemma 跑进手机和手表的端侧 LLM 引擎，NPU 加速超 llama.cpp

把 GPT-2 训练从 45 分钟刷到 90 秒：Muon 优化器就诞生在这个 speedrun

GitHub推荐：NVIDIA Model-Optimizer: NVFP4 + QAD 把 550B 模型压缩出 5.9× decode

扩散模型当草稿，LLM 推理最高提速 6 倍

Thunderbird 杀进 AI：一个让你「自己掌控数据」、对抗云端封闭 AI 的开源客户端

4.5K stars、89% 单人代码：把 70B 模型塞进 24GB 显卡的 EXL2 量化推理库怎么炼成的

vLLM-Omni

mini-sglang

GitHub 推荐：13 个月 4.7K commits、3 天涨 1100 star：code-graph-rag 怎么把「图 RAG 召回率」做成开源议题

本地 LLM 选型不靠猜大小：whichllm 3 个月 3.4K stars 的 evidence-based ranking

GitHub 推荐：Magnitude：80 天 3.2K Stars，YC 团队如何用 Rust+Effect 把本地 LLM 推理做成 Agent 的「零 token 后端」

MatMul-Free LLM

单人 9 个月 890 commit：医疗 AI 的「主权化」开源革命 maziyarpanahi/openmed

GitHub 推荐：3.4 个月 16 个 STT 家族：transcribe.cpp 用 ABI 纪律重写 ggml 推理哲学

rlama

mistral-common