lightseekorg/
tokenspeed
TokenSpeed is a speed-of-light LLM inference engine.
94570 forksPython· 分析于 2w ago
一句话定位
针对 DeepSeek/Kimi/Qwen 等中国大模型的 LLM 推理引擎，标榜光速但实际性能待验证
判断
小众专门针对中国模型的推理优化有细分市场，但 945 stars 显示社区较小，且与 LMDeploy 功能高度重叠，后者社区更活跃(数 K stars)
解决一个特定问题。用得到的人觉得是宝藏，多数人无感。
30 秒上手
基于语言推断的标准命令$ pip install tokenspeed标准 PyPI 包名，必要时按 README 调整
最适合的 3 个场景
- 1部署 DeepSeek-R1 等国产模型进行本地推理服务
- 2在延迟敏感场景下批量调用国产 LLM API
- 3集成到现有 RAG 或 Agent 流程中替代 OpenAI 接口
同类对比
vsLMDeploy
vsvLLM
vsSGLang
完整对比报告（含矩阵评分）即将上线，订阅后第一时间收到。
值得追的健康信号
每周 LLM 自动巡检总 Star
945→
Forks
70→
语言
Python→
分析时间
2w ago→
x
作者短评
用得到的人会觉得是宝。多数人可以放进 "later" list 不焦虑。
— xaikey · 基于 LLM 分析 + 个人判断
Topics
blackwelldeepseekgpt-osskimilightseekllmminimaxqwenspeed-of-lighttokenspeed
其他 Python 趋势仓库
Significant-Gravitas/
AutoGPT
AutoGPT 是一个基于大语言模型的自主 AI Agent 框架，通过让 AI 自主规划、执行、反思来完成复杂任务，本质上是一个 LLM + 工具调用的提示工程封装。
NousResearch/
hermes-agent
一个基于开源大模型的模块化AI agent框架，强调可扩展性和可定制性。
AUTOMATIC1111/
stable-diffusion-webui
一个将 Stable Diffusion 模型封装成可视化 Web 界面的开源工具，让用户无需命令行即可通过浏览器进行 AI 图像生成，支持文生图、图生图、ControlNet、LoRA 等主流功能。
本页 LLM 分析由 MiniMax-M2.7 / Claude Haiku 4.5 等模型生成 · 不构成生产环境技术选型建议