▲РЕПО НЕТ В ОКНЕ 30D. ПОКАЗАН FINDING ИЗ ОКНА 3D (3 days) — РАНГ #857.
FINDING #857 · UNIT ID 1363830789
ThinkFlowLab/vllm-rlt
vllm based inference engine for looped transformer
SURPRISE SCORE
0.00
Score Breakdown
SCORE = SURPRISE × ENGAGEMENT^0.7 × FRESHNESS × VISIBILITY × CONFIDENCE
SURPRISE = WINDOW STARS / DAYS / (AUDIENCE + FLOOR)
6% OF STARS IN ARCHIVE
Growth Telemetry
VELOCITY /D
3.33
ACCEL
-0.50
RETENTION
75.0%
PEAK 2026-10-12 · FORK-RETENTION 0.0% · 10 STARS / WINDOW
Author Audience
AUDIENCE
94
FOLLOWERS
10
OWNER ★
369
Engagement Signals
FORKS
28
ISSUE AUTH
0
PR AUTH
0
UNIQUE STARGAZERS 10 / 10 (DIVERSITY 1.00)
Потенциал заработка
D39/100
СПРОС72
Общий рынок AI inference крупный и растущий, а компании уже платят за serving и GPU-инфраструктуру. Однако отдельный спрос на looped/recurrent LLM serving пока не доказан.
ЗАХВАТ24
Рынок general-purpose serving занят vLLM, SGLang, TensorRT-LLM и облачными платформами. vllm-rlt поддерживает узкий набор моделей, а специфический CDB-ров можно быстро встроить в крупные движки.
ДОСТУП66
Apache-2.0 разрешает коммерческое использование. Главные барьеры — дорогая GPU-инфраструктура, низкий bus factor, отсутствие production packaging, security, observability и стабильных релизов.
«Потенциал топит слишком узкая зависимость от adoption looped/recurrent LLM, а не лицензия или общий спрос на inference.»
Рыночный анализ · Обзор
vllm-rlt — экспериментальный Python-движок inference и serving для recurrent/looped языковых моделей с batching на уровне циклов.
AI infrastructure / LLM inference serving / ML systems / GPU runtimeЗРЕЛОСТЬ · ЭКСПЕРИМЕНТ
ЯЗЫК
Python
ЛИЦЕНЗИЯ
Apache-2.0
РЕЕСТР
pypi
КОНТРИБЬЮТОРЫ
3
УСТАНОВКА: pip install vllm-rlt
Что делает
Движок обслуживает recurrent language models, сейчас прежде всего ByteDance/Ouro-1.4B. Он группирует запросы на границах recurrent loops, поддерживает adaptive early exit, depth-aware KV-cache, асинхронное выполнение, CUDA Graphs и OpenAI-compatible endpoint. Также предоставляет offline/online inference и disaggregated prefill/decode между GPU.
Какую боль решает
Обычные inference-движки плохо используют GPU, когда разные запросы проходят различное число recurrent loops. vllm-rlt позволяет смешивать запросы с разной глубиной вычислений, выполнять refill и early exit и эффективнее использовать batching для looped/adaptive-compute моделей.
Сценарии использования
- Исследовательский inference для ByteDance/Ouro-1.4B.
- Бенчмаркинг Continuous Depth Batching и других методов adaptive computation.
- Онлайн-serving looped language models через OpenAI-compatible completions endpoint.
- Эксперименты с prefill/decode disaggregation и NIXL KV transfer на нескольких GPU.
- Исследования early-exit gates, loop bounds, depth-aware KV-cache, CUDA Graphs и asynchronous scheduling.
Целевой пользователь
Исследователи LLM inference и ML systems, команды, разрабатывающие recurrent/looped transformers, а также inference-инженеры лабораторий и инфраструктурных команд.
Open-source аналоги
Зрелый general-purpose runtime для LLM serving с PagedAttention, continuous batching, OpenAI API и широкой поддержкой моделей; не специализирован на loop-level recurrent depth scheduling.
Высокопроизводительный serving framework для LLM/VLM с radix/prefix cache, batching и поддержкой agentic/structured workloads; не сфокусирован на recurrent loop depth.
Оптимизированный NVIDIA runtime на C++/Python для production inference; сильнее по зрелости и производительности на NVIDIA GPU, но hardware/vendor-centric и не ориентирован на Ouro/CDB.
Популярный сервер text generation с большим installed base, но репозиторий архивирован и не предназначен специально для looped transformers.
C/C++ runtime для GGUF, CPU, edge и local-first inference; имеет существенно больше adoption, но относится к другой аппаратной и продуктовой нише.
General-purpose toolkit для compression, deployment и serving LLM с TurboMind и mixed precision; не реализует depth-aware recurrent scheduling.
Inference stack Microsoft/DeepSpeed с continuous batching, blocked KV caching и Dynamic SplitFuse; ближе по системной теме, но не специализирован на looped transformers.
Позиционирование
Нишевый первопроходец в serving для recurrent/looped language models и loop-level batching, но не лидер общего LLM serving. По adoption, зрелости и широте поддержки его существенно опережают vLLM, SGLang, TensorRT-LLM и llama.cpp.
Коммерческие аналоги
Serverless inference, provisioned throughput, dedicated GPU inference и GPU clusters для разработчиков и компаний.
По приведённому в анализе источнику, компания привлекла 305 млн долларов и достигла оценки 3,3 млрд долларов.
ServerlessОплата за 1 млн токенов; пример: gpt-oss-120B — $0.15 input / $0.60 output
Dedicated GPUПримеры: H100 $3.99/GPU-hour, B200 $8.99/GPU-hour
Inference API, serverless token pricing, on-demand deployments и fine-tuning.
В анализе приведена устаревшая оценка: 52 млн долларов Series B и valuation 552 млн долларов; актуальный масштаб не подтверждён.
On-demand H100$8/hour
On-demand H200$8/hour
On-demand B200$13/hour
ServerlessОплата за токены; на pricing page указаны бесплатные кредиты $1
Managed inference platform с Model APIs, custom deployments, Truss packaging и autoscaling.
В анализе приводился неподтверждённый аудированной отчётностью репорт о раунде на 1,5 млрд долларов после Series D на 150 млн долларов.
Basic$0/month + pay-as-you-go
Dedicated GPUПримеры: T4 $0.01052/min, A100 $0.06667/min, H100 $0.10833/min, B200 $0.16633/min
Model APIПримеры: GLM-5.3 $1.40 input / $4.40 output за 1 млн токенов
Публичный marketplace моделей и private deployment через Cog с оплатой runtime и выделенного hardware.
Публичные данные о пользователях и выручке в собранном анализе не подтверждены; developer adoption была оценена косвенно по marketplace.
Hardware runtimeПримеры: A100 $5.04/hour, H100 $5.49/hour, L40S $3.51/hour, T4 $0.81/hour
Model APIДля приведённого примера DeepSeek-R1: $3.75 за 1 млн input tokens и $0.01 за 1 тыс. output tokens
Managed dedicated endpoints для моделей Hugging Face с поддержкой vLLM, TGI, SGLang и llama.cpp.
Hugging Face имеет крупную экосистему, но конкретное число пользователей Inference Endpoints в собранном анализе не проверялось.
GPU endpointОплата по минутам; примеры: T4 $0.5/hour, A10G $1/hour, L40S $1.8/hour, A100 $2.5/hour, H100 $10/hour
GPU cloud с Pods, Serverless workers и кластерами для inference и training.
Официальный блог указывает более 1 млн разработчиков и Series A на 100 млн долларов; оценка valuation около 1 млрд долларов была приведена из стороннего источника и не является аудированной.
PodsПримеры: H100 PCIe $2.89/hour, H100 SXM $3.49/hour, A100 $1.59/hour
ServerlessПримеры: H100 $4.79/hour, A100 $2.72/hour, B300 $9.98/hour
Enterprise runtime и NIM microservices для production AI software stack с коммерческой поддержкой и лицензированием.
Enterprise-продукт NVIDIA; конкретные показатели использования NIM в собранном анализе не проверены.
NVIDIA AI EnterpriseВ анализе приведены варианты $4,500 за GPU в год и $1,125 за GPU для другого срока/опции
Текущая монетизация проекта
Публичных признаков монетизации vllm-rlt или ThinkFlowLab не найдено в собранных материалах. Проект выглядит как исследовательский/community OSS без собственного cloud, enterprise-плана, платной поддержки, коммерческого сайта или подтверждённого sponsorship. Homepage отсутствует, а GitHub Sponsors ведёт на страницу организации.
Коммерческий потенциал
ПОТЕНЦИАЛ · НИЗКИЙ
Заработать можно нишево: через enterprise support, интеграции, performance consulting, managed serving и production-пакет для recurrent/adaptive-compute моделей, но не как массовый general-purpose inference cloud.
Спрос и рынок
Общий рынок AI inference в собранном анализе оценён как быстрорастущий: Fortune Business Insights приводит $103.73B в 2025, $117.80B в 2026 и $312.64B к 2034; Grand View Research — $97.24B в 2024 и $253.75B к 2030. Отдельный рынок recurrent/looped LLM serving публично не подтверждён и должен рассматриваться как emerging/research niche.
Ров / защищённость
Ров слабый, но потенциально растущий. Его основа — экспертиза в loop-level batching, depth-aware KV-cache и реальные production traces для Ouro-like моделей. Однако при появлении спроса vLLM, SGLang, TensorRT-LLM или облачные провайдеры могут быстро скопировать scheduling-идеи; значительная часть moat в serving находится в инфраструктуре, поддержке, benchmark-данных и enterprise trust.
Модели монетизации
- Платный consulting и integration для лабораторий, создающих Ouro-like модели.
- Enterprise support для on-prem inference, включая установку, tuning и GPU-бенчмаркинг.
- Managed benchmark suite для recurrent/adaptive LLM inference.
- Upstream plugin или extension для vLLM/SGLang.
- Оптимизированный fork для конкретного model vendor.
- Research-to-production package: Docker, Helm, monitoring, performance dashboards и SLA-ready server.
Что нужно, чтобы сделать продукт
- Поддержка нескольких recurrent/adaptive architectures вместо фактической концентрации на Ouro-1.4B.
- Стабильные релизы, versioning и release discipline.
- Docker, Helm, Kubernetes operator, autoscaling, authentication и rate limits.
- Observability: metrics, tracing, per-request loop-depth statistics и GPU/KV-cache dashboards.
- Security hardening OpenAI-compatible server.
- Воспроизводимые сравнения с vLLM, SGLang и TensorRT-LLM на одинаковом hardware.
- Документация по cost-per-token и latency/quality trade-off early exit.
- Hosted demo endpoint.
- Коммерческая страница с support, SLA, pricing и case studies.
- Дополнительная команда для снижения зависимости от примерно трёх контрибьюторов.
⚖ ЛИЦЕНЗИЯ · МОЖНО ЛИ КОММЕРЦИАЛИЗИРОВАТЬ
Apache-2.0 разрешает коммерческое использование, включая закрытые продукты, SaaS и enterprise deployments, при сохранении необходимых уведомлений и соблюдении условий лицензии. Существенного license-risk не выявлено.
Риски и подводные камни
ВЫСОКИЙМАЛЫЙ РЫНОК
Фактическая поддержка сосредоточена на Ouro-1.4B; если looped LMs не станут mainstream, адресуемый рынок конкретной библиотеки останется очень малым.
ВЫСОКИЙКОНКУРЕНЦИЯ
vLLM, SGLang, TensorRT-LLM или коммерческие cloud-платформы могут реализовать CDB/depth-aware scheduling при появлении спроса.
ВЫСОКИЙЗАВИСИМОСТЬ ОТ АВТОРА
Очень ранний проект без релизов, созданный 2026-09-10, с примерно тремя контрибьюторами и высокой зависимостью от маленькой команды.
СРЕДНИЙПРОЧЕЕ
Реальная ценность требует сложного GPU-стека: CUDA Graphs, FlashAttention, Triton, NIXL и multi-GPU тестирования.
СРЕДНИЙПРОЧЕЕ
README ссылается на собственные PR и графики; для продажи нужны независимые и воспроизводимые benchmarks.
СРЕДНИЙКОММОДИТИЗАЦИЯ
Есть OpenAI-compatible endpoint, но отсутствуют billing, authentication, observability, SLA и полноценное deployment packaging.
НИЗКИЙЛИЦЕНЗИЯ
Apache-2.0 коммерчески безопасна при соблюдении copyright/license notices и условий patent grant/termination clauses.
Достоверность разбора
УВЕРЕННОСТЬ · СРЕДНЯЯgpt-5.5 · 2026-09-25 · ОКНО 1D
Оговорки / что не проверено
- Данные о звёздах, форках, динамике, владельце, активности, лицензии, установке, contributors и состоянии архива взяты из предоставленной воронки и слоя GitHub enrichment без повторной проверки.
- Поддержка фактически описана для ByteDance/Ouro-1.4B; переносимость на другие recurrent/adaptive architectures не подтверждена экспериментами.
- Показатели звёзд open-source аналогов взяты из собранного анализа и не перепроверялись в рамках этой сериализации; часть значений округлена.
- Для LMDeploy значение 8.1k stars округлено и взято из страницы GitHub, а не из отдельного API-ответа.
- Коммерческие аналоги являются смежными продуктами inference API, managed serving и GPU cloud, а не прямыми аналогами loop-level recurrent serving.
- Финансирование, valuation и масштаб Together AI, Fireworks AI, Baseten и RunPod подтверждены в анализе неравномерно; часть цифр взята из новостных или сторонних источников и может быть устаревшей либо неаудированной.
- Для Replicate, Hugging Face Inference Endpoints, Modal, GroqCloud, Cerebras и NVIDIA конкретный публичный масштаб пользователей или выручки не был подтверждён двумя источниками.
- Приведённые цены коммерческих продуктов могут изменяться, зависеть от региона, hardware-конфигурации, тарифа и условий провайдера.
- Оценки рынка AI inference взяты из отраслевых market reports; методики и определения рынка различаются, поэтому значения нельзя считать полностью сопоставимыми.
- Размер рынка recurrent/looped LLM serving отдельно не подтверждён публичными market reports.
- Заявленная зрелость experimental и оценки commercial potential являются аналитическим выводом на основе возраста репозитория, звёзд, релизов, числа контрибьюторов, широты поддержки и описанных возможностей.
- Публичная монетизация ThinkFlowLab не подтверждена полностью: отсутствие найденного cloud, enterprise-плана или sponsorship не доказывает отсутствия непубличной коммерческой деятельности.
- License verdict основан на указанной Apache-2.0 и общем понимании её условий; специализированная юридическая консультация не проводилась.
ИСТОЧНИКИ (33)
Why This Is A Finding
ThinkFlowLab/vllm-rlt собрал 10 звёзд за окно, тогда как у автора всего 10 подписчиков — эффективная аудитория ≈ 94. Это даёт surprise-индекс 0.0249 (звёзды относительно охвата автора, а не в абсолюте). Удержание форков 0.0% и 0 внешних контрибьюторов отделяют реальный инструмент от разовой вспышки. Акселерация отрицательная — внимание остывает после пика.
Related Findings
RANKS ABOVE 80% OF 4306 FINDINGS
METRICS IN CONTEXT
MEDIAN ACROSS ALL 4306 FINDINGS · Δ vs MEDIAN · PERCENTILE = SHARE RANKED BELOW
METRICVALUEMEDIANΔ MEDPERCENTILE
SCORE0.010.00+0.01ABOVE 80%
VELOCITY3.335.67-2.33ABOVE 18%
RETENTION75.0%0.0%+75.0 PPABOVE 85%
FORKS28303-275ABOVE 16%
SURPRISE0.020.01+0.02ABOVE 75%