▲РЕПО НЕТ В ОКНЕ 30D. ПОКАЗАН FINDING ИЗ ОКНА 3D (3 days) — РАНГ #45.
FINDING #45 · UNIT ID 1222527844
ifixai-ai/iFixAi
Independent Auditing of AI Agents. Run by human or the agent itself, to answer the most crucial question in the AI Agent Economy. Is the agent doing what is supposed to do? With iFixAi you can have this answer in less than 120 seconds.
SURPRISE SCORE
0.00
Score Breakdown
SCORE = SURPRISE × ENGAGEMENT^0.7 × FRESHNESS × VISIBILITY × CONFIDENCE
SURPRISE = WINDOW STARS / DAYS / (AUDIENCE + FLOOR)
22% OF STARS IN ARCHIVE
Growth Telemetry
VELOCITY /D
328.67
ACCEL
+247.00
RETENTION
0.0%
PEAK 2026-08-04 · FORK-RETENTION 0.0% · 986 STARS / WINDOW
Author Audience
AUDIENCE
1,148
FOLLOWERS
20
OWNER ★
5,539
Engagement Signals
FORKS
673
ISSUE AUTH
0
PR AUTH
0
UNIQUE STARGAZERS 986 / 986 (DIVERSITY 1.00)
Потенциал заработка
C48/100
СПРОС78
Деньги в теме есть: AI governance, AI TRiSM и LLM evaluation/observability растут; buyers — security, compliance, regulated AI и LLMOps.
ЗАХВАТ34
Категория crowded: Promptfoo/OpenAI, DeepEval/Confident AI, LangSmith, Langfuse, Braintrust, Galileo, Arize, Giskard и Lakera уже сильнее по продукту/доверию.
ДОСТУП72
Apache-2.0, Python, CLI и PyPI снижают friction для коммерческого использования, но мешают молодость проекта, org unverified, 10 contributors и отсутствие enterprise support/pricing.
«Потенциал топит capture: рынок платит, но удержать ценность в crowded eval/red-team нише трудно.»
Рыночный анализ · Обзор
iFixAi — open-source CLI/библиотека для быстрой независимой проверки AI agents на соответствие бизнес-целям, политикам и требованиям аудита.
AI agent evaluation / LLM red teaming / AI governance / AI TRiSM / AI assurance toolingЗРЕЛОСТЬ · РАСТЁТ
ЯЗЫК
Python
ЛИЦЕНЗИЯ
Apache-2.0
РЕЕСТР
pypi
РЕЛИЗ
v3.2.2
КОНТРИБЬЮТОРЫ
10
УСТАНОВКА: pip install ifixai
Что делает
Проект запускает набор инспекций против модели, агента или HTTP endpoint, оценивает результат через self/single/full judge mode и сохраняет JSON/Markdown отчёты. На выходе пользователь получает scorecard с оценкой A–F и сигналами по security, reliability, compliance и frontier-risk темам. iFixAi позиционируется между LLM evaluation, AI red teaming, AI governance, AI safety и operational assurance.
Какую боль решает
Решает боль команд, которым нужно быстро понять, делает ли AI agent именно ту работу, для которой он создан, не галлюцинирует ли, не поддаётся ли prompt injection, соблюдает ли политики и можно ли показать результаты security/risk/compliance командам.
Сценарии использования
- CI-gate перед релизом новой версии AI agent, промпта, модели или tool-calling логики.
- Сравнение OpenAI, Anthropic, Gemini, OpenRouter, Bedrock и других провайдеров по одинаковым бизнес- и risk-тестам.
- Security/red-team smoke test для prompt injection, policy bypass, privilege escalation и RAG context integrity.
- Audit evidence pack: сохранение JSON/Markdown report, transcripts и manifest для внутреннего AI risk review.
- Диагностика реального production/staging endpoint агента через HTTP provider.
Целевой пользователь
AI/ML engineers, LLMOps/MLOps engineers, security engineers, AI red-team, platform teams, risk/compliance teams в regulated verticals и стартапы/enterprise-команды, внедряющие agentic systems.
Open-source аналоги
Более зрелый CLI для prompt/RAG/agent evals и red teaming, сильный CI/CD и declarative YAML; по анализу уже часть OpenAI по pricing page.
Python-first «pytest for LLM apps» с большим набором метрик и связкой с Confident AI cloud; меньше фокусируется на business KPI / org structure audit как iFixAi.
LLM vulnerability scanner для jailbreaks, leakage, toxicity, misinformation и package hallucination; сильнее в security/red-team, но менее business-assurance oriented.
Open-source eval/testing library плюс enterprise Giskard Hub; сильнее в managed enterprise red teaming и collaboration.
Red-team framework от Microsoft AI Red Team для automated/human-led attacks и multi-turn strategies; менее продуктовый scorecard для business KPIs.
Benchmark/eval registry и framework с сильным брендом OpenAI, но менее ориентирован на agent operational assurance из коробки.
Framework от UK AI Security Institute для standardized LLM safety evals; более исследовательско-государственный, меньше dev-product UX.
Позиционирование
iFixAi пока не лидер OSS-категории: по звёздам он уже заметный новый игрок, но лидеры вроде Promptfoo, DeepEval, OpenAI Evals, garak и смежные observability/eval платформы старше и сильнее. Его шанс — нишевое позиционирование «business KPI + governance scorecard for agents in <120 sec», а не generic eval/red-team framework.
Коммерческие аналоги
Observability, evaluation, deployment и agent engineering platform для LangChain/LangGraph и LLM apps.
B2B incumbent: LangChain объявлял $125M funding round при $1.25B valuation; коммерческий LangSmith trace volume вырос 12x YoY, по указанному источнику.
Developer$0/seat/month, 5k base traces/month included
Plus$39/seat/month, 10k base traces/month included
Enterprisecustom
UsageLCU $1.50/LCU, LSU $1.00/LSU
Open-source LLM observability, tracing, prompt management, evals, metrics и dashboards.
Pricing page заявляет 40,000+ builders, 31.8k GitHub stars и 300+ contributors.
Hobbyfree, 50k units/month, 2 users, 30 days data access
Core$29/month, 100k units/month, extra $8/100k units
Pro$199/month, 100k units/month, 3 years data access
Teams add-on$300/month
Enterprise$2,499/month
AI evaluation и observability platform: datasets, scoring, experiments, tracing и Loop agent.
AWS Marketplace указывает customers Lovable, Notion, Stripe, Zapier, Vercel, Ramp; Axios reported $80M Series B at $800M post-money valuation.
Starter$0/month, $10 credits, 1 GB processed data, 10k scores, 14-day retention
Pro$249/month, 5 GB processed data, 50k scores
Enterprisecustom
Usageextra processed data $4/GB Starter, $3/GB Pro; scores $2.50/1k Starter, $1.50/1k Pro
LLM evaluation, observability, red teaming, AI governance, datasets, prompt versioning и annotation workflows.
DeepEval GitHub page: 15.3k stars и 1.4k forks; pricing page содержит testimonials from Finom, Amdocs, Humach, Supernormal.
Free$0 forever, 2 seats, 1 project, 5 test runs/week, 1 GB-month trace spans
Starter$200/month, unlimited seats, 5 projects, 5 GB-months, then $1/GB-month
Team$2,000/month, 75 GB-months, then $1/GB-month, SOC2/SSO/RBAC
Enterprisecustom, unlimited GB-months, red teaming and governance modules
Prompt/RAG/agent evals, red teaming, guardrails, model security, MCP proxy и code scanning.
Pricing page говорит, что Promptfoo now part of OpenAI; GitHub org search показывает около 21.7k stars для основного repo.
Communityfree forever, red teaming up to 10k probes/month
Enterprisecustom
On-Premisecustom
AI/ML/LLM observability, tracing, online evals, monitors, product observability; Phoenix — OSS/local-first.
Public pricing page подтверждает SaaS и OSS Phoenix; точные revenue/users в собранном анализе не подтверждены.
Phoenixself-hosted open source, free
AX Freefree, 25k trace spans/month, 1 GB/month, 15-day retention
AX Pro$50/month, 50k trace spans/month, 10 GB/month, 30-day retention
AX Enterprisecustom
AI evaluation, observability, reliability platform, real-time protection/guardrails и agent-specific evaluation metrics.
Pricing page упоминает enterprise usage и logos/cases like Twilio, Comcast, NVIDIA ecosystem; точные ARR/users не подтверждены.
Free$0/month, 5,000 traces/month, unlimited users, unlimited custom evals
Pro$100/month billed yearly, 50,000 traces/month, standard RBAC, advanced analytics, Slack support
Enterprisecontact us, unlimited traces, hosted/VPC/on-prem, SSO, dedicated CSM, 24/7 support
LLM observability, request logging, cost tracking, prompts/testing, gateway, caching и alerts.
Pricing page показывает 5.8k GitHub stars и customer logos; точные revenue/users не подтверждены.
Hobbyfree, 10,000 free requests, 1 GB storage, 1 seat
Pro$79/month, unlimited seats, alerts/reports/HQL, usage-based pricing
Team$799/month, 5 organizations, SOC-2 & HIPAA, dedicated Slack
Enterprisecustom, SAML SSO, on-prem, bulk discounts
Enterprise LLM agent testing, continuous red teaming, team collaboration, custom business checks, datasets, access control и alerting.
Docs заявляют funding/research support from European Commission, Bpifrance и collaboration with AI Incident Database, Google DeepMind.
Giskard Open Sourcefree
Giskard Hubenterprise/custom pricing
Enterprise trialtrial от 2 недель до 2 месяцев по docs
Runtime AI security guardrails для prompt injection, jailbreak, PII screening, policy controls и dashboard.
Lakera acquired by Check Point reported by ITPro; public numeric enterprise price not found.
Communityrestricted to 10k screening requests/month
Enterprisecustom/quote, flexible API requests/month package
Текущая монетизация проекта
Сам iFixAi сейчас выглядит как бесплатный OSS lead magnet / diagnostic layer: homepage описывает его как free, open-source diagnostic и «no signup, no credit card». Одновременно сайт продвигает adjacent product iMe — deterministic alignment runtime, «Limited release. Selected deployments only. Reach out». Публичной pricing page для iFixAi/iMe в собранном анализе не найдено.
Коммерческий потенциал
ПОТЕНЦИАЛ · СРЕДНИЙ
Заработать можно, если продавать не библиотеку, а AI agent assurance product: hosted evidence, compliance mappings, enterprise reports, on-prem support и remediation/runtime layer. Как generic eval CLI проект рискует остаться нишевым OSS-инструментом рядом с более сильными платформами.
Спрос и рынок
Спрос высокий: iFixAi находится на пересечении бюджетов AI governance/compliance, AI TRiSM и LLM observability/evaluation. В анализе использованы прогнозы: AI governance market $0.89B в 2024 → $5.78B в 2029 при 45.3% CAGR; AI TRiSM market $2.3B в 2024 → $7.4B в 2030 при 21.6% CAGR; Gartner выделяет AI Evaluation and Observability Platforms как отдельный market guide.
Ров / защищённость
Сейчас ров слабый: open-source CLI с 32–45 tests легко копируется. Потенциальный ров можно построить вокруг уникальной taxonomy, domain-specific fixtures, compliance-grade evidence, deterministic replay/manifests, benchmark corpus, trusted scoring methodology, integrations с deployed agents, enterprise adoption и сертифицированных audit workflows.
Модели монетизации
- Managed AI agent audit reports: AI agent readiness report, EU AI Act / NIST AI RMF / ISO 42001 evidence pack.
- Cloud dashboard + history: hosted iFixAi runs, trend charts, regression history, policy versions, audit exports, team collaboration.
- Enterprise support / on-prem: self-hosted runner, private data mode, SSO/RBAC, SLAs, dedicated support.
- Compliance mappings к EU AI Act, NIST AI RMF, ISO 42001, OWASP LLM Top 10 и SOC2 AI controls.
- Domain-specific test packs для healthcare, financial services, legal, insurance, customer support и coding agents.
- Professional services: настройка agent eval/audit pipeline для компаний без зрелой AI risk команды.
- Adjacent runtime product iMe: deterministic alignment/runtime enforcement layer как remediation после diagnostic failures.
Что нужно, чтобы сделать продукт
- Web UI / dashboard.
- Team workspaces.
- Hosted run storage.
- SSO/RBAC/audit logs.
- Reproducible evidence bundles для compliance.
- Trusted baselines по моделям и agent frameworks.
- Calibration данные по judge reliability.
- Integrations с LangSmith, Langfuse, Arize, Datadog, GitHub Actions и Jira.
- Vulnerability remediation workflow.
- Public case studies.
- Pricing page.
- Enterprise privacy/security docs.
- Юридически аккуратное описание, что report означает и чего не означает.
- Stronger brand trust: verified org, named maintainers/company, security policy.
⚖ ЛИЦЕНЗИЯ · МОЖНО ЛИ КОММЕРЦИАЛИЗИРОВАТЬ
Apache-2.0 — коммерчески благоприятная лицензия. Можно использовать, модифицировать, встраивать в закрытые продукты и SaaS при соблюдении условий Apache notice/license/patent grant; copyleft-ограничений GPL/AGPL на закрытые деривативы или SaaS нет.
Риски и подводные камни
ВЫСОКИЙКОНКУРЕНЦИЯ
Promptfoo, DeepEval, LangSmith, Langfuse, Braintrust, Galileo, Arize, Giskard уже имеют product surface, customers, cloud, pricing и enterprise trust.
ВЫСОКИЙПРОЧЕЕ
Trust/credibility risk: для AI audit/governance покупатели требуют доверия; молодой unverified org, отсутствие публичных клиентов и baselines мешают enterprise sales.
ВЫСОКИЙПРОЧЕЕ
Методологический риск: LLM-as-judge нестабилен; без calibration, benchmarks, confidence intervals и human review покупатель может не принять scorecard как аудит.
СРЕДНИЙКОММОДИТИЗАЦИЯ
Evals/red-team probes быстро становятся commodity; open-source competitors могут покрыть те же OWASP/NIST/EU AI Act сценарии.
СРЕДНИЙПРОЧЕЕ
Go-to-market risk: покупатель часто CISO/compliance/risk, а не developer; CLI-проекту нужен enterprise sales motion, legal docs и procurement readiness.
СРЕДНИЙПРОЧЕЕ
Cost risk: README оценивает full-suite judge cost примерно в $10–18 для некоторых setups; при continuous testing затраты на judge calls могут стать заметными.
СРЕДНИЙЗАВИСИМОСТЬ ОТ АВТОРА
Проект молодой, 10 contributors, быстрый рост stars может не означать production adoption.
СРЕДНИЙЮР. СЕРАЯ ЗОНА
Regulatory interpretation risk: нельзя обещать EU AI Act compliant только на основании тестов; нужны аккуратные claims и legal review.
Достоверность разбора
УВЕРЕННОСТЬ · СРЕДНЯЯgpt-5.5 · 2026-07-26 · ОКНО 3D
Оговорки / что не проверено
- Звёзды и вилки OSS-аналогов взяты из собранного анализа и могут быть point-in-time значениями; часть источников указана как GitHub org search result или сторонние агрегаторы, а не единая повторная верификация.
- Для ряда коммерческих продуктов масштаб подтверждён только pricing page, marketplace, funding article или публичными claims; не все цифры подтверждены двумя независимыми источниками.
- Точные revenue, ARR, количество платящих customers и enterprise contract values для большинства коммерческих аналогов не подтверждены.
- Публичная pricing page для iFixAi/iMe не найдена; вывод о lead magnet / adjacent monetization через iMe основан на формулировках homepage из собранного анализа.
- Оценки demand/capture/access являются аналитическим суждением, а не измеренной метрикой.
- Market size forecasts MarketsandMarkets и Grand View Research взяты как внешние аналитические оценки и не перепроверялись несколькими независимыми источниками в рамках этой задачи.
- Выводы о weak moat, GTM risk, methodological risk и commoditization частично основаны на экспертной интерпретации рынка, а не на прямых фактах из README.
- Данные о зрелости iFixAi опираются на входные факты воронки, pyproject classifier Beta, релиз v3.2.2, число contributors и возраст проекта; production adoption и реальные enterprise users не подтверждены.
ИСТОЧНИКИ (33)
Why This Is A Finding
ifixai-ai/iFixAi собрал 986 звёзд за окно, тогда как у автора всего 20 подписчиков — эффективная аудитория ≈ 1,148. Это даёт surprise-индекс 0.28 (звёзды относительно охвата автора, а не в абсолюте). Удержание форков 0.0% и 0 внешних контрибьюторов отделяют реальный инструмент от разовой вспышки. Акселерация положительная — рост ещё не выдохся.
Related Findings
RANKS ABOVE 99% OF 8924 FINDINGS
METRICS IN CONTEXT
MEDIAN ACROSS ALL 8924 FINDINGS · Δ vs MEDIAN · PERCENTILE = SHARE RANKED BELOW
METRICVALUEMEDIANΔ MEDPERCENTILE
SCORE0.280.00+0.28ABOVE 99%
VELOCITY328.675.67+323.00ABOVE 99%
RETENTION0.0%35.7%-35.7 PPABOVE 0%
FORKS673370+304ABOVE 62%
SURPRISE0.280.00+0.27ABOVE 99%