1 / 3
【Überblick】 Chutes ist eine dezentrale, serverlose Inferenzplattform für Open-Source-KI-Modelle. Entwickler können gehostete Modelle über eine OpenAI-kompatible API aufrufen oder eigene Modellcontainer auf vertraulichen GPUs betreiben. Die Plattform richtet sich an KI-Entwickler, Teams, die KI-Produkte in Produktion bringen, und Organisationen, die private oder vertrauliche Inferenz benötigen. Das Kernproblem, das Chutes löst, ist der Betrieb von Open-Source-Modellen ohne eigene Infrastruktur. Statt GPUs selbst zu verwalten, nutzen Sie eine API, die mit OpenAI-Clients kompatibel ist, und zahlen nur für die tatsächliche Nutzung. Für sensible Workloads bietet Chutes vertrauliche Ausführungsumgebungen, in denen Modelle in Intel TDX Confidential VMs auf NVIDIA Protected PCIe GPUs laufen und vor der Ausführung bescheinigt werden, ohne dass Anfrageinhalte protokolliert werden. Chutes ist nicht für automatisierte oder hochvolumige Workloads auf Monatsabonnements ausgelegt. Die Plattform eignet sich für Teams, die eigene containerisierte Modelle mit dedizierter vertraulicher GPU-Kapazität betreiben möchten. 【Kernfunktionen】 • KI-Modell-Inferenz: Stellt moderne Open-Source-LLMs über einen OpenAI-kompatiblen Chat-Completions-Endpunkt unter llm.chutes.ai bereit. • TEE/secure Compute: Führt Modelle in Intel TDX Confidential VMs mit NVIDIA Protected PCIe GPUs aus, bescheinigt vor der Ausführung und protokolliert keine Anfrageinhalte. • Private Chutes-Bereitstellung: Stellt eigene containerisierte Modelle auf dedizierter vertraulicher GPU-Kapazität bereit und stellt eigene API-Endpunkte bereit. • Multimodaler Modellkatalog: Bietet neben LLMs auch Bild-, Video-, Sprach-, Musik- und Embedding-Modelle. • Batch- und ephemere Jobs: Unterstützt ephemere Jobs, Batch-Verarbeitungsjobs und benutzerdefinierte Trainings-Workloads. • Content-Moderation-Modelle: Stellt Moderationsmodelle wie Halo guard zur Erkennung von Hassrede und NSFW-Inhalten bereit. 【Anwendungsfälle】 1. LLM-Chat-Completions 2. Bilder, Videos, Sprache und Musik generieren 3. Embeddings für Suche und Empfehlungen 4. Content-Moderation (Hassrede, NSFW) 5. Batch-Verarbeitungsjobs 【Preise】 Plus: $10/Monat — 2.000 Anfragen/Tag inklusive, 6 % Rabatt auf PAYG-Raten über dem Kontingent, $50 monatliche Nutzungsobergrenze, $4.17 4-Stunden-Burst-Limit Pro: $20/Monat — 5.000 Anfragen/Tag inklusive, 10 % Rabatt auf PAYG-Raten über dem Kontingent, $100 monatliche Nutzungsobergrenze, $8.33 4-Stunden-Burst-Limit Enterprise: Individuelle Abrechnung — Mengenrabatte, individuelle Ratenlimits, dedizierter Support 【Vor- und Nachteile】 Vorteile: - Entwickler, die Open-Source-Modelle ohne eigenen GPU-Betrieb nutzen möchten, profitieren von der OpenAI-kompatiblen API und der nutzungsbasierten Abrechnung. - Teams mit sensiblen Daten erhalten mit vertraulichen VMs und bescheinigter Ausführung eine Umgebung, die Anfrageinhalte nicht protokolliert. - Organisationen, die eigene Modelle betreiben wollen, können containerisierte Modelle auf dedizierter vertraulicher GPU-Kapazität bereitstellen. Nachteile: - Nur Modelle, die confidential_compute: true melden, laufen in TEEs. - Die private Chutes-Bereitstellung wird sekundengenau zum GPU-Stundensatz plus einer einmaligen Bereitstellungsgebühr in Höhe des Dreifachen des Stundensatzes abgerechnet. 【Häufige Fragen】 Q: Für wen ist Chutes geeignet? A: Chutes richtet sich an KI-Entwickler, Teams, die KI-Produkte in Produktion bringen, und Organisationen, die private oder vertrauliche Inferenz benötigen. Q: Wie funktioniert die Preisgestaltung? A: Die nutzungsbasierte Abrechnung (Pay-as-you-go) ist der Standard: Sie laden Ihr Kontoguthaben auf und zahlen nur für die tatsächliche Nutzung. Zusätzlich gibt es die Abonnementpläne Plus für $10/Monat und Pro für $20/Monat sowie Enterprise mit individueller Abrechnung. Q: Welche Modelle laufen in vertraulichen Ausführungsumgebungen? A: Nur Modelle, die confidential_compute: true melden, werden in TEEs ausgeführt. Diese laufen in Intel TDX Confidential VMs mit NVIDIA Protected PCIe GPUs und werden vor der Ausführung bescheinigt, ohne dass Anfrageinhalte protokolliert werden.
Plus · $10/month (2,000 requests/day included, 6% off PAYG rates beyond the quota, $50 monthly usage cap) Pro · $20/month (5,000 requests/day included, 10% off PAYG rates beyond the quota, $100 monthly usage cap) Enterprise (Custom billing only, Volume discounts, Custom rate limits)
Die angezeigten Preise sind Referenzpreise für die USA; lokale Preise können abweichen.
WPS AI ist ein KI-Assistent, der direkt in WPS Office integriert ist und mit einem großen Sprachmodell arbeitet. Er…
Baidu Comate ist ein KI-gestützter Programmierassistent, der auf dem ERNIE-Modell von Baidu basiert. Er unterstützt…
UniConverter ist ein KI-gestütztes Werkzeug zur Medienkonvertierung und -verbesserung. Es konvertiert, komprimiert,…
6 ähnliche Werkzeuge als Alternative zu Chutes