1 / 3
【Resumen】 Chutes es una plataforma de inferencia serverless y descentralizada para modelos de IA de código abierto. Permite a los desarrolladores invocar modelos alojados mediante una API compatible con OpenAI o desplegar sus propios contenedores de modelos en GPUs confidenciales. La plataforma se posiciona como una solución para equipos que necesitan ejecutar modelos de código abierto sin gestionar infraestructura, con opciones de seguridad y privacidad. Chutes resuelve la complejidad de desplegar y escalar modelos de IA, ofreciendo un catálogo multimodal que incluye LLMs, modelos de imagen, vídeo, voz, música y embeddings. Además, permite ejecutar trabajos por lotes y tareas de entrenamiento personalizadas. Está dirigido a desarrolladores de IA, equipos que llevan productos de IA a producción y organizaciones que requieren inferencia privada o confidencial. La plataforma utiliza cómputo confidencial con Intel TDX y GPUs NVIDIA Protected PCIe para ejecutar modelos en VMs confidenciales, sin registro del contenido de las solicitudes. Esto la hace adecuada para casos donde la privacidad de los datos es crítica. 【Funciones principales】 • Inferencia de modelos de IA: Sirve LLMs de código abierto de última generación a través de un endpoint de chat completions compatible con OpenAI en llm.chutes.ai. • Cómputo seguro con TEE: Ejecuta modelos dentro de VMs confidenciales Intel TDX con GPUs NVIDIA Protected PCIe, con atestación antes de la ejecución y sin registro del contenido de las solicitudes. • Despliegue privado de Chutes: Despliega tu propio modelo en contenedores sobre capacidad dedicada de GPUs confidenciales y expone tus propios endpoints de API. • Catálogo multimodal: Ejecuta modelos de imagen, vídeo, voz, música y embeddings además de LLMs. • Trabajos por lotes y efímeros: Soporta trabajos efímeros, procesamiento por lotes y cargas de trabajo de entrenamiento personalizadas. • Modelos de moderación de contenido: Proporciona modelos de moderación como Halo guard para detección de discurso de odio y NSFW. 【Casos de uso】 1. Completaciones de chat con LLMs 2. Generación de imágenes, vídeo, voz y música 3. Procesamiento por lotes 【Precios】 Plus: $10/mes — 2,000 solicitudes/día incluidas, 6% de descuento en tarifas PAYG más allá de la cuota, límite de uso mensual de $50, límite de ráfaga de 4 horas de $4.17. Pro: $20/mes — 5,000 solicitudes/día incluidas, 10% de descuento en tarifas PAYG más allá de la cuota, límite de uso mensual de $100, límite de ráfaga de 4 horas de $8.33. Enterprise: Facturación personalizada — Descuentos por volumen, límites de velocidad personalizados, soporte dedicado. 【Ventajas y desventajas】 Ventajas: - Ideal para desarrolladores que necesitan una API compatible con OpenAI sin gestionar infraestructura, ya que permite integrar modelos de código abierto rápidamente. - La opción de desplegar contenedores propios en GPUs confidenciales beneficia a organizaciones con requisitos estrictos de privacidad y control sobre sus modelos. - El catálogo multimodal y los trabajos por lotes ofrecen flexibilidad para equipos que trabajan con distintos tipos de datos y cargas de trabajo. Desventajas: - El cómputo seguro TEE solo está disponible para modelos que reportan confidential_compute: true, lo que limita la protección a un subconjunto del catálogo. - El despliegue privado de Chutes se factura por segundo a la tarifa horaria de la GPU más una tarifa única de despliegue equivalente a 3 veces la tarifa horaria, lo que puede representar un costo inicial significativo. 【Preguntas frecuentes】 Q: ¿Cómo se factura Chutes? A: Chutes utiliza un modelo de pago por uso (pay-as-you-go) por defecto, donde recargas tu saldo y pagas solo por lo que consumes. También ofrece planes mensuales Plus y Pro con solicitudes incluidas y descuentos, y un plan Enterprise con facturación personalizada. Q: ¿Qué tipos de modelos puedo ejecutar en Chutes? A: Puedes ejecutar LLMs de código abierto, así como modelos de imagen, vídeo, voz, música y embeddings. Además, puedes desplegar tus propios contenedores de modelos en GPUs confidenciales. Q: ¿Chutes es adecuado para cargas de trabajo automatizadas de alto volumen? A: Los planes de suscripción mensual no están pensados para cargas de trabajo automatizadas o de alto volumen.
Plus · $10/month (2,000 requests/day included, 6% off PAYG rates beyond the quota, $50 monthly usage cap) Pro · $20/month (5,000 requests/day included, 10% off PAYG rates beyond the quota, $100 monthly usage cap) Enterprise (Custom billing only, Volume discounts, Custom rate limits)
Los precios mostrados son de referencia de la región de EE. UU.; el precio local puede variar.
WPS AI es un asistente de inteligencia artificial integrado en WPS Office, disponible en chino, que acompaña al usuario…
Baidu Comate es un asistente de programación impulsado por IA, desarrollado por Baidu sobre su modelo ERNIE. Ofrece…
UniConverter es una herramienta de conversión y mejora de medios con inteligencia artificial que trabaja con video,…
6 herramientas similares a Chutes que tener en cuenta