Future AGI

Después de intentar unir con cinta adhesiva nuestra propia pila de evaluación, finalmente le dimos una oportunidad. Hace lo que cabría esperar: señala problemas del modelo, realiza un seguimiento del rendimiento y mantiene sus iteraciones basadas en la realidad. Hace mucho que se necesitaba en este espacio.

Una de las pocas plataformas que parece construida por personas que realmente han puesto IA en producción. Las herramientas de evaluación son ajustadas, los circuitos de retroalimentación están bien diseñados y no hay tonterías.

El lado de los datos de la IA a menudo se ignora hasta que las cosas se estropean. Future AGI es una de las pocas herramientas que realmente prioriza la evaluación y la retroalimentación de datos como componentes centrales. No es llamativo, pero funciona y es necesario.

No es necesario que todo sea de principio a fin, pero si le interesa el ciclo de vida completo (datos, pruebas, evaluación), vale la pena explorarlo. Especialmente útil para equipos que crean productos LLM bajo restricciones del mundo real.

¡Gran adición a nuestro flujo de trabajo! La función de métricas personalizadas es destacada: hace que la detección de errores esté mucho más alineada con nuestras necesidades específicas. Definitivamente ha mejorado la forma en que manejamos el desarrollo de modelos de IA.

Finalmente podemos cuantificar problemas como las alucinaciones, los prejuicios y la deriva en lugar de simplemente reaccionar ante ellos después del lanzamiento. Esto resuelve un problema real para los ingenieros de IA.