Los investigadores afirman haber entrenado un modelo básico desde cero por unos 1.500 dólares.

El HRM-Text de Sapient reemplaza a los Transformers con un modelo recurrente jerárquico entrenado únicamente con pares instrucción-respuesta, lo que reduce los costos de preentrenamiento y las necesidades de datos. Un modelo de mil millones de parámetros entrenado con 40 mil millones de tokens igualó o superó a modelos abiertos más grandes en pruebas de razonamiento clave, con un costo aproximado de $1500 y 1,9 días de procesamiento en 16 GPU.