Ficha del Reto Innotransfer
Prioridad AVI del Reto
Título del reto
Necesidad a resolver
Creación de un gran modelo de lenguaje (LLM, estilo ChatGPT) propio y sectorial
La necesidad es disponer de un gran modelo de lenguaje (LLM, estilo ChatGPT), propio y adaptable a distintos sectores (industria, ayuntamientos, etc.), que sea una base para proporcionar servicios de alto valor añadido sectorizados, generando altos ingresos, propiciando la retención de talento y disponiendo de una ventaja competitiva.
Los grandes modelos de lenguaje (LLMs, estilo ChatGPT), gracias al nivel de inteligencia de que disponen, son capaces de realizar múltiples tareas útiles en las que alcanzan un nivel de desempeño similar al de un empleado real. Algunas de estas tareas son, actualmente:
+ Comprender y resumir grandes cantidades de texto.
+ Mantener una conversación centrada en un dominio y con propósitos concretos.
+ Hacer de interfaz entre los humanos y sistemas tecnológicos como aplicaciones softwares o páginas web.
+ Encontrar conexiones conceptuales entre necesidades y documentación que puede contener ayuda para solucionar las necesidades.
Existen opciones de pago (https://aws.amazon.com/es/bedrock/) y open-source, por lo que disponer de un LLM propio nos permitiría comercializarlo o ganar notoriedad mundial si lo convirtiéramos en open-source.
Requisitos de la solución
La solución debe:
+ Obtener 80% de puntuación con respecto al mejor modelo de lenguaje o, al menos, que supere o iguale a ChatGPT 3.5.
+ Proporcionar acceso a todo el código fuente o, como mucho, que use librerías (Keras, etc.) cuyo funcionamiento podamos deducir (Transformer, etc.) y eventualmente programar dichas funciones en nuestro SDK para usar sólo éste.
+ Disponga de una API (estilo OpenAI, o lo más cerca posible) para poder usar el modelo programáticamente.
+ Opcional: algunos modelos open-source proporcionan un GUI web para poderlos evaluar.
+ Podamos hacer “Fine Tuning” de dicho modelo con datos de cliente.
+ Podamos hacer “Training”, desde cero, de dicho modelo con datos del cliente. Para validar que podemos hacer training, deberíamos ser capaces de poderlo entrenar desde cero con algún data set (“The Pile” o similar) que nos permitiera saber que efectivamente aprende y luego podamos probarlo, antes de hacer todo el trabajo de recopilar la info del cliente, prepararla y luego entrenar el modelo para descubrir que hay algún fallo y que no aprende.
+ Que funcione con GPU pero también con CPU.
Perfil del colaborador buscado
Queremos compartir la inversión y el beneficio de este proyecto para no tener que abordarlo nosotros enteramente, ya que estamos además desarrollando otros proyectos. Buscamos uno o varios organismos públicos o empresas privadas.
En caso de ser organismo público, además, podemos solicitar una subvención en el plazo 30/01/2024 – 20/02/2024.
También podemos encontrar financiación en caso de tratarse de empresas privadas.
Plazo deseado de la solución
