La empresa presentó LLaMA, un nuevo modelo de lenguaje fundacional de 65.000 millones de parámetros.
Meta anunció el lanzamiento de un nuevo modelo de lenguaje grande basado en inteligencia artificial (IA) dirigido a la comunidad de investigación, sumándose así a una carrera en la que compiten otro gigantes como Microsoft y Google.
LLaMA de Meta, abreviatura de Large Language Model Meta AI, estará disponible bajo licencia no comercial para investigadores y entidades afiliadas al gobierno, la sociedad civil y la academia, informó la empresa.
"El entrenamiento de modelos de base más pequeños como LLaMA es deseable en el espacio de modelos de lenguaje grande porque requiere mucho menos poder de cómputo y recursos para probar nuevos enfoques, validar el trabajo de otros y explorar nuevos casos de uso", explicó la compañía en su blog. "Los modelos básicos se entrenan en un gran conjunto de datos sin etiquetar, lo que los hace ideales para realizar ajustes en una variedad de tareas. Estamos poniendo a disposición LLaMA en varios tamaños y también compartimos una tarjeta modelo LLaMA que detalla cómo construimos el modelo de acuerdo con nuestro enfoque de prácticas de IA responsable".
Vea también: Solo el 9% de los estadounidenses cree que el impacto de la IA en la sociedad será positivo
Durante el último año, los grandes modelos de lenguaje (sistemas de procesamiento de lenguaje natural (NLP) con miles de millones de parámetros) han mostrado nuevas capacidades para generar texto creativo, resolver teoremas matemáticos, predecir estructuras de proteínas, responder preguntas de comprensión de lectura y más. Son uno de los casos más claros de los beneficios potenciales sustanciales que la IA puede ofrecer a escala a miles de millones de personas.
Meta pondrá a disposición el código subyacente para que los usuarios modifiquen el modelo y lo utilicen para casos de uso relacionados con la investigación. El modelo, que según Meta requiere "mucho menos" poder de cómputo, está entrenado en 20 idiomas con un enfoque en aquellos con alfabetos latino y cirílico.
La IA parece ser la nueva meca en la industria de la tecnología, en especial a partir de la enorme repercusión global de ChatGPT, desarrollado por OpenAI, capaz de buscar y generar contenidos en el marco de "conversaciones". Gigantes como Microsoft, Baidu y Google están incorporando inteligencia artificial a sus respectivos motores de búsqueda, si bien están en etapas experimentales y presentan un funcionamiento muchas veces incorrecto y errático.
Según informaron desde Meta, "todavía hay más investigación por hacer para abordar los riesgos de sesgo, comentarios tóxicos y alucinaciones en modelos de lenguaje grandes. Como otros modelos, LLaMA comparte estos desafíos. Como modelo básico, LLaMA está diseñado para ser versátil y se puede aplicar a muchos casos de uso diferentes, en comparación con un modelo ajustado que está diseñado para una tarea específica. Al compartir el código de LLaMA, otros investigadores pueden probar más fácilmente nuevos enfoques para limitar o eliminar estos problemas en modelos de lenguaje grandes. También proporcionamos en el documento un conjunto de evaluaciones sobre puntos de referencia que evalúan los sesgos y la toxicidad del modelo para mostrar las limitaciones del modelo y respaldar futuras investigaciones en esta área crucial".