En la url
https://github.com/facebookresearch/llama
pueden encontrar un sistema muy simple que puede se instalado en una pc para simular un ChatGPT-3 de 7 billones de parámetros, y si usan el software Dalai pueden ponerlo en una web muy parecido a ChatGPT. Otro proyecto que también pueden integrar para las PC menos potentes es el Alpaca desarrollado por la Universidad de Stanford que es más ligero.
Ojo el tamaño de las bases de datos son las siguientes
7 billones de parámetros +-4Gb
13 billones de parámetros +-8Gb

Imposible de implementar para una persona en Cuba, pero muy interesante la información. Ahora la duda que me asalta es ¿con que algoritmo de compresión trabajaron para poder meter 7billones de parámetros en 4GB? Me parece que debe ser más tamaño

Ciberman wrote:Imposible de implementar para una persona en Cuba

¿No se puede por...? Yo iba a probar, pero la descarga es instalandolo, osea, en github lo que está es el instalador que luego te descarga todo lo demás. Y me dio pereza. (Una explicación de asco, pero creo que se entiende.)

Bueno, si resulta tu experimento me avisas, aunque bajar 4GB solo se podría hacer con datos ilimitados de madrugada. Me imagino que la base de datos está en texto plato usando índice invertido. Si logras bajar la base de datos me avisas

Ciberman wrote:solo se podría hacer con datos ilimitados de madrugada

¿?
Yo descargué entre 15 o 16Gb los otros dias y me faltan como 25Gb de otra cosa ahi... Era por datos, pero no ilimitado; así que imposible no es.

Ciberman wrote:Me imagino que la base de datos está en texto plato usando índice invertido. Si logras bajar la base de datos me avisas

No sé. Ya te digo, lo que vi en git fue solo un instalador con boberias, no pesaba tanto, por eso fue que no llegué a probarlo.

De todas formas si pruebo te digo.

AkaMe wrote:

¿?
Yo descargué entre 15 o 16Gb los otros dias y me faltan como 25Gb de otra cosa ahi... Era por datos, pero no ilimitado; así que imposible no es.

No sé. Ya te digo, lo que vi en git fue solo un instalador con boberias, no pesaba tanto, por eso fue que no llegué a probarlo.

De todas formas si pruebo te digo.

Ok, 4Gb no es tanto tamaño estoy de acuerdo en eso, pero lo que hace falta es darle un uso práctico, para mi buscador a lo mejor me sirve la forma en que encuentra información ese sistema y a lo mejor le doy un toque de "inteligencia" al buscador cubano que quiero hacer.

https://huggingface.co
aqui estan las BD de los modelos gratuitos, les recomiendo el proyecto bertin-project que tiene una en español