1
00:00:00,520 --> 00:00:07,220
¡Buenas! Bienvenidos al disperso. Disperso tiempo es caso. Un podcast que se graba y

2
00:00:07,220 --> 00:00:10,660
después se procesa en local, no en la nube.

3
00:00:15,280 --> 00:00:21,020
Pues sí, así es. Ya sabéis que este podcast, en la medida en que me es posible, se

4
00:00:21,020 --> 00:00:25,580
procesa en local, en mi ordenador o en algunos de los ordenadores que tengo por

5
00:00:25,580 --> 00:00:30,680
aquí. Básicamente, por ejemplo, a la hora de hacer las transcripciones se utiliza un

6
00:00:30,680 --> 00:00:36,360
software que, al final, por debajo lo que tiene es Whisper. Whisper es uno de esos,

7
00:00:36,920 --> 00:00:41,340
bueno, pues, inteligencias artificiales, como lo llaman ahora, aunque sabéis que no me

8
00:00:41,340 --> 00:00:46,380
gusta mucho el nombre. Al final son máquinas de inferencia, como decíamos en un

9
00:00:47,040 --> 00:00:52,100
episodio anterior. Pero bueno, el caso es que es una de estas herramientas que

10
00:00:52,100 --> 00:00:58,000
liberó OpenEye en aquellos momentos en que la parte de Open tenía más sentido que

11
00:00:58,000 --> 00:01:04,200
ahora y que esté lo mejor que hay a la hora de pasar de lenguaje hablado a

12
00:01:04,200 --> 00:01:09,920
lenguaje escrita. Quería probar a hacer más cosas en local y para ello me

13
00:01:09,920 --> 00:01:17,720
puse a utilizar o a intentar utilizar LLMS pero de forma local. Vamos a ver, bueno,

14
00:01:17,720 --> 00:01:25,680
LLM, ya sabéis que es Learned Language Model, lo que son pues ChagPT. ChagPT es un LLM,

15
00:01:26,120 --> 00:01:33,300
un LLM que está preparado especialmente para conversar y para responder a las

16
00:01:33,300 --> 00:01:38,560
preguntas que le hacemos. Partamos para empezar de que tengo un entorno bastante

17
00:01:38,560 --> 00:01:44,720
limitado. Tengo un ordenador que tiene ya sus años, es un i5 de, bueno,

18
00:01:45,920 --> 00:01:51,740
generación ya antigua y que tiene 8 gigas de memoria. Así que tampoco puedo

19
00:01:51,740 --> 00:01:59,680
permitirme muchos lujos. Aquí no corre DeepSync ni nada parecido. El tipo de LLMS

20
00:01:59,680 --> 00:02:04,980
de modelos generativos que puedo ejecutar en mi ordenador son modelos limitados.

21
00:02:05,280 --> 00:02:09,800
Son modelos que además voy a tener que tirar de paciencia ya que no puedo

22
00:02:09,800 --> 00:02:16,880
tirar de procesador. Y para ello lo que he usado es ham.i.

23
00:02:17,420 --> 00:02:23,980
Ham.i, su gerencia es adminsmarcel, por cierto, que lo utiliza y lo había

24
00:02:23,980 --> 00:02:29,580
recomendado en algún otro podcast. Bueno, pues ham.i lo que nos proporciona es por

25
00:02:29,580 --> 00:02:33,700
un lado una interfaz parecida a la que estamos acostumbrados a ver en

26
00:02:33,700 --> 00:02:39,180
herramientas como ChagPT o tantos otros. Bueno, pues al final una

27
00:02:39,180 --> 00:02:43,460
interfaz en la que puedas escribir y te pueda proporcionar respuestas.

28
00:02:44,220 --> 00:02:48,880
Ham.i está disponible para Windows, para Mac y para Linux, que es lo que me

29
00:02:48,880 --> 00:02:52,940
interesaba. De hecho, en Debian directamente te proporciona un

30
00:02:52,940 --> 00:02:57,420
dev que instala directamente en tu distribución. Aparte de lo que se

31
00:02:57,420 --> 00:03:01,220
contaba, de que tiene el cuadro de chat, lo que también tiene es otra opción

32
00:03:01,220 --> 00:03:05,340
en que te dejas seleccionar el modelo con el que haces la pregunta, el

33
00:03:05,340 --> 00:03:09,000
modelo que vas a usar. Y de hecho tiene un buscador y puedes

34
00:03:09,000 --> 00:03:12,400
buscar ahí entre varios modelos. En principio me pareció que tenía

35
00:03:12,400 --> 00:03:15,880
una selección escasa, pero no no entiendo muy bien si es un problema

36
00:03:15,880 --> 00:03:20,780
del programa o es un problema del usuario del programa, pero

37
00:03:20,780 --> 00:03:26,900
dependiendo de cómo entrará veía más o menos modelos. El caso es que no,

38
00:03:26,960 --> 00:03:31,400
no es escasa, hay un montón de ellos. Y además puedes importar

39
00:03:31,400 --> 00:03:36,540
cualquier modelo en formato gguf. ¿Qué es eso de gguf?

40
00:03:37,240 --> 00:03:42,380
A la hora de definir un modelo se puede definir de distintas formas.

41
00:03:42,480 --> 00:03:49,500
Hay un montón de ficheros que conforman un modelo y gguf es un

42
00:03:49,500 --> 00:03:53,660
empaquetado que se han inventado para poder proporcionar un único

43
00:03:53,660 --> 00:03:56,960
fichero en el que esté todo el necesario para poder importar un

44
00:03:56,960 --> 00:04:01,500
modelo. Hay otros empaquetados. Por lo visto esto sería parecido.

45
00:04:01,840 --> 00:04:05,400
Tomáslo con todas las consideraciones y cuidados que hagan falta,

46
00:04:05,400 --> 00:04:08,760
pero es parecido a lo que ocurre con el vídeo. Que al final tú tienes

47
00:04:08,760 --> 00:04:12,980
avi que es un contenedor y dentro la película está codificada

48
00:04:12,980 --> 00:04:17,320
en distintos formatos o están ahí también dentro de los subtítulos,

49
00:04:17,440 --> 00:04:21,460
etcétera. Y todo ello dentro de ese contenedor es lo que te permite

50
00:04:21,460 --> 00:04:26,580
ver la película con todas sus características. Bueno, como

51
00:04:26,580 --> 00:04:31,140
decía, aquí también te permite importar modelos en formato

52
00:04:31,140 --> 00:04:37,880
gguf. Que puedes encontrar, por ejemplo, en Hagenface. Hagenface es

53
00:04:37,880 --> 00:04:42,340
una web seguramente de las más importantes que tiene

54
00:04:42,340 --> 00:04:47,140
multitud de modelos y variaciones de modelos, de inteligencias

55
00:04:47,800 --> 00:04:51,840
artificiales de modelos generativos. Y que, por cierto, es

56
00:04:51,840 --> 00:04:55,000
europea, algo de lo que podemos estar orgullosos. Por debajo

57
00:04:55,000 --> 00:04:59,360
de todo esto, al final lo que tenemos es Oyama. Oyama es

58
00:04:59,360 --> 00:05:03,660
una interfaz de comandos que sirve para, pues bueno, lo que

59
00:05:03,660 --> 00:05:06,300
quieres hacer con estas inteligencias artificiales, que al

60
00:05:06,300 --> 00:05:11,600
final es cargarles en memoria y lanzarles comandos y que te

61
00:05:11,600 --> 00:05:16,960
los responda, ¿no? Hanai sería un recubrimiento que hace que

62
00:05:16,960 --> 00:05:20,160
sea bonito y que sea más fácil de usar por encima de

63
00:05:20,160 --> 00:05:23,000
Oyama, que es, bueno, quien realmente está haciendo el

64
00:05:23,000 --> 00:05:25,960
trabajo por debajo. Una cosa que me ha parecido chula de todo

65
00:05:25,960 --> 00:05:28,560
esto, sobre todo teniendo en cuenta las limitaciones con

66
00:05:28,560 --> 00:05:35,720
las que me movía, es que Han.ight muestra un carterito de

67
00:05:35,720 --> 00:05:40,400
aviso, como quien dice, un icono al lado de cada modelo que va a

68
00:05:40,400 --> 00:05:44,020
ser complicado que puedas ejecutar, ¿vale? Porque bien,

69
00:05:44,100 --> 00:05:47,600
porque puede ser muy grande o te va a funcionar lento,

70
00:05:47,940 --> 00:05:52,100
etcétera, ¿no? Bueno, eso te ayuda a no perder tiempo con

71
00:05:52,100 --> 00:05:54,260
cosas que de otra forma, pues tampoco vas a poder

72
00:05:54,260 --> 00:05:57,800
utilizar. Bueno, como os decía, al tener tan poca memoria

73
00:05:57,800 --> 00:06:01,460
y procesador, pues tienes que utilizar modelos

74
00:06:01,460 --> 00:06:06,020
generativos, lms, pequeños. Y más que pequeños, la palabra es

75
00:06:06,020 --> 00:06:10,440
específicos. ¿Qué quiere decir eso? Todo este revolución de

76
00:06:10,440 --> 00:06:15,280
los chat GP3 y etcétera ha venido, sobre todo, inicialmente

77
00:06:15,280 --> 00:06:18,060
con estos modelos grandes, enormes de lenguaje que

78
00:06:18,060 --> 00:06:21,000
podían hacer de todo. Pero claro, a medida que hemos

79
00:06:21,000 --> 00:06:24,740
visto que era necesario poder adaptar estos modelos de

80
00:06:24,740 --> 00:06:27,480
lenguaje a dispositivos que a lo mejor no se han

81
00:06:27,480 --> 00:06:31,060
tan poderosos como pueden ser nuestros teléfonos,

82
00:06:31,100 --> 00:06:33,920
aunque también os diré. Mi teléfono es casi más potente

83
00:06:33,920 --> 00:06:37,040
que mi portátil ahora mismo. Pero bueno, el caso es que

84
00:06:37,040 --> 00:06:39,300
a medida que hemos tenido que adaptar estos modelos

85
00:06:39,300 --> 00:06:44,520
a dispositivos más limitados, se ha visto que se puede

86
00:06:44,520 --> 00:06:49,540
disminuir la capacidad del tamaño de estos modelos,

87
00:06:49,600 --> 00:06:52,300
obteniendo un rendimiento bastante interesante,

88
00:06:52,480 --> 00:06:55,460
siempre que mantengas la funcionalidad del mismo,

89
00:06:55,460 --> 00:07:00,300
bastante acotado. Y que los datos de entrenamiento,

90
00:07:00,420 --> 00:07:02,980
los datos de los que se han nutrido, bueno, pues

91
00:07:02,980 --> 00:07:05,800
estén bien elegidos. Digamos que cuando el modelo

92
00:07:05,800 --> 00:07:09,300
es un modelo enorme de lenguaje, no importa tanto

93
00:07:09,300 --> 00:07:12,640
que haya más más orilla por ahí, porque el

94
00:07:12,640 --> 00:07:15,660
conjunto global de datos y la capacidad de

95
00:07:15,660 --> 00:07:18,640
proceso va a hacer que sea capaz de sacar

96
00:07:18,640 --> 00:07:20,980
las cosas más o menos bien. Pero cuando

97
00:07:20,980 --> 00:07:22,820
estamos hablando de un modelo pequeño, no

98
00:07:22,820 --> 00:07:25,200
puedes perder tiempo, esfuerzo, capacidad,

99
00:07:25,820 --> 00:07:29,040
con datos que no necesitas. El caso es que a la hora

100
00:07:29,040 --> 00:07:31,440
de meterme con este tema, pues, vi que había

101
00:07:31,440 --> 00:07:35,160
LLMS que estaban marcados como IT y otros que

102
00:07:35,160 --> 00:07:37,440
no. Y resulta que es que los que están

103
00:07:37,440 --> 00:07:40,360
marcados como IT se refieren a que están

104
00:07:40,360 --> 00:07:43,800
preparados para interactuar. Son modelos en

105
00:07:43,800 --> 00:07:46,640
los que se espera que haya una

106
00:07:46,640 --> 00:07:49,640
interacción, que haya un cambio entre una

107
00:07:49,640 --> 00:07:52,760
persona, generalmente, y el modelo de

108
00:07:52,760 --> 00:07:55,420
forma que esté preparado para seguir

109
00:07:55,420 --> 00:07:58,740
instrucciones y para devolver respuestas.

110
00:07:59,940 --> 00:08:01,440
Y, sin embargo, otros modelos que a lo

111
00:08:01,440 --> 00:08:03,380
mejor no tienen esto, lo que están más

112
00:08:03,380 --> 00:08:05,960
preparados es a lo que realmente se ha

113
00:08:05,960 --> 00:08:08,400
dicho muchas veces, que es como se

114
00:08:08,400 --> 00:08:11,400
inició todo este tema de los modelos

115
00:08:11,400 --> 00:08:13,380
grandes de lenguaje y las herramientas

116
00:08:13,380 --> 00:08:15,500
generativas, que son autocompletadores,

117
00:08:16,020 --> 00:08:18,560
que tú le das un inicio de un

118
00:08:18,560 --> 00:08:21,300
texto, o lo que sea, y ellos lo

119
00:08:21,300 --> 00:08:26,260
continúan, lo completan, en la manera

120
00:08:26,260 --> 00:08:28,420
en que creen que es más adecuado. En ese

121
00:08:28,420 --> 00:08:30,680
sentido, por ejemplo, estuve viendo que

122
00:08:30,680 --> 00:08:33,580
había modelos como Distilbert, o en

123
00:08:33,580 --> 00:08:35,780
general todos los que son de la familia

124
00:08:35,780 --> 00:08:37,100
vert, que están

125
00:08:37,620 --> 00:08:38,780
preparados para ser utilizados

126
00:08:38,780 --> 00:08:40,240
programáticamente. Estos modelos no

127
00:08:40,240 --> 00:08:42,600
están pensados para meterlos en un

128
00:08:42,600 --> 00:08:45,440
interfaz de tipo chat, y que por lo

129
00:08:45,440 --> 00:08:46,840
esto son de lo que llaman un modelo de

130
00:08:46,840 --> 00:08:50,220
tipo encoder. No son el tipo de

131
00:08:50,220 --> 00:08:52,020
modelo típico que le decimos

132
00:08:52,020 --> 00:08:53,520
Cuéntame un cuento y el te suelta un

133
00:08:53,520 --> 00:08:55,500
cuento, sino que más bien sirve para

134
00:08:55,500 --> 00:08:58,740
analizar un texto, no para generarlo, y

135
00:08:58,740 --> 00:09:00,320
qué significado de analizar un

136
00:09:00,320 --> 00:09:01,480
texto, que a lo mejor le pasa a un

137
00:09:01,480 --> 00:09:03,520
texto, y él te dice, por ejemplo,

138
00:09:04,380 --> 00:09:05,300
función de la cultura de despedido

139
00:09:05,300 --> 00:09:07,860
también, el sentimiento que

140
00:09:08,340 --> 00:09:09,980
expresa ese texto, si es un texto

141
00:09:09,980 --> 00:09:13,080
triste, alegre, de enfadado, para

142
00:09:13,080 --> 00:09:14,580
extrañatorias, para hacer un

143
00:09:14,580 --> 00:09:18,620
resúmenes. Como veis, se trata

144
00:09:18,620 --> 00:09:21,880
al ir a especificidades, ya nos

145
00:09:21,880 --> 00:09:23,180
encontramos con cosas que tienen

146
00:09:23,180 --> 00:09:24,900
funcionalidades muy específicas, y

147
00:09:24,900 --> 00:09:26,460
que no es lo que el común de los

148
00:09:26,460 --> 00:09:28,920
mortales entiende por un chat gpt.

149
00:09:29,780 --> 00:09:31,500
Pero bueno, este no era el tipo de

150
00:09:31,500 --> 00:09:33,500
modelo con el que quería probar, no

151
00:09:33,500 --> 00:09:36,180
era el tipo de modelo que quería

152
00:09:36,180 --> 00:09:38,620
meter, así que estos los aparte. Y me

153
00:09:38,620 --> 00:09:40,540
metí más con modelos que son

154
00:09:40,540 --> 00:09:42,920
modelos preparados para funcionar en

155
00:09:42,920 --> 00:09:44,880
ordenadores, bueno, ordenadores,

156
00:09:45,140 --> 00:09:46,460
máquinas, dispositivos, con

157
00:09:46,460 --> 00:09:48,240
recursos limitados. Y, por ejemplo,

158
00:09:48,240 --> 00:09:50,680
empecé con, bueno, uno de los que

159
00:09:50,680 --> 00:09:53,620
probé fueron los modelos, sí, THI,

160
00:09:53,700 --> 00:09:55,360
¿vale? Son los modelos de

161
00:09:55,360 --> 00:09:57,700
Microsoft, que sacó como modelos

162
00:09:57,700 --> 00:09:59,820
abiertos, podríamos decir, y que

163
00:09:59,820 --> 00:10:02,620
son sus modelos más pequeños, más

164
00:10:02,620 --> 00:10:05,260
mínimos. Por ejemplo, que yo

165
00:10:05,260 --> 00:10:06,980
probé era de dos billones de

166
00:10:06,980 --> 00:10:08,660
parámetros, ya sabéis, estas

167
00:10:08,660 --> 00:10:10,200
cosas de los americanos, que son

168
00:10:10,200 --> 00:10:12,060
en realidad dos mil millones de

169
00:10:12,060 --> 00:10:15,540
parámetros. Bueno, pero este en

170
00:10:15,540 --> 00:10:16,960
particular creo que era como dos

171
00:10:16,960 --> 00:10:19,420
millones o menos, vale, menos

172
00:10:19,420 --> 00:10:23,100
de hecho. Y que por lo que vi en la

173
00:10:23,100 --> 00:10:24,860
frichada, Heimfeis, etcétera, decía

174
00:10:24,860 --> 00:10:26,160
que tenía un buen rendimiento para

175
00:10:26,160 --> 00:10:28,520
su tamaño. Así que, bueno, lo

176
00:10:28,520 --> 00:10:30,500
levanté, me armé de paciencia,

177
00:10:31,080 --> 00:10:33,340
empecé a hablar con él y mi

178
00:10:33,340 --> 00:10:35,280
experiencia no fue la mejor del

179
00:10:35,280 --> 00:10:37,900
mundo. ¿Por qué? Porque en

180
00:10:37,900 --> 00:10:39,560
realidad, como decía estos

181
00:10:39,560 --> 00:10:41,360
modelos, al ser específicos

182
00:10:41,360 --> 00:10:42,520
están más preparados para

183
00:10:42,520 --> 00:10:44,620
segunque cosas. Y seguramente

184
00:10:44,620 --> 00:10:47,480
por mi torpeza, el modelo que

185
00:10:47,480 --> 00:10:50,040
elegí estaba más preparado, no

186
00:10:50,040 --> 00:10:51,660
tanto para conversar como para

187
00:10:51,660 --> 00:10:55,000
trabajar con él. El modelo, a

188
00:10:55,000 --> 00:10:56,140
medida que yo le preguntaba

189
00:10:56,140 --> 00:10:58,300
cosas, él intentaba contestarme y

190
00:10:58,300 --> 00:10:59,420
lo que intentaba también buscar

191
00:10:59,420 --> 00:11:01,440
era acciones a realizar, no sé,

192
00:11:01,620 --> 00:11:03,960
decía, y voy a arrancar el

193
00:11:03,960 --> 00:11:06,380
programa de texto. Bueno, en

194
00:11:06,380 --> 00:11:07,600
realidad no iba a arrancar

195
00:11:07,600 --> 00:11:09,500
nada, pero digamos que el

196
00:11:09,500 --> 00:11:11,600
modelo estaba siempre intentando

197
00:11:11,600 --> 00:11:13,880
hacer algo en un sistema.

198
00:11:14,360 --> 00:11:16,480
Viendo esto, entendí que no era

199
00:11:16,480 --> 00:11:17,620
eso lo que yo estaba buscando.

200
00:11:17,940 --> 00:11:21,260
Prove a utilizar Mistral. Mistral

201
00:11:21,260 --> 00:11:23,320
es un modelo con 7 billones de

202
00:11:23,320 --> 00:11:24,680
parámetros ahí. Ya estábamos

203
00:11:24,680 --> 00:11:26,680
en el límite, o bueno, estábamos

204
00:11:26,680 --> 00:11:29,240
en límite de lo que yo

205
00:11:29,240 --> 00:11:30,720
en este ordenador puedo

206
00:11:30,720 --> 00:11:32,700
llegar a utilizar. De hecho,

207
00:11:33,240 --> 00:11:34,440
creo que este sobrepasa el

208
00:11:34,440 --> 00:11:36,040
límite. De hecho, no tuve

209
00:11:36,040 --> 00:11:37,180
paciencia para obtener una

210
00:11:37,180 --> 00:11:38,940
respuesta, porque lo intenté, se

211
00:11:38,940 --> 00:11:40,160
levantó correctamente, etcétera,

212
00:11:40,160 --> 00:11:42,160
y al preguntarle, pues no acaba

213
00:11:42,160 --> 00:11:44,340
de darme una respuesta. De hecho,

214
00:11:44,360 --> 00:11:47,540
prove modelos cuantizados, que es

215
00:11:47,540 --> 00:11:49,820
un modelo cuantizado. Digamos

216
00:11:49,820 --> 00:11:52,640
que es un modelo comprimido,

217
00:11:53,240 --> 00:11:55,760
resumiendo muchísimo. Un

218
00:11:55,760 --> 00:11:57,600
arred neuronal de este tipo,

219
00:11:57,800 --> 00:12:00,360
lo que tiene son un montón de...

220
00:12:01,080 --> 00:12:02,780
voy a resumir mucho, pero

221
00:12:02,780 --> 00:12:04,660
imaginamos que es un arred con

222
00:12:04,660 --> 00:12:06,700
muchos nodos y en cada nodo

223
00:12:06,700 --> 00:12:10,280
hay un número. Pues en un arred

224
00:12:10,280 --> 00:12:11,760
normal, ese número a lo mejor

225
00:12:11,760 --> 00:12:13,900
tiene 8 dígitos. Una

226
00:12:13,900 --> 00:12:15,860
cuantización implica coger ese

227
00:12:15,860 --> 00:12:17,380
número y quitarle, por ejemplo,

228
00:12:17,640 --> 00:12:19,360
la mitad y quedarte sólo con

229
00:12:19,360 --> 00:12:21,460
4 números. Al quedarte sólo con

230
00:12:21,460 --> 00:12:23,860
4 números, el total del tamaño

231
00:12:23,860 --> 00:12:25,580
que ocupa esa red acaba de

232
00:12:25,580 --> 00:12:27,440
reducirse la mitad. Y como esos

233
00:12:27,440 --> 00:12:28,520
números que he quitado son los

234
00:12:28,520 --> 00:12:30,420
números del final, es muy

235
00:12:30,420 --> 00:12:31,660
posible que los resultados que

236
00:12:32,280 --> 00:12:33,900
proporcionen, bueno, no sean

237
00:12:33,900 --> 00:12:35,260
los mismos, pero se acerquen

238
00:12:35,260 --> 00:12:37,420
mucho. Entonces, esa es la

239
00:12:37,420 --> 00:12:38,400
gracia de los modelos

240
00:12:38,400 --> 00:12:41,640
cuantizados. Y con esta

241
00:12:42,540 --> 00:12:43,440
herramienta, con esta

242
00:12:43,440 --> 00:12:45,080
funcionalidad, puedes conseguir

243
00:12:45,080 --> 00:12:46,400
que modelos muy potentes se

244
00:12:46,400 --> 00:12:48,120
puedan ejecutar en sistemas que

245
00:12:48,120 --> 00:12:50,320
no son tan potentes. Bueno,

246
00:12:50,440 --> 00:12:51,680
pues intenté con Mistral tirar

247
00:12:51,680 --> 00:12:54,160
de modelos cuantizados, y de

248
00:12:54,160 --> 00:12:55,140
nuevo, seguramente por la

249
00:12:55,140 --> 00:12:56,100
torpeza del usuario y no

250
00:12:56,100 --> 00:12:58,160
tanto por las capacidades del

251
00:12:58,160 --> 00:12:59,720
ordenador, pero no he

252
00:12:59,720 --> 00:13:01,100
conseguido que funcionen los

253
00:13:01,100 --> 00:13:03,640
modelos cuantizados. He tenido

254
00:13:03,640 --> 00:13:05,160
mala experiencia con este y

255
00:13:05,160 --> 00:13:05,940
con algún otro modelo

256
00:13:05,940 --> 00:13:07,500
cuantizado que he probado. No

257
00:13:07,500 --> 00:13:08,780
sé qué deciros, es ni

258
00:13:08,780 --> 00:13:11,740
experiencia. Seguramente mucha

259
00:13:11,740 --> 00:13:12,960
gente haya podido utilizar

260
00:13:12,960 --> 00:13:13,980
modelos cuantizados, rechuce,

261
00:13:14,560 --> 00:13:16,240
que se han usado, y por

262
00:13:16,240 --> 00:13:17,840
ejemplo, con todo el tema

263
00:13:17,840 --> 00:13:19,480
de DeepSeq, etcétera,

264
00:13:19,660 --> 00:13:21,180
DeepSeq como tal, el modelo

265
00:13:21,180 --> 00:13:23,140
enorme, no se puede usar en

266
00:13:23,140 --> 00:13:24,320
un ordenador cualquiera,

267
00:13:24,580 --> 00:13:25,980
pero modelos cuantizados de

268
00:13:25,980 --> 00:13:27,500
DeepSeq, sí se pueden

269
00:13:27,500 --> 00:13:29,520
utilizar en ordenadores

270
00:13:29,520 --> 00:13:30,540
con tarjetas gráficas

271
00:13:30,540 --> 00:13:32,500
tochas, de esas buenas, de

272
00:13:32,500 --> 00:13:33,860
las que valen dinero, pero

273
00:13:33,860 --> 00:13:35,440
que al fin y al cabo, son una

274
00:13:35,440 --> 00:13:37,060
tarjeta en un ordenador, no

275
00:13:37,060 --> 00:13:38,580
necesitas tener un servidor de

276
00:13:38,580 --> 00:13:40,280
la NASA para ejecutarlo. Y

277
00:13:40,280 --> 00:13:41,740
bueno, volviendo al tema de

278
00:13:41,740 --> 00:13:43,560
lo que yo estaba intentando,

279
00:13:43,780 --> 00:13:45,420
lo que yo estaba buscando, me

280
00:13:45,420 --> 00:13:47,660
fui a los modelos de Google.

281
00:13:48,220 --> 00:13:49,680
Los modelos de Google, ya

282
00:13:49,680 --> 00:13:51,100
los que tengáis teléfonos de

283
00:13:51,100 --> 00:13:52,640
Pixel, etcétera, sabréis

284
00:13:52,640 --> 00:13:54,620
que existe Gemini, que es el

285
00:13:55,460 --> 00:13:56,900
nuevo asistente, lo podemos

286
00:13:56,900 --> 00:13:57,700
llamar, la inteligencia

287
00:13:57,700 --> 00:13:58,940
artificial, como lo viene a

288
00:13:58,940 --> 00:14:01,840
llamar. El caso es que Gemini

289
00:14:01,840 --> 00:14:04,560
es la versión cerrada, como

290
00:14:04,560 --> 00:14:06,000
dice, pero Google también

291
00:14:06,000 --> 00:14:07,480
tiene una versión abierta que

292
00:14:07,480 --> 00:14:09,880
se llama Gemma. Y dentro de

293
00:14:09,880 --> 00:14:11,360
Gemma, uno de los...

294
00:14:11,360 --> 00:14:12,520
Tienes también de distintos

295
00:14:12,520 --> 00:14:15,080
tamaños, y el que tiene más

296
00:14:15,080 --> 00:14:16,740
pequeño es el de dos

297
00:14:16,740 --> 00:14:17,700
billones de embalgamentos,

298
00:14:17,820 --> 00:14:19,620
dos mil millones. Que es el

299
00:14:19,620 --> 00:14:20,560
que mejor me ha funcionado

300
00:14:20,560 --> 00:14:22,000
personalmente. 50

301
00:14:22,000 --> 00:14:23,820
instación, ¿vale? Directamente

302
00:14:23,820 --> 00:14:24,920
el modelo como es. Me ha

303
00:14:24,920 --> 00:14:25,700
funcionado unos cinco

304
00:14:25,700 --> 00:14:26,800
tocas por segundo, que

305
00:14:26,800 --> 00:14:27,700
seguramente aquí muchos

306
00:14:27,700 --> 00:14:28,840
se lleven la mano a la cabeza,

307
00:14:29,020 --> 00:14:29,840
pero para lo que yo quiera

308
00:14:29,840 --> 00:14:31,100
hacer no es un problema,

309
00:14:31,100 --> 00:14:32,280
principalmente porque lo

310
00:14:32,280 --> 00:14:34,100
que yo quiero hacer no es

311
00:14:34,100 --> 00:14:35,940
trabajar en el momento. Lo

312
00:14:35,940 --> 00:14:36,880
que a mí me gustaría es

313
00:14:36,880 --> 00:14:38,480
automatizar el tema de que

314
00:14:38,480 --> 00:14:40,640
me proporcione un resumen

315
00:14:40,640 --> 00:14:41,620
del episodio, que me

316
00:14:41,620 --> 00:14:43,180
proporcione leads o ideas

317
00:14:43,180 --> 00:14:45,640
para poner Twitch o

318
00:14:45,640 --> 00:14:47,040
mensajes en redes, para

319
00:14:47,040 --> 00:14:48,280
promocionarlo, etcétera.

320
00:14:48,560 --> 00:14:49,860
Y entonces eso va a

321
00:14:49,860 --> 00:14:51,820
ser automatizado. Y luego

322
00:14:51,820 --> 00:14:53,120
esto lo tengo muy claro,

323
00:14:53,400 --> 00:14:54,240
además, es que siempre

324
00:14:54,240 --> 00:14:55,200
van a ser sugerencias.

325
00:14:55,420 --> 00:14:56,520
Nunca va a ser algo que

326
00:14:56,520 --> 00:14:57,460
se haga automáticamente.

327
00:14:57,960 --> 00:14:59,740
Yo voy a tomar la última

328
00:14:59,740 --> 00:15:00,840
decisión, siempre voy a

329
00:15:00,840 --> 00:15:02,520
revisarlo y cambiarlo

330
00:15:02,520 --> 00:15:03,400
seguramente, por lo que he

331
00:15:03,400 --> 00:15:04,880
visto. Esto no está

332
00:15:04,880 --> 00:15:06,440
como para poder dejar que

333
00:15:06,440 --> 00:15:07,720
funcione con lo que

334
00:15:07,720 --> 00:15:09,560
con lo que le metes, pero

335
00:15:09,560 --> 00:15:11,940
es el que, bueno, me seguía,

336
00:15:12,820 --> 00:15:14,900
me respondía, me seguía

337
00:15:14,900 --> 00:15:15,640
las inscripciones que le

338
00:15:15,640 --> 00:15:16,340
pasaban, le pasé una

339
00:15:16,340 --> 00:15:17,980
transcripción. Me da la

340
00:15:17,980 --> 00:15:19,140
impresión de que la ventana

341
00:15:19,140 --> 00:15:22,180
de mensajes se le quedó

342
00:15:22,180 --> 00:15:23,000
corta y se quedó con la

343
00:15:23,000 --> 00:15:24,180
última parte de la transcripción,

344
00:15:24,180 --> 00:15:26,520
porque, bueno, no

345
00:15:26,520 --> 00:15:28,300
me acababa bien el resumen.

346
00:15:29,480 --> 00:15:31,300
Entonces, tengo que tenerlo

347
00:15:31,300 --> 00:15:32,340
en cuenta y tengo que revisar

348
00:15:32,340 --> 00:15:33,620
a ver para asegurarme de que

349
00:15:33,620 --> 00:15:34,740
cuando le pasa una transcripción,

350
00:15:35,460 --> 00:15:35,960
a lo mejor tengo que pasar

351
00:15:35,960 --> 00:15:37,220
en varias partes, etcétera,

352
00:15:37,340 --> 00:15:38,340
para asegurarme de que lo

353
00:15:38,340 --> 00:15:38,980
tenga entero.

354
00:15:39,460 --> 00:15:40,100
Y luego, otra cosa que me

355
00:15:40,100 --> 00:15:41,300
ha pasado con Gemma es que

356
00:15:42,220 --> 00:15:43,960
solía tener tendencia a

357
00:15:43,960 --> 00:15:45,160
responderme en inglés y cosas

358
00:15:45,160 --> 00:15:46,580
así. Entonces, tengo que

359
00:15:46,980 --> 00:15:47,840
avisarle, tengo que

360
00:15:47,840 --> 00:15:49,040
incluirle en el prompt,

361
00:15:49,160 --> 00:15:50,380
en la pregunta que

362
00:15:50,380 --> 00:15:51,300
estoy haciendo para que me

363
00:15:51,300 --> 00:15:52,520
dé la respuesta, que

364
00:15:52,520 --> 00:15:53,520
quiero mis respuestas en

365
00:15:53,520 --> 00:15:54,360
castellano, etcétera.

366
00:15:54,420 --> 00:15:55,880
Incluso aún así, cuando le

367
00:15:55,880 --> 00:15:56,660
pido las respuestas en

368
00:15:56,660 --> 00:15:58,100
castellano, me hablan

369
00:15:58,100 --> 00:15:59,820
inglés y luego lo que es

370
00:15:59,820 --> 00:16:01,780
el mensaje, etcétera, me lo

371
00:16:01,780 --> 00:16:02,520
ponen en castellano.

372
00:16:03,520 --> 00:16:04,920
Entonces esa es la

373
00:16:05,540 --> 00:16:06,400
experiencia que tenía con

374
00:16:06,400 --> 00:16:08,400
Gemma. Aparte, y de este

375
00:16:08,400 --> 00:16:09,620
no tengo notas, porque ya lo

376
00:16:09,620 --> 00:16:11,060
hice después de tomar notas,

377
00:16:11,760 --> 00:16:12,780
probé con Open Yama.

378
00:16:12,960 --> 00:16:16,300
Open Yama 3.2, que era

379
00:16:16,300 --> 00:16:17,540
un modelo también, creo que

380
00:16:17,540 --> 00:16:19,380
de 2, 3, creo que estaba

381
00:16:19,380 --> 00:16:20,520
por 4 billones en parámetros.

382
00:16:20,740 --> 00:16:21,420
O sea, no es tan grande

383
00:16:21,420 --> 00:16:22,740
como Mistral, pero tampoco

384
00:16:22,740 --> 00:16:23,840
es tan pequeño como Gemma.

385
00:16:24,520 --> 00:16:25,160
Y en este caso, además,

386
00:16:25,940 --> 00:16:27,400
también me aseguré de no

387
00:16:27,400 --> 00:16:28,820
tener, porque como decía,

388
00:16:29,020 --> 00:16:30,820
esto es muy dependiente de la

389
00:16:30,820 --> 00:16:31,720
gamentidad de memoria que tengas

390
00:16:31,720 --> 00:16:33,100
disponible, etcétera.

391
00:16:33,100 --> 00:16:33,960
Y me aseguré de no

392
00:16:33,960 --> 00:16:34,840
tener nada abierto.

393
00:16:35,060 --> 00:16:36,700
Y entonces Open Yama,

394
00:16:36,900 --> 00:16:38,180
sin cuantización, en este

395
00:16:38,180 --> 00:16:39,600
modelo bastante pequeño,

396
00:16:40,120 --> 00:16:41,060
me ha funcionado también muy

397
00:16:41,060 --> 00:16:41,260
bien.

398
00:16:41,720 --> 00:16:44,120
En este caso, me aguantaba

399
00:16:44,120 --> 00:16:45,540
mucho mejor el tema de

400
00:16:45,540 --> 00:16:46,720
responderme en castellano

401
00:16:47,220 --> 00:16:49,100
y de... bueno, era bastante

402
00:16:49,100 --> 00:16:50,140
ágil respondiendo.

403
00:16:50,380 --> 00:16:51,360
Así que tengo que hacer

404
00:16:51,360 --> 00:16:52,460
algunas pruebas más, pero

405
00:16:53,180 --> 00:16:54,420
Gemma, Open Yama,

406
00:16:54,680 --> 00:16:56,080
alguno de estos será los

407
00:16:56,080 --> 00:16:57,040
que... los que utilicen.

408
00:16:57,340 --> 00:16:58,120
Bueno, me llevará tiempo,

409
00:16:58,240 --> 00:16:59,320
todavía eso no va a ser

410
00:16:59,820 --> 00:17:00,640
de un día para otro.

411
00:17:01,020 --> 00:17:02,500
Pero, como conclusiones,

412
00:17:03,000 --> 00:17:03,460
me gustaría

413
00:17:04,340 --> 00:17:05,560
sacar algunas conclusiones

414
00:17:05,560 --> 00:17:06,680
de este... de este trabajo,

415
00:17:06,800 --> 00:17:07,920
de este tiempo que he dedicado, ¿no?

416
00:17:08,280 --> 00:17:09,720
Me parece que es interesante

417
00:17:09,720 --> 00:17:11,060
poder ejecutar modelos

418
00:17:11,060 --> 00:17:12,020
de forma local

419
00:17:12,020 --> 00:17:13,820
y poder ejecutarlos de esta forma.

420
00:17:14,020 --> 00:17:14,720
Un ordenador que al

421
00:17:14,720 --> 00:17:15,200
fin y al cabo,

422
00:17:15,720 --> 00:17:16,820
seguramente muchos de vosotros

423
00:17:16,820 --> 00:17:18,120
tengáis o tengáis algo mejor.

424
00:17:18,780 --> 00:17:19,780
Por varias razones,

425
00:17:19,800 --> 00:17:21,420
pues, por una parte,

426
00:17:21,600 --> 00:17:23,140
porque nos estamos

427
00:17:23,140 --> 00:17:24,500
asegurando de que lo que

428
00:17:24,500 --> 00:17:25,380
estamos ejecutando,

429
00:17:25,380 --> 00:17:26,400
nos está ejecutándose

430
00:17:26,400 --> 00:17:27,640
en un centro de datos,

431
00:17:27,940 --> 00:17:29,200
debes ver dónde

432
00:17:29,200 --> 00:17:30,280
y que, por lo tanto,

433
00:17:30,640 --> 00:17:33,020
los datos que estamos proporcionando

434
00:17:33,020 --> 00:17:34,140
no se están luego usando

435
00:17:34,140 --> 00:17:35,260
para ver qué.

436
00:17:36,100 --> 00:17:37,580
Esto os aseguro

437
00:17:38,020 --> 00:17:39,220
que lo que ejecutas

438
00:17:39,220 --> 00:17:40,840
no sale de vuestro ordenador,

439
00:17:41,500 --> 00:17:42,620
a menos que vosotros quedáis.

440
00:17:43,500 --> 00:17:44,640
¿Qué más es interesante

441
00:17:44,640 --> 00:17:45,660
con respecto al tema

442
00:17:45,660 --> 00:17:47,520
de ejecutarlos en forma local?

443
00:17:48,100 --> 00:17:50,280
Bueno, al ser una ejecución

444
00:17:50,280 --> 00:17:52,200
de más específica,

445
00:17:52,320 --> 00:17:53,760
más preparada, más propia,

446
00:17:53,760 --> 00:17:54,820
quieras que no,

447
00:17:54,960 --> 00:17:55,820
la cantidad de energía

448
00:17:55,820 --> 00:17:56,920
necesaria para hacerlo

449
00:17:56,920 --> 00:17:57,860
es mucho menor.

450
00:17:58,500 --> 00:17:59,540
Además, seguramente,

451
00:17:59,780 --> 00:18:00,480
la mayoría de vosotros

452
00:18:00,480 --> 00:18:01,940
no dispongáis de cpds en casa.

453
00:18:02,340 --> 00:18:04,180
Y el tema del gasto energético

454
00:18:04,180 --> 00:18:04,900
en los cpds

455
00:18:04,900 --> 00:18:06,860
es porque hay que mantenerlos

456
00:18:06,860 --> 00:18:08,100
pues bastante fresquitos,

457
00:18:08,640 --> 00:18:09,920
vale, para que las máquinas

458
00:18:09,920 --> 00:18:10,840
no salgan ardiendo.

459
00:18:11,300 --> 00:18:12,820
Y bueno, ya en alguna ocasión,

460
00:18:12,920 --> 00:18:14,040
en algún episodio más adelante,

461
00:18:14,380 --> 00:18:15,320
me gustaría tratar esto

462
00:18:15,320 --> 00:18:15,960
más en detalle

463
00:18:15,960 --> 00:18:16,820
todo el tema este,

464
00:18:16,960 --> 00:18:17,900
pero dejémoslo

465
00:18:17,900 --> 00:18:18,900
en que ejecutar

466
00:18:18,900 --> 00:18:20,020
tus modelos de forma local

467
00:18:20,020 --> 00:18:22,480
parece ser un poco más ecológico.

468
00:18:22,480 --> 00:18:24,620
Otra cosa interesante de esto

469
00:18:25,100 --> 00:18:26,160
es que los resultados,

470
00:18:26,420 --> 00:18:28,400
a lo mejor, no son los mejores.

471
00:18:28,700 --> 00:18:30,460
Seguramente, si se los pides a Dixie,

472
00:18:30,560 --> 00:18:31,300
que hacía GPT,

473
00:18:31,500 --> 00:18:33,940
4.0 ms la que hay en saca ahora,

474
00:18:34,100 --> 00:18:35,880
sean más mejores,

475
00:18:36,040 --> 00:18:36,920
más específicos,

476
00:18:37,060 --> 00:18:37,920
más verboses,

477
00:18:38,060 --> 00:18:40,560
desde más información, etcétera.

478
00:18:40,620 --> 00:18:41,500
Pero para sacar leads

479
00:18:41,500 --> 00:18:42,700
para redes sociales

480
00:18:42,700 --> 00:18:45,060
o para proponerte hashtags,

481
00:18:45,880 --> 00:18:47,640
a hacer pequeños resumos, etcétera,

482
00:18:48,060 --> 00:18:49,900
no necesitas un ordenador de la NASA.

483
00:18:50,440 --> 00:18:51,600
Es un poco la conclusión

484
00:18:51,600 --> 00:18:52,720
a la que llego.

485
00:18:53,160 --> 00:18:54,640
Y al final, muchas veces, para mí,

486
00:18:54,980 --> 00:18:55,440
por lo menos,

487
00:18:56,120 --> 00:18:58,480
el tema de la inteligencia artificial,

488
00:18:59,180 --> 00:19:00,620
lo que tienes, es un acompañante,

489
00:19:01,160 --> 00:19:01,560
una ayuda.

490
00:19:02,100 --> 00:19:04,220
Y en este caso, ese es el uso

491
00:19:04,220 --> 00:19:04,820
que le puedes dar

492
00:19:04,820 --> 00:19:06,780
con una cantidad de esfuerzo pequeño.

493
00:19:07,220 --> 00:19:07,480
Entonces, bueno,

494
00:19:07,820 --> 00:19:09,940
te ayuda a superar

495
00:19:09,940 --> 00:19:11,240
ese miedo a la hoja en blanco.

496
00:19:12,180 --> 00:19:13,060
Os recomendaría,

497
00:19:13,180 --> 00:19:14,540
por lo menos, si os apetece,

498
00:19:14,720 --> 00:19:16,820
si os da interés este tema,

499
00:19:17,440 --> 00:19:18,720
visitaros ham.ai

500
00:19:18,720 --> 00:19:20,180
y hacer vuestras propias pruebas.

501
00:19:20,180 --> 00:19:22,220
Además, en función de vuestro ordenador,

502
00:19:22,560 --> 00:19:24,320
podéis elegir modelos más o menos potentes

503
00:19:24,760 --> 00:19:26,200
y veréis que los resultados

504
00:19:26,200 --> 00:19:27,560
son más o menos chulos.

505
00:19:28,020 --> 00:19:29,160
Y en cualquier caso,

506
00:19:29,640 --> 00:19:31,980
al estar más cerca de cómo funcionan estas cosas,

507
00:19:32,540 --> 00:19:34,940
seguro que aprendéis mucho más o, bueno,

508
00:19:35,300 --> 00:19:37,380
descubrí cosas que hasta ahora

509
00:19:37,380 --> 00:19:38,440
ni os habíais planteado

510
00:19:38,440 --> 00:19:41,160
de cómo funcionan estas máquinas del demonio.

511
00:19:41,840 --> 00:19:43,760
Así podamos combatir también

512
00:19:43,760 --> 00:19:47,480
cierta tendencia que estoy detectando.

513
00:19:47,820 --> 00:19:49,000
Bueno, pues, a la intolerancia,

514
00:19:49,000 --> 00:19:51,540
directamente desde el desconocimiento,

515
00:19:51,680 --> 00:19:52,120
en muchos casos,

516
00:19:52,500 --> 00:19:54,660
de cómo funcionan estos softwares

517
00:19:54,660 --> 00:19:58,160
y de realmente qué uso pueden tener

518
00:19:58,460 --> 00:20:01,600
y qué cosas son todo humo.

519
00:20:02,000 --> 00:20:03,700
Espero que el episodio os haya servido

520
00:20:03,700 --> 00:20:04,700
y, bueno, volveremos.

521
00:20:04,780 --> 00:20:05,720
Volveremos por la idea

522
00:20:06,540 --> 00:20:08,300
que poco me gusta llamarlo así,

523
00:20:08,800 --> 00:20:09,360
o en general,

524
00:20:09,760 --> 00:20:12,000
sobre los modelos de lenguaje

525
00:20:12,000 --> 00:20:14,040
o modelos generativos.

526
00:20:23,460 --> 00:20:26,220
Y bueno, aquí acaba este episodio del podcast,

527
00:20:26,560 --> 00:20:27,920
que hasta ahora estaba mi cabeza

528
00:20:27,920 --> 00:20:30,420
y que ahora está en la de todos vosotros.

529
00:20:31,100 --> 00:20:32,840
Así que, tratadlo bien

530
00:20:32,840 --> 00:20:35,160
y compartidlo si os ha gustado.

531
00:20:36,060 --> 00:20:38,120
Podéis encontrar medios de contacto,

532
00:20:38,300 --> 00:20:39,960
formar suscribiros al podcast, etc.

533
00:20:40,700 --> 00:20:42,780
En tiempoescaso.com

534
00:20:42,780 --> 00:20:45,160
y espero que nos escuchemos pronto.

535
00:20:57,500 --> 00:20:58,920
En el laberinto

536
00:20:59,180 --> 00:21:02,160
5 caminos se abren ante ti.

537
00:21:03,000 --> 00:21:04,940
Cultura, lucha libre,

538
00:21:05,540 --> 00:21:06,460
accesibilidad,

539
00:21:07,380 --> 00:21:09,020
experiencias y evidencias.

540
00:21:10,040 --> 00:21:11,960
El laberinto del minotauro

541
00:21:11,960 --> 00:21:14,600
VK, en el que cada día

542
00:21:14,600 --> 00:21:16,520
recordas un sendero

543
00:21:16,520 --> 00:21:18,280
en no más de 15 minutos.

544
00:21:19,080 --> 00:21:21,620
Búscalo en tu reproductor de podcast.