Bing Chat ha realizado grandes mejoras de eficiencia y ha reducido los problemas de latencia para algunas consultas en un 25 %. Mikhail Parakhin, el CEO de Bing, dijo en Gorjeo«ayer lanzamos un backend completamente reelaborado para el monólogo interno, reduciendo el tiempo hasta el primer token en ~25 % y, lo que es mucho más importante, haciendo que la latencia sea más estable, reduciendo los picos».
Compartió este gráfico que muestra la reducción:
Michael Schechter de Bing añadido en Gorjeo«Este tipo de cambios a menudo no hacen el blog, pero representan mucho trabajo y una mejora significativa en la experiencia general».
Finalmente, parece que Bing publicó sobre esta mejora en su publicación de blog el viernes, diciendo: «Enviamos mejoras de rendimiento que han reducido los picos de latencia para ciertas respuestas de chat».
Discusión del foro en Gorjeo.
