Diálogo con Shen Dou, presidente de Baidu Intelligent Cloud: Hoy en día existen muchos modelos grandes en el mercado, pero la mayoría de ellos desaparecerán rápidamente.
24 horas después del lanzamiento de "Wen Xin Yi Yan", Shen Dou fue al backend para mirar los datos y descubrió que Wen Xin Yi Yan había respondido "33,42 millones" de preguntas de los usuarios. Este número superó sus expectativas.
Dos días después, cuando Shen Dou se sentó con varios periodistas, incluido yo mismo, para hablar sobre el incidente, dijo: "Originalmente pensamos que habría menos gente mirando, pero no esperábamos que el entusiasmo de los usuarios disminuyera". no disminuido."
En septiembre, cuando la locura por los grandes modelos en China duró medio año, la gente corriente finalmente tuvo la oportunidad de empezar.
A partir del 31 de agosto, se registraron y abrieron oficialmente al público varios modelos grandes, incluido "Wen Xin Yi Yan". Esta noticia no sólo hizo que los usuarios se entusiasmaran por probarlo, sino que también provocó respuestas entusiastas de las empresas. ** Shen Dou dijo que el día de la inauguración de Wenxinyiyan, el número de empresas activas diarias en la plataforma de modelo grande Baidu Smart Cloud Qianfan aumentó en más del 40%. ——Esta última es una gran plataforma de gestión y desarrollo de modelos lanzada por Baidu para empresas. **
En la era de los grandes modelos, Baidu espera promover el uso de grandes modelos por parte de individuos y empresas en el mismo cronograma. Desde un punto de vista macro, esto favorece la popularización de la tecnología de punta de los modelos grandes. Desde una perspectiva corporativa, esto ayuda a Baidu a hacer negocios por sí solo. Aunque el valor comercial de los usuarios finales C no es evidente de inmediato, el valor comercial de los clientes finales B se refleja directamente en las tarifas de programación de API del modelo y los ingresos por computación en la nube.
En mayo del año pasado, Shen Dou, quien ha estado a cargo del Baidu Mobile Ecosystem (MEG) durante muchos años, fue nombrado presidente de Baidu Intelligent Cloud Group (ACG). La expectativa del grupo para él es aprovechar las oportunidades de la era AIGC e incorporar la nube inteligente a la segunda curva de crecimiento de Baidu.
Pero la situación que enfrentó Shen Ji fue muy difícil. Baidu no es el mayor proveedor de computación en la nube en China, pero sólo ocupa un lugar destacado en la nube pública para servicios relacionados con la IA. En ese momento, Shen Dou también esperaba utilizar la IA para impulsar el crecimiento de todo el servicio en la nube, pero las capacidades de la IA en ese momento estaban demasiado "fragmentadas" para deshacerse de la situación actual de altos costos de servicio y dificultad para escalar. y escasas ganancias.
Pero unos meses después llegó la era de los grandes modelos. Desde la perspectiva del panorama competitivo, los servicios básicos en la nube basados en IaaS (Infraestructura como servicio) y PaaS (Plataforma como servicio) en el pasado se están transfiriendo a servicios en la nube MaaS (Modelo como servicio) basados en IA. Shen Dou cree que esta es la oportunidad para que Baidu Smart Cloud "adelante en una curva".
Desde la perspectiva de los ingresos, las capacidades de propósito general de los modelos grandes permiten que los servicios en la nube estén más estandarizados, de modo que puedan reutilizarse a gran escala en diferentes escenarios, reduciendo los costos del servicio y aumentando las ganancias. Es por esta razón que la dirección de Baidu dijo a los inversores en la conferencia telefónica sobre resultados del segundo trimestre de 2023 que la IA y los modelos grandes permitirán a Baidu Smart Cloud lograr mayores márgenes de beneficio.
**El siguiente es el texto completo de nuestra conversación con Shen Dou, compilado por Geek Park. **
Fuente de la imagen: Generada por IA ilimitada
01 Wenxin Yiyan en el lado C y plataforma Qianfan en el lado B, uno exitoso con dos lados
**P: Es hora de hacer cosas realmente prácticas después de ver la emoción. Hace dos días, Baidu abrió Wenxin Yiyan en el lado C. ¿Qué opinas de los datos de uso de estos usuarios? ¿Esperado o inesperado? ¿Cuáles son las capacidades de operación y mantenimiento del backend? **
Shen Dou: Envié los datos al grupo a las 12:30 esa noche y mis colegas los publicaron al día siguiente. Los datos fueron interceptados por mí del sistema y presentados al mundo exterior intactos. Es absolutamente cierto.
Al principio pensamos que había menos gente "observando la emoción", por lo que nuestras expectativas no eran tan altas. Inesperadamente, ese día hubo 33,42 millones de respuestas, lo que demuestra que los usuarios tienen grandes expectativas para Wen Xinyiyan. No todos vinieron a hacer una o dos preguntas y luego se fueron, sino que pasaron por muchas rondas de diálogo. Desde esta perspectiva, el entusiasmo de los usuarios sigue ahí.
Wen Xinyiyan ha estado en pruebas internas durante cinco o seis meses desde el 16 de marzo, lo que nos dio suficiente tiempo de preparación, tanto en términos de mejora del efecto como de reducción de costos. Por ejemplo, la velocidad de inferencia del modelo grande de Wenxin se ha incrementado más de 30 veces en comparación con el original, lo que ha reducido en gran medida el costo de inferencia y nos ha permitido manejar una cantidad tan grande de usuarios.
**P: Entonces, ¿el progreso tecnológico de los grandes modelos de Baidu durante este período también incluye el progreso de los costos? **
**Shen Dou:**Sí, el modelo grande en sí mismo es un paradigma técnico que requiere muchos recursos.
Al principio no esperábamos un tráfico tan grande, y el recurso de la máquina (potencia de computación) en sí es muy valioso. Sentimos que sería un desperdicio poner demasiadas máquinas allí, por lo que no pusimos demasiadas máquinas adicionales. . Después del aumento en el número de usuarios ese día, afortunadamente, debido a que nuestro rendimiento de razonamiento ha mejorado, todavía brindamos a los usuarios servicios estables.
También tenemos una buena reserva de potencia informática en nuestras manos y continuaremos reduciendo el costo de capacitación y razonamiento en el futuro para que no haya problemas para satisfacer las necesidades de los usuarios. En aquel momento discutimos en nuestro grupo interno si se podía resistir el tráfico. Dije que hacer que el tráfico sea más violento son problemas de felicidad.
**P: ¿Cuáles son los beneficios del lanzamiento de Wenxin Yiyan en el lado C para Baidu? **
Shen Ji: Lo que quizás le preocupe es si la apertura al lado C no puede aportar valor comercial, es una cuestión sostenible.
De hecho, mientras realmente cree valor para los usuarios, la comercialización es sólo cuestión de tiempo. En la historia del desarrollo tecnológico hay muy pocos ejemplos que sean valiosos pero difíciles de realizar. De hecho, Wenxinyiyan ha aportado un valor real a los usuarios finales de C. Ayer vi algunos comentarios que decían que sin Wenxinyiyan, la eficiencia de su oficina disminuiría. Por lo tanto, mientras sea valioso, la comercialización de Wenxinyiyan en el futuro será natural.
**P: ¿La forma del producto de gama C de los modelos grandes de China será consistente con ChatGPT? ¿Es una tarifa de suscripción? **
Shen Ji: Es demasiado pronto para hablar sobre la forma del producto de un modelo grande y su definición aún no está tan clara.
Cuando surgió Internet móvil, podríamos utilizar algunas palabras clave para aclarar su definición, como SoLoMo (Social, Local, Móvil, uso de redes sociales, servicios de geolocalización y dispositivos terminales móviles para brindar una mejor experiencia de usuario). Pero ahora mismo el gran modelo no se puede definir en pocas palabras claras. Sus capacidades son más poderosas, pero sus límites también son más amplios y está lejos de ser el momento de converger en la forma del producto.
OpenAI es una empresa impulsada por la tecnología y la experiencia del usuario no es su fuerte. La forma del producto que diseña hoy es todavía muy temprana, la velocidad de iteración del próximo producto será muy rápida y la forma cambiará drásticamente.
**P: ¿Es factible en China el modelo de negocio de ChatGPT de cobrar tarifas de suscripción a los usuarios finales C? **
Shen Dou: Es posible que evolucionemos nuevos métodos de monetización, como los tres métodos de monetización comunes: publicidad, comercio electrónico y juegos.
Si está dispuesto a gastar 2.000 yuanes al mes para contratar a un asistente, entonces la IA puede realizar 1/10 de las tareas del asistente, como ayudarle a realizar itinerarios de viaje, reservar billetes de avión y hoteles, e incluso movilizar taxis y software de entrega de alimentos. ¿Estás dispuesto a gastar doscientos dólares? Es solo que el método de realización no son necesariamente las cuotas de membresía, pueden ser comisiones de transacción u otros métodos.
Para otro ejemplo, un grupo de personajes NPC en el juego están impulsados por IA generativa, y la transmisión en vivo de "humanos digitales" en el campo del comercio electrónico también está respaldada por IA generativa, lo que puede conducir a diferentes métodos de monetización. Al final, la forma del producto del extremo C determina su método de realización.
**P: Si el producto C-end es, en última instancia, una herramienta de productividad, ¿es posible que la empresa le pague al individuo en lugar de al individuo? **
Shen Dou: Es posible. Por ejemplo, Baidu Netdisk también es una herramienta eficiente: muchas empresas comprarán cuentas de Netdisk para que las utilicen los empleados. También nos hemos puesto en contacto con empresas para asignar a cada empleado una cuenta Copilot para escribir programas. Todos estos son casos en los que las empresas pagan la factura de los particulares.
Interfaz "Wen Xin Yi Yan"
**P: Como empresa de contenidos, también queremos utilizar modelos grandes para producir artículos. Acaba de lanzar "Qianfan", la gran plataforma de servicios modelo de To B. ¿Cuáles son los antecedentes del lanzamiento de "Qianfan"? ¿Cómo podemos ayudar a las empresas sin programadores a implementar modelos grandes? **
Shen Ji: Esta es una muy buena pregunta. De hecho, es por eso que creamos la Plataforma Qianfan.
La característica de este gran modelo que se implementa en el lado B es que las grandes empresas toman la iniciativa y muchos clientes son instituciones financieras, instituciones energéticas, instituciones educativas, etc. Tienen la característica obvia de que deben implementarse de forma privada, pero el umbral es muy alto y tienen que capacitar a un grupo de técnicos para iterar el modelo, lo que puede ralentizar el tiempo para que el modelo grande entre en vigor.
Por el contrario, como muchas pequeñas y medianas empresas, lo más probable es que no excluya un producto SaaS (basado en plataforma), ni tampoco las nubes públicas. La plataforma Qianfan es uno de esos productos. Las empresas pueden llamar directamente a las API o ajustar muestras de capacitación para crear sus propios modelos casi sin código. **Nuestro propósito de Qianfan es reducir el umbral de implementación de modelos grandes y promover la aplicación generalizada de modelos grandes. **
**P: Parece que usted y OpenAI tienen caminos diferentes. OpenAI primero lanza el producto del lado C ChatGPT y luego lanza lentamente los productos del lado B, mientras que Baidu avanza tanto en el lado C como en el lado B simultáneamente. ¿Por qué existe esta diferencia? **
**Shen Dou: **Toda la tecnología tiene problemas de aceptación y más usuarios deben usarla y encontrar su valor. Todo el mundo habla de modelos grandes, pero ¿cuántas personas han utilizado realmente modelos grandes? Los clientes empresariales del lado B son más conscientes del impacto potencial de los modelos grandes en todo su paradigma de producción y necesitan usarlos más.
Pero si no utilizan API de nube pública ni configuran su propio entorno para experimentar y probar, entonces es pura imaginación. Entonces necesitamos hacer Qianfan y dejarles usar el modelo grande primero. De hecho, en cuanto a la apertura total de los modelos grandes, el lado C lleva mucho tiempo esperando, y el lado B también lleva mucho tiempo esperando. Es solo que la cara B está más cerca de la comercialización.
**P: Después del lanzamiento de Wen Xinyiyan, ¿cuánto aumentó la demanda de la cara B de la plataforma Qianfan? **
Shen Ji: El día en que se inauguró Wenxin Yiyan, el número de empresas activas diarias en la plataforma modelo a gran escala Baidu Smart Cloud Qianfan aumentó en más del 40%, un poco mejor.
La relajación no sólo aumentará los datos en el lado C, sino que también aumentará los datos en el lado B. Porque esto ayudará a las empresas del lado B a reducir costos y acelerar las iteraciones (nota: usar modelos nacionales es más barato y conveniente).
Sin embargo, en términos de crecimiento de datos, el lado B todavía no es tan bueno como el lado C. Hoy, supongamos que alguien quiere usar "Wen Xin Yi Yan" en el lado B. En lugar de llamar a la API, también podría ir al lado C para experimentarlo primero. Cuando crea que la experiencia es buena, vendrá a Qianfan para utilizarla. Conseguir que la cara B lo utilice requiere un proceso de crianza.
**P: Si el lado C y el lado B van de la mano, ¿cómo se establecen las prioridades? ¿La atención se centra principalmente en la cara C o en la cara B? **
Shen Shake: La prioridad debe establecerse solo cuando hay un conflicto de recursos. La característica de un modelo grande es que tiene una capa gruesa en la parte inferior que es universal, a la hora de buscar aplicaciones en la parte superior, ya sea To B o To C, Baidu debe trabajar en conjunto para hacerlo. No hay conflicto de recursos.
En el lado C, Baidu está investigando activamente formas de productos y modelos comerciales que puedan implementarse en modelos grandes. Baidu necesita reconstruir sus propios productos de extremo C basándose en el modelo grande, por ejemplo, a partir de los datos de los propios productos de Baidu, Baidu Netdisk, Baidu Library y otros productos, después de la reconstrucción basada en el modelo grande, la rigidez del usuario y la tasa de pago de los miembros. son muy altas Mejora: la nueva aplicación Wenxin Yiyan y la búsqueda reconstruida de Baidu también se han convertido en nuevas entradas para aplicaciones de modelos a gran escala. En el lado B, Baidu Smart Cloud sirve bien al mercado To B al crear la mejor plataforma modelo a gran escala.
**P: De hecho, la base más universal es su computación en la nube. Ya sea que preste servicios a clientes internos o externos, es su éxito. **
**Shen Ji:**Sí, si atiende bien a los clientes internos, puede atender bien a los clientes externos, y si atiende bien a los clientes externos, puede atender bien a los clientes internos. Ésta es la belleza de MaaS. De lo contrario, suponiendo que las pilas de tecnología externa e interna sean completamente dos conjuntos, el costo será demasiado alto.
Caminamos sobre dos piernas. Por supuesto, Baidu espera crear un producto To C de gran éxito, pero también estamos muy dispuestos a ayudar a más empresas y desarrolladores a crear buenas aplicaciones To C a través del gran modelo subyacente y la potencia informática. De hecho, no importa quién tenga éxito en lo anterior, es el éxito del gran modelo subyacente.
02 Los modelos grandes inician una brutal competencia de eliminación y el futuro de los modelos de código abierto es preocupante
**P: Además de Wen Xinyiyan, la plataforma Qianfan también ha lanzado otros modelos. ¿Cuál es la diferencia entre Qianfan y las plataformas de agregación de modelos como Hugging Face? **
Shen Dou: En la actualidad o durante mucho tiempo, las empresas esperan probar diferentes modelos, ya sea por la adaptabilidad del modelo a la escena o por las necesidades psicológicas de los clientes. Desde esta perspectiva, también debemos proporcionar modelos de terceros.
Pero no vale la pena probar todos los modelos, lo que sería un enorme desperdicio de recursos. Por lo tanto, Qianfan tiene sus propios principios de detección y los modelos que presentamos son relativamente excelentes y fáciles de usar.
**P: Entonces, ¿Hugging Face se posiciona como una comunidad y Qianfan se posiciona como una plataforma? **
Shen Dou: Así es. Qianfan no solo resuelve su problema de elegir un modelo, sino que también resuelve su problema de utilizar el modelo. Su uso también incluye una serie de cuestiones como datos, capacitación, ajuste, ingeniería y construcción de aplicaciones, y considera plenamente el costo y la eficiencia. Qianfan ofrece un servicio integral, que es la diferencia entre Qianfan y Hugging Face.
El modelo Hugging Face tiene suficiente amplitud y, basándose en las ventajas naturales de los proveedores de la nube, Qianfan tiene suficiente espacio para operar y también puede lograr una capacitación de extremo a extremo y una optimización del rendimiento de inferencia. Por ejemplo, aceleración en el proceso de capacitación, percepción rápida, localización y recuperación de fallas; en el proceso de razonamiento, basado en la escalabilidad del enorme grupo informático heterogéneo de Baidu, tiene muy buena elasticidad de recursos y también puede proporcionar servicios sin servidor, lo que permite a los clientes para obtener costos de infraestructura de bajo costo, sin necesidad de operación ni mantenimiento y beneficios de alta escalabilidad. Aquí es donde Qianfan va más allá de Hugging Face.
Plataforma de modelo grande Baidu Intelligent Cloud Qianfan | Fuente de la imagen: sitio web oficial de Baidu Intelligent Cloud
**P: Parece que no es optimista sobre el modelo de código abierto, pero el código abierto diluye el costo de implementar modelos grandes para las empresas, por lo que no se puede decir que no tenga sentido. ¿Qué opinas exactamente del modelo de código abierto? **
Shen Ji:¿Dijiste quién compartirá el costo de LLaMA (Nota: modelo de código abierto de Facebook)? Es Facebook. ¿Quién compartirá el costo de Facebook? ** Si no puedes descubrir el final de este problema, entonces (el código abierto) es agua sin fuente, un árbol sin raíces, y algún día habrá problemas. **
Porque esto es diferente del software tradicional de código abierto: en el pasado, la inversión de una persona en código abierto era el costo de su propio tiempo. Pero hoy en día, si uno quiere desarrollar un gran modelo de código abierto, el costo de las máquinas y los datos es demasiado alto.
**P: Puedes usar el amor para generar electricidad, pero no puedes usar el amor para calcular. **
Shen Dou: Sí, tienes que invertir decenas de millones en una ronda de entrenamiento.
Un poco similar al juego tradicional de código abierto actual es que todos utilizan el código abierto para atraer la atención de los usuarios y, en última instancia, esperan elegir otros modelos grandes (de código cerrado).
**P: ¿Es posible tener una relación similar a la de Red Hat e IBM (Nota: En 2018, IBM anunció la adquisición de Red Hat, la empresa de código abierto más grande del mundo)? Supongamos que un empresario rico y poco dispuesto como IBM está dispuesto a apoyar el código abierto. De esta forma, el código abierto tendrá soporte financiero y de datos. **
Shen Dou: El código abierto definitivamente existirá durante mucho tiempo. A medida que los modelos grandes reciben cada vez más atención, los gobiernos y las empresas pueden realizar donaciones para apoyar la investigación en esta área y promover la educación en todo el mercado. Pero ¿cuánto valor puede generar al final? Creo que existe una alta probabilidad de que no se generalice ni forme un modelo de negocio completo de circuito cerrado.
El desarrollo de software tradicional puede formar un circuito cerrado. Por ejemplo, si escribe un fragmento de código o actualiza una función, puede registrarse rápidamente y las capacidades de todo el software de código abierto mejorarán inmediatamente. Pero después del lanzamiento de LLaMA hoy, no importa cuántas personas lo estén usando, no se puede registrar. Los datos, la potencia informática y las capacidades no se pueden recuperar, y no se puede formar un circuito cerrado.
**P: Muchos grupos de código abierto creen que el modelo de código abierto ha leído billones de parámetros y, aunque no es tan bueno como el modelo de código cerrado, sigue siendo muy utilizable. Al igual que el modelo en sí, aunque no está en el nivel de posgrado de 985 y 211, es al menos de nivel profesional y se puede utilizar para ajustes más verticales. **
Shen Ji: ¿Va a mejorar el modelo básico (modelo básico)? Si el Foundation Model ya es muy bueno hoy y no hay necesidad de cambiarlo, entonces no hay problema. Pero la situación actual es que el Modelo Fundación sólo tiene 60 puntos y debemos esforzarnos por llegar a 90 o 95 puntos.
**P: ¿Por qué deberíamos avanzar? El sentimiento real de muchas empresas es que GPT3.0 ya puede resolver el problema, entonces, ¿cuál es el significado del progreso? **
Shen Dou: Esta es una muy buena pregunta y también la hemos discutido internamente. Hoy en día, el Foundation Model puede resolver gran parte del problema si alcanza los 60 puntos, pero todavía hay una gran brecha entre él y una solución perfecta. Y la exigencia de la naturaleza humana es que si me dejas resolverlo en una vez, nunca lo haré en dos.
Hoy entrenaste con una puntuación de 85 basándose en que el modelo Foundation solo tenía una puntuación de 60. Después de eso, el Modelo Fundación alcanza los 85 puntos ¿Puedes conseguir 95 puntos? No hay límite para la búsqueda de seres humanos a este respecto.
Este límite debe seguir aumentando. Tomemos como ejemplo la búsqueda. Se pueden utilizar búsquedas realizadas hace más de 20 años. Entonces, ¿qué ha estado haciendo Google en los últimos 20 años? Parece que has terminado, pero no es así.
**P: ¿Qué opinas del próximo panorama competitivo de modelos grandes? **
Shen Dou: Hay muchos modelos en el mercado hoy en día, pero creo que muchos de ellos desaparecerán rápidamente.
La razón por la que todavía existen muchos modelos es que muchas personas no saben si son buenos o malos. De todos modos, nadie puede probarlo, nadie puede usarlo y la clasificación en la primera prueba es bastante alta. Pero con el lanzamiento del modelo, es más fácil juzgar los pros y los contras. Hoy en día, a quienes fabrican modelos grandes, si les das 30 millones de preguntas para que respondan y prueben, se estima que más de la mitad de ellas tendrán que bajar.
Esto conducirá a una concentración gradual del tráfico y será más fácil para el modelo principal formar un efecto de escala, compartiendo así aún más el costo del desarrollo del modelo. La brecha se ampliará aún más.
**P: ¿Cuándo comenzarán las rondas eliminatorias? **
Shen Ji: Es difícil decirlo, después de todo, puede que a todos les lleve un tiempo recaudar dinero. Para las grandes empresas, la quema sigue siendo asequible, pero también depende del valor de la quema. De todos modos, algunas empresas apuntan a sus propios escenarios de aplicación. En este momento, definitivamente no es bueno pedirles que ajusten las API de modelos grandes de otras personas, por lo que definitivamente crearán sus propios modelos. Mejor, casi (no importa), al menos no necesitas depender del mundo exterior. Las grandes empresas seguirán fabricando modelos durante un tiempo.
** 03 Los modelos grandes permiten que los servicios de computación en la nube avancen hacia la "estandarización", y Baidu Cloud finalmente gana dinero **
**P: ¿El modelo grande se convertirá en la base de todas las aplicaciones en el futuro? ¿Esto dará origen a una ecología de desarrollo y aplicación completamente diferente? **
Shen Ji: No hay duda de que el modelo grande se convertirá en una nueva era de sistemas operativos y se convertirá en la base de muchas aplicaciones.
Durante mucho tiempo, la gente ha utilizado el lenguaje como instrucciones al tratar con personas y máquinas. Pero en el pasado, las máquinas no entendían el lenguaje natural, por lo que escribimos a la fuerza un conjunto de lenguajes de programación para hacerlo entender. Ahora que el gran modelo comprende el lenguaje natural, todo el paradigma de desarrollo de aplicaciones ha experimentado un cambio fundamental. El desarrollo pasa a estar impulsado por ideas en lugar de por la capacidad de codificar.
Además, los modelos grandes también tienen la capacidad de conectar sistemas entre sí. Al igual que la aparición de complementos, es decir, componentes que completan de forma independiente una determinada capacidad y esperan ser llamados, el modelo grande puede combinar complementos para completar una tarea específica. Esto cambiará aún más el paradigma del desarrollo.
**P: Si el modelo grande puede resolver problemas a través de todos los complementos, ¿esta interconexión está disfrazada? **
Shen Ji: De hecho, todavía no lo hay. De hecho, estas APPs ya existen en el mismo teléfono móvil y en la misma aplicación, pero todavía no están interconectadas. En el futuro, Meituan se unirá y Didi se unirá a la base de modelos grandes, pero aún no serán interoperables.
**P: El problema subyacente no se ha resuelto. **
Shen Dou: Sí, la interconexión debe referirse a la apertura de datos. Puedo acceder a tus datos y tú puedes acceder a mis datos. Pero en la base de modelos grandes, solo estamos dispuestos a hablar con el concentrador, pero nuestros complementos no se comunican entre sí.
**P: ¿Esta situación de falta de interconexión hará que los desarrolladores no puedan implementar sin problemas la programación entre recursos? ¿Podría ser esto un defecto en la ecología del desarrollo del modelo a gran escala de China? **
Shen Ji: Creo que la razón principal es que no nos hemos dejado ir y la escala del tráfico no ha aumentado. Por ejemplo, Wen Xinyiyan de repente tuvo más de 30 millones de tráfico, el desarrollador calculó que tal vez el 1% era suyo, lo que significa que hubo 300.000 visitas, y decidiría hacerlo.
**P: En la era de los grandes modelos, ¿cómo define Baidu Cloud su posición en el ecosistema? ¿Cómo se distribuye el mecanismo de beneficios? **
Shen Ji: Es absolutamente imposible hacerlo con la fuerza de Baidu. No es que tenga miedo de no poder hacerlo, es que definitivamente no podré hacerlo.
En primer lugar, los complementos definitivamente tendrán un ecosistema muy próspero y se complementarán entre sí con modelos grandes. Los complementos necesitan obtener tráfico de modelos grandes, y los modelos grandes requieren el soporte de capacidades de complementos. Al igual que hoy, suponiendo que no haya WeChat o Douyin en el teléfono móvil, los usuarios no pueden usarlo.
En segundo lugar, en términos de aplicaciones orientadas al cliente final, no importa si se trata de una implementación de nube privada o una solución a nivel de plataforma como Qianfan, eventualmente requerirá socios ecológicos para completar la entrega de última milla, como Kingdee, UFIDA y iSoftStone. Tienen clientes y procesos comerciales especialmente familiares y ellos integrarán los requisitos finales.
En resumen, el primero es la agregación de capacidades para desarrollar la ecología, el segundo son los socios que ayudan a entregar los grandes modelos y el tercero son los clientes que utilizan los grandes modelos para fortalecer sus propios servicios.
**P: ¿Qué cambios ha traído el paradigma técnico de los grandes modelos a la computación en la nube? **
Shen Dou: La tendencia del desarrollo tecnológico es cada vez más avanzada. En otras palabras, nos estamos alejando cada vez más de la capa inferior, cada vez hay menos necesidad de prestar atención a los detalles, el embalaje es cada vez mejor y hay una gran cantidad de personas haciendo este trabajo detrás de escena. . Este es también el valor que aporta la nube.
El valor aportado por las primeras CPU en la nube es que los clientes no necesitan comprar máquinas para unir las tarjetas una por una, está cada vez mejor empaquetada y se puede usar directamente en ella. Con el advenimiento de la era de los modelos grandes, la GPU del "chip acelerador de IA" se ha convertido gradualmente en el centro de la potencia informática, y la tasa de crecimiento de la potencia informática supera con creces la de la CPU. Esto acelerará nuestro cambio de la nube de CPU a la nube de GPU.
En la era de la nube GPU, eventualmente encapsularemos aún más las capacidades de la nube para evitar que la capa inferior quede expuesta, formaremos una forma interactiva más avanzada y nos conectaremos directamente a la API del modelo grande. La nube actual todavía está desarrollada para ingenieros y la forma de interacción no es lo suficientemente completa, pero en el futuro habrá menos ingenieros en la parte inferior y más personas irán al nivel superior. Este es un cambio drástico.
Baidu Smart Cloud | Fuente de la imagen: Visual China
**P: ¿El gran modelo remodelará la estructura del mercado de la computación en la nube? Si es así, ¿cuándo veremos la señal? **
Shen Dou: Me gusta esta pregunta. Sin modelos grandes, la nube de Baidu sería muy difícil de operar. Hemos estado gritando "profundamente en la industria, concéntrese en la escena, la integración de la nube y la inteligencia, y la inclusión de la IA" en el pasado. Lo que Baidu Smart Cloud quiere hacer es poner la IA en todo el servicio To B y convertirlo en un punto de crecimiento.
**Pero en el pasado, la IA tradicional estaba muy fragmentada. Necesita generar una capacidad para un problema y luego resolverlo, lo cual tiene poca versatilidad. Como resultado, es un sistema de proyectos difícil de escalar y con un beneficio bruto bajo. **
Después de que apareció la IA generativa, vimos que es muy versátil y puede resolver muchos problemas a la vez. Básicamente está unificada desde la capa de aplicación hacia abajo. Incluso si necesita ajustes finos o complementos, es una acción estandarizada. Esto es completamente diferente de las anteriores aplicaciones de IA muy fragmentadas. Esto en sí mismo es un gran cambio en el negocio de la nube: la llamada IaaS se ha convertido en MaaS.
**P: En el pasado, las empresas chinas de IA tenían que conseguir proyectos, lo cual era muy difícil. Los problemas no se pueden resolver mediante productos estandarizados como lo hacemos ahora. **
Shen Ji: Discutimos la estrategia en la nube con Robin (Nota: el fundador, presidente y director ejecutivo de Baidu, Robin Li), y también nos pidió que estandarizáramos y escalemos; de lo contrario, no podríamos reflejar a Baidu como una empresa de tecnología. valor.
**P: Entonces, ¿el futuro a largo plazo dependerá de la estandarización y la escala? **
**Shen Ji: **Los modelos grandes tenían mucha incertidumbre al principio. Hoy en día, muchos clientes no tienen una comprensión unificada del límite de capacidad, los límites, los costos, la entrega y los métodos de demanda de los modelos grandes. En un corto período de tiempo, no podemos garantizar que todos los clientes lleguen a la nube pública, primero debemos hacerlo a través de un sistema de proyectos.
Pero incluso este sistema de proyectos es diferente del sistema de proyectos anterior. Por ejemplo, tengo un modelo de implementación privatizado para ustedes. Se parece más a Windows u Office. Primero, la versión 95, luego la versión 97 y luego la versión 2000. Hay que seguir actualizándose. Parece que te he regalado un CD para que lo pongas en tu casa, pero en realidad tienes que suscribirte continuamente. Este también es diferente al original.
**P: Pero tus finanzas han mejorado. En el primer trimestre de este año, Baidu Smart Cloud logró por primera vez rentabilidad trimestral. Usted mencionó que la razón fue la estandarización de los servicios en la nube, que permitió la reutilización a gran escala y redujo los costos. **
Shen Ji: Sí. En el caso de un sistema de proyecto puro o una proporción relativamente alta de sistema de proyecto, el beneficio bruto después de la entrega es demasiado bajo.
04 Después de hacernos cargo de Baidu Cloud durante más de un año, tenemos la mejor oportunidad
**P: Como miembro del principal equipo de toma de decisiones de Baidu, ¿cuáles son los temas que más le preocupan y le inquietan? ¿Cuál es el tema más discutido con el equipo? **
**Shen Ji: En términos de forma del producto, Robin tiene el requisito de que todos los productos deben reconstruirse con pensamiento nativo de IA. Es refactorización, no acceso. **
Técnicamente, estamos pensando en hasta dónde pueden llegar las capacidades de la IA generativa actual. Los resultados de la evaluación actual de Wen Xinyiyan no son malos, pero están lejos del límite superior del lenguaje humano o de una excelente comprensión del lenguaje humano. Cómo podemos seguir mejorando rápidamente esta capacidad es definitivamente la primera pregunta en la que pensamos.
Luego está la aplicación industrial, cómo se puede utilizar realmente el modelo, en qué escenarios se puede utilizar, qué tan alto es el umbral, qué tan amplio es el límite, cómo mejorar su eficiencia y cómo inspirar a todos a pensar en mejores usos. ... Estas son cosas en las que debemos seguir pensando.
**P: Estas son capas relativamente blandas. ¿Qué pasa con las capas más duras? **
Shen Ji: Ahora los grupos de potencia informática oscilan entre 10.000 y 10.000 tarjetas. Baidu es la única empresa en China que puede ejecutar una sola tarea al nivel de 10.000 tarjetas.
En el grupo Wanka, la organización, la eficiencia y la garantía son las verdaderas tareas de nivel inferior que son invisibles para todos, pero que son extremadamente importantes. Por ejemplo, queremos mejorar la eficiencia de la capacitación y el razonamiento del hardware subyacente y la integración de software y hardware. Todas estas son cosas bastante cruciales.
**P: Usted ha sido responsable de los negocios de búsqueda y publicidad en Baidu durante tantos años. No fue hasta el año pasado que se hizo cargo de la nube inteligente e inmediatamente encontró la oportunidad histórica de los modelos grandes. ¿Crees que es una bendición? ¿Cómo te sientes? **
Shen Dou: No es tan exagerado, pero estoy muy emocionado y tengo suerte de hacer algo así.
Cuando asumí el cargo el año pasado, tuve la idea de escalar y estandarizar los servicios en la nube. Pero como las capacidades de la IA están tan fragmentadas, es muy difícil hacerlo. ** En ese momento, estaba pensando mucho: ¿hay algo que requiera tanto capacidades de IA como potencia informática de IA y que pueda ser utilizado por muchas personas al mismo tiempo? No pude encontrarlo después de buscar durante mucho tiempo. **
Entonces apareció el modelo grande. Se sintió bien de inmediato.
Shen Dou, vicepresidente ejecutivo de Baidu Group y presidente de Baidu Intelligent Cloud Group (ACG) | Fuente de la imagen: Baidu
**P: Usted personalmente estudió inteligencia artificial. ¿Son los modelos grandes más adecuados para usted? **
Shen Ji: Esto es muy similar a lo que hacen mis estudiantes de posgrado. Aunque he estado estudiando informática, he hecho más software y he estado haciendo inteligencia artificial.
Después de conectarme a la nube (hardware de bajo nivel), volví a leer el libro sobre sistemas operativos y principios de composición de computadoras. Si realmente se trata de IaaS, componentes de red y computación de almacenamiento en la era de la CPU, creo que todavía es un poco difícil.
Pero después de que salió el modelo grande, descubrí que esas cosas se resumen a continuación. Ahora estudio principalmente el modelo grande, como leer artículos, usar Python para llamar a la API en Qianfan, etc. Me siento mucho más fácil.
**P: A continuación, ¿cuáles son sus expectativas para el desarrollo y la tasa de crecimiento de Baidu Smart Cloud? **
Shen Dou: Baidu Smart Cloud ahora ronda los 20 mil millones de yuanes, lo que todavía es relativamente pequeño. Con el apoyo de modelos grandes, la demanda de nuestros clientes se ha vuelto muy fuerte y ahora estamos abrumados. Sin embargo, todavía se requiere un proceso para permitir realmente que los usuarios lo utilicen y lo entreguen bien.
**P: ¿Habrá un pequeño brote en el cuarto trimestre? **
Shen Dou: Algunas personas estiman que el cuarto trimestre explotará. De hecho, la demanda ha comenzado a aumentar, pero creo que es posible que no explote hasta el próximo año.
**P: ¿Cómo evalúas tu suerte? **
Shen Ji: Creo que esta es la suerte de Baidu. Baidu ha estado haciendo IA durante tantos años y ha puesto tanto esfuerzo que si el gran modelo no llega, el camino de comercialización de la nube será realmente más difícil y difícil. Esto simplemente demuestra que las empresas con Visión no tendrán demasiada suerte al final.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Diálogo con Shen Dou, presidente de Baidu Intelligent Cloud: Hoy en día existen muchos modelos grandes en el mercado, pero la mayoría de ellos desaparecerán rápidamente.
24 horas después del lanzamiento de "Wen Xin Yi Yan", Shen Dou fue al backend para mirar los datos y descubrió que Wen Xin Yi Yan había respondido "33,42 millones" de preguntas de los usuarios. Este número superó sus expectativas.
Dos días después, cuando Shen Dou se sentó con varios periodistas, incluido yo mismo, para hablar sobre el incidente, dijo: "Originalmente pensamos que habría menos gente mirando, pero no esperábamos que el entusiasmo de los usuarios disminuyera". no disminuido."
En septiembre, cuando la locura por los grandes modelos en China duró medio año, la gente corriente finalmente tuvo la oportunidad de empezar.
A partir del 31 de agosto, se registraron y abrieron oficialmente al público varios modelos grandes, incluido "Wen Xin Yi Yan". Esta noticia no sólo hizo que los usuarios se entusiasmaran por probarlo, sino que también provocó respuestas entusiastas de las empresas. ** Shen Dou dijo que el día de la inauguración de Wenxinyiyan, el número de empresas activas diarias en la plataforma de modelo grande Baidu Smart Cloud Qianfan aumentó en más del 40%. ——Esta última es una gran plataforma de gestión y desarrollo de modelos lanzada por Baidu para empresas. **
En la era de los grandes modelos, Baidu espera promover el uso de grandes modelos por parte de individuos y empresas en el mismo cronograma. Desde un punto de vista macro, esto favorece la popularización de la tecnología de punta de los modelos grandes. Desde una perspectiva corporativa, esto ayuda a Baidu a hacer negocios por sí solo. Aunque el valor comercial de los usuarios finales C no es evidente de inmediato, el valor comercial de los clientes finales B se refleja directamente en las tarifas de programación de API del modelo y los ingresos por computación en la nube.
En mayo del año pasado, Shen Dou, quien ha estado a cargo del Baidu Mobile Ecosystem (MEG) durante muchos años, fue nombrado presidente de Baidu Intelligent Cloud Group (ACG). La expectativa del grupo para él es aprovechar las oportunidades de la era AIGC e incorporar la nube inteligente a la segunda curva de crecimiento de Baidu.
Pero la situación que enfrentó Shen Ji fue muy difícil. Baidu no es el mayor proveedor de computación en la nube en China, pero sólo ocupa un lugar destacado en la nube pública para servicios relacionados con la IA. En ese momento, Shen Dou también esperaba utilizar la IA para impulsar el crecimiento de todo el servicio en la nube, pero las capacidades de la IA en ese momento estaban demasiado "fragmentadas" para deshacerse de la situación actual de altos costos de servicio y dificultad para escalar. y escasas ganancias.
Pero unos meses después llegó la era de los grandes modelos. Desde la perspectiva del panorama competitivo, los servicios básicos en la nube basados en IaaS (Infraestructura como servicio) y PaaS (Plataforma como servicio) en el pasado se están transfiriendo a servicios en la nube MaaS (Modelo como servicio) basados en IA. Shen Dou cree que esta es la oportunidad para que Baidu Smart Cloud "adelante en una curva".
Desde la perspectiva de los ingresos, las capacidades de propósito general de los modelos grandes permiten que los servicios en la nube estén más estandarizados, de modo que puedan reutilizarse a gran escala en diferentes escenarios, reduciendo los costos del servicio y aumentando las ganancias. Es por esta razón que la dirección de Baidu dijo a los inversores en la conferencia telefónica sobre resultados del segundo trimestre de 2023 que la IA y los modelos grandes permitirán a Baidu Smart Cloud lograr mayores márgenes de beneficio.
**El siguiente es el texto completo de nuestra conversación con Shen Dou, compilado por Geek Park. **
01 Wenxin Yiyan en el lado C y plataforma Qianfan en el lado B, uno exitoso con dos lados
**P: Es hora de hacer cosas realmente prácticas después de ver la emoción. Hace dos días, Baidu abrió Wenxin Yiyan en el lado C. ¿Qué opinas de los datos de uso de estos usuarios? ¿Esperado o inesperado? ¿Cuáles son las capacidades de operación y mantenimiento del backend? **
Shen Dou: Envié los datos al grupo a las 12:30 esa noche y mis colegas los publicaron al día siguiente. Los datos fueron interceptados por mí del sistema y presentados al mundo exterior intactos. Es absolutamente cierto.
Al principio pensamos que había menos gente "observando la emoción", por lo que nuestras expectativas no eran tan altas. Inesperadamente, ese día hubo 33,42 millones de respuestas, lo que demuestra que los usuarios tienen grandes expectativas para Wen Xinyiyan. No todos vinieron a hacer una o dos preguntas y luego se fueron, sino que pasaron por muchas rondas de diálogo. Desde esta perspectiva, el entusiasmo de los usuarios sigue ahí.
Wen Xinyiyan ha estado en pruebas internas durante cinco o seis meses desde el 16 de marzo, lo que nos dio suficiente tiempo de preparación, tanto en términos de mejora del efecto como de reducción de costos. Por ejemplo, la velocidad de inferencia del modelo grande de Wenxin se ha incrementado más de 30 veces en comparación con el original, lo que ha reducido en gran medida el costo de inferencia y nos ha permitido manejar una cantidad tan grande de usuarios.
**P: Entonces, ¿el progreso tecnológico de los grandes modelos de Baidu durante este período también incluye el progreso de los costos? **
**Shen Dou:**Sí, el modelo grande en sí mismo es un paradigma técnico que requiere muchos recursos.
Al principio no esperábamos un tráfico tan grande, y el recurso de la máquina (potencia de computación) en sí es muy valioso. Sentimos que sería un desperdicio poner demasiadas máquinas allí, por lo que no pusimos demasiadas máquinas adicionales. . Después del aumento en el número de usuarios ese día, afortunadamente, debido a que nuestro rendimiento de razonamiento ha mejorado, todavía brindamos a los usuarios servicios estables.
También tenemos una buena reserva de potencia informática en nuestras manos y continuaremos reduciendo el costo de capacitación y razonamiento en el futuro para que no haya problemas para satisfacer las necesidades de los usuarios. En aquel momento discutimos en nuestro grupo interno si se podía resistir el tráfico. Dije que hacer que el tráfico sea más violento son problemas de felicidad.
**P: ¿Cuáles son los beneficios del lanzamiento de Wenxin Yiyan en el lado C para Baidu? **
Shen Ji: Lo que quizás le preocupe es si la apertura al lado C no puede aportar valor comercial, es una cuestión sostenible.
De hecho, mientras realmente cree valor para los usuarios, la comercialización es sólo cuestión de tiempo. En la historia del desarrollo tecnológico hay muy pocos ejemplos que sean valiosos pero difíciles de realizar. De hecho, Wenxinyiyan ha aportado un valor real a los usuarios finales de C. Ayer vi algunos comentarios que decían que sin Wenxinyiyan, la eficiencia de su oficina disminuiría. Por lo tanto, mientras sea valioso, la comercialización de Wenxinyiyan en el futuro será natural.
**P: ¿La forma del producto de gama C de los modelos grandes de China será consistente con ChatGPT? ¿Es una tarifa de suscripción? **
Shen Ji: Es demasiado pronto para hablar sobre la forma del producto de un modelo grande y su definición aún no está tan clara.
Cuando surgió Internet móvil, podríamos utilizar algunas palabras clave para aclarar su definición, como SoLoMo (Social, Local, Móvil, uso de redes sociales, servicios de geolocalización y dispositivos terminales móviles para brindar una mejor experiencia de usuario). Pero ahora mismo el gran modelo no se puede definir en pocas palabras claras. Sus capacidades son más poderosas, pero sus límites también son más amplios y está lejos de ser el momento de converger en la forma del producto.
OpenAI es una empresa impulsada por la tecnología y la experiencia del usuario no es su fuerte. La forma del producto que diseña hoy es todavía muy temprana, la velocidad de iteración del próximo producto será muy rápida y la forma cambiará drásticamente.
**P: ¿Es factible en China el modelo de negocio de ChatGPT de cobrar tarifas de suscripción a los usuarios finales C? **
Shen Dou: Es posible que evolucionemos nuevos métodos de monetización, como los tres métodos de monetización comunes: publicidad, comercio electrónico y juegos.
Si está dispuesto a gastar 2.000 yuanes al mes para contratar a un asistente, entonces la IA puede realizar 1/10 de las tareas del asistente, como ayudarle a realizar itinerarios de viaje, reservar billetes de avión y hoteles, e incluso movilizar taxis y software de entrega de alimentos. ¿Estás dispuesto a gastar doscientos dólares? Es solo que el método de realización no son necesariamente las cuotas de membresía, pueden ser comisiones de transacción u otros métodos.
Para otro ejemplo, un grupo de personajes NPC en el juego están impulsados por IA generativa, y la transmisión en vivo de "humanos digitales" en el campo del comercio electrónico también está respaldada por IA generativa, lo que puede conducir a diferentes métodos de monetización. Al final, la forma del producto del extremo C determina su método de realización.
**P: Si el producto C-end es, en última instancia, una herramienta de productividad, ¿es posible que la empresa le pague al individuo en lugar de al individuo? **
Shen Dou: Es posible. Por ejemplo, Baidu Netdisk también es una herramienta eficiente: muchas empresas comprarán cuentas de Netdisk para que las utilicen los empleados. También nos hemos puesto en contacto con empresas para asignar a cada empleado una cuenta Copilot para escribir programas. Todos estos son casos en los que las empresas pagan la factura de los particulares.
**P: Como empresa de contenidos, también queremos utilizar modelos grandes para producir artículos. Acaba de lanzar "Qianfan", la gran plataforma de servicios modelo de To B. ¿Cuáles son los antecedentes del lanzamiento de "Qianfan"? ¿Cómo podemos ayudar a las empresas sin programadores a implementar modelos grandes? **
Shen Ji: Esta es una muy buena pregunta. De hecho, es por eso que creamos la Plataforma Qianfan.
La característica de este gran modelo que se implementa en el lado B es que las grandes empresas toman la iniciativa y muchos clientes son instituciones financieras, instituciones energéticas, instituciones educativas, etc. Tienen la característica obvia de que deben implementarse de forma privada, pero el umbral es muy alto y tienen que capacitar a un grupo de técnicos para iterar el modelo, lo que puede ralentizar el tiempo para que el modelo grande entre en vigor.
Por el contrario, como muchas pequeñas y medianas empresas, lo más probable es que no excluya un producto SaaS (basado en plataforma), ni tampoco las nubes públicas. La plataforma Qianfan es uno de esos productos. Las empresas pueden llamar directamente a las API o ajustar muestras de capacitación para crear sus propios modelos casi sin código. **Nuestro propósito de Qianfan es reducir el umbral de implementación de modelos grandes y promover la aplicación generalizada de modelos grandes. **
**P: Parece que usted y OpenAI tienen caminos diferentes. OpenAI primero lanza el producto del lado C ChatGPT y luego lanza lentamente los productos del lado B, mientras que Baidu avanza tanto en el lado C como en el lado B simultáneamente. ¿Por qué existe esta diferencia? **
**Shen Dou: **Toda la tecnología tiene problemas de aceptación y más usuarios deben usarla y encontrar su valor. Todo el mundo habla de modelos grandes, pero ¿cuántas personas han utilizado realmente modelos grandes? Los clientes empresariales del lado B son más conscientes del impacto potencial de los modelos grandes en todo su paradigma de producción y necesitan usarlos más.
Pero si no utilizan API de nube pública ni configuran su propio entorno para experimentar y probar, entonces es pura imaginación. Entonces necesitamos hacer Qianfan y dejarles usar el modelo grande primero. De hecho, en cuanto a la apertura total de los modelos grandes, el lado C lleva mucho tiempo esperando, y el lado B también lleva mucho tiempo esperando. Es solo que la cara B está más cerca de la comercialización.
**P: Después del lanzamiento de Wen Xinyiyan, ¿cuánto aumentó la demanda de la cara B de la plataforma Qianfan? **
Shen Ji: El día en que se inauguró Wenxin Yiyan, el número de empresas activas diarias en la plataforma modelo a gran escala Baidu Smart Cloud Qianfan aumentó en más del 40%, un poco mejor.
La relajación no sólo aumentará los datos en el lado C, sino que también aumentará los datos en el lado B. Porque esto ayudará a las empresas del lado B a reducir costos y acelerar las iteraciones (nota: usar modelos nacionales es más barato y conveniente).
Sin embargo, en términos de crecimiento de datos, el lado B todavía no es tan bueno como el lado C. Hoy, supongamos que alguien quiere usar "Wen Xin Yi Yan" en el lado B. En lugar de llamar a la API, también podría ir al lado C para experimentarlo primero. Cuando crea que la experiencia es buena, vendrá a Qianfan para utilizarla. Conseguir que la cara B lo utilice requiere un proceso de crianza.
**P: Si el lado C y el lado B van de la mano, ¿cómo se establecen las prioridades? ¿La atención se centra principalmente en la cara C o en la cara B? **
Shen Shake: La prioridad debe establecerse solo cuando hay un conflicto de recursos. La característica de un modelo grande es que tiene una capa gruesa en la parte inferior que es universal, a la hora de buscar aplicaciones en la parte superior, ya sea To B o To C, Baidu debe trabajar en conjunto para hacerlo. No hay conflicto de recursos.
En el lado C, Baidu está investigando activamente formas de productos y modelos comerciales que puedan implementarse en modelos grandes. Baidu necesita reconstruir sus propios productos de extremo C basándose en el modelo grande, por ejemplo, a partir de los datos de los propios productos de Baidu, Baidu Netdisk, Baidu Library y otros productos, después de la reconstrucción basada en el modelo grande, la rigidez del usuario y la tasa de pago de los miembros. son muy altas Mejora: la nueva aplicación Wenxin Yiyan y la búsqueda reconstruida de Baidu también se han convertido en nuevas entradas para aplicaciones de modelos a gran escala. En el lado B, Baidu Smart Cloud sirve bien al mercado To B al crear la mejor plataforma modelo a gran escala.
**P: De hecho, la base más universal es su computación en la nube. Ya sea que preste servicios a clientes internos o externos, es su éxito. **
**Shen Ji:**Sí, si atiende bien a los clientes internos, puede atender bien a los clientes externos, y si atiende bien a los clientes externos, puede atender bien a los clientes internos. Ésta es la belleza de MaaS. De lo contrario, suponiendo que las pilas de tecnología externa e interna sean completamente dos conjuntos, el costo será demasiado alto.
Caminamos sobre dos piernas. Por supuesto, Baidu espera crear un producto To C de gran éxito, pero también estamos muy dispuestos a ayudar a más empresas y desarrolladores a crear buenas aplicaciones To C a través del gran modelo subyacente y la potencia informática. De hecho, no importa quién tenga éxito en lo anterior, es el éxito del gran modelo subyacente.
02 Los modelos grandes inician una brutal competencia de eliminación y el futuro de los modelos de código abierto es preocupante
**P: Además de Wen Xinyiyan, la plataforma Qianfan también ha lanzado otros modelos. ¿Cuál es la diferencia entre Qianfan y las plataformas de agregación de modelos como Hugging Face? **
Shen Dou: En la actualidad o durante mucho tiempo, las empresas esperan probar diferentes modelos, ya sea por la adaptabilidad del modelo a la escena o por las necesidades psicológicas de los clientes. Desde esta perspectiva, también debemos proporcionar modelos de terceros.
Pero no vale la pena probar todos los modelos, lo que sería un enorme desperdicio de recursos. Por lo tanto, Qianfan tiene sus propios principios de detección y los modelos que presentamos son relativamente excelentes y fáciles de usar.
**P: Entonces, ¿Hugging Face se posiciona como una comunidad y Qianfan se posiciona como una plataforma? **
Shen Dou: Así es. Qianfan no solo resuelve su problema de elegir un modelo, sino que también resuelve su problema de utilizar el modelo. Su uso también incluye una serie de cuestiones como datos, capacitación, ajuste, ingeniería y construcción de aplicaciones, y considera plenamente el costo y la eficiencia. Qianfan ofrece un servicio integral, que es la diferencia entre Qianfan y Hugging Face.
El modelo Hugging Face tiene suficiente amplitud y, basándose en las ventajas naturales de los proveedores de la nube, Qianfan tiene suficiente espacio para operar y también puede lograr una capacitación de extremo a extremo y una optimización del rendimiento de inferencia. Por ejemplo, aceleración en el proceso de capacitación, percepción rápida, localización y recuperación de fallas; en el proceso de razonamiento, basado en la escalabilidad del enorme grupo informático heterogéneo de Baidu, tiene muy buena elasticidad de recursos y también puede proporcionar servicios sin servidor, lo que permite a los clientes para obtener costos de infraestructura de bajo costo, sin necesidad de operación ni mantenimiento y beneficios de alta escalabilidad. Aquí es donde Qianfan va más allá de Hugging Face.
**P: Parece que no es optimista sobre el modelo de código abierto, pero el código abierto diluye el costo de implementar modelos grandes para las empresas, por lo que no se puede decir que no tenga sentido. ¿Qué opinas exactamente del modelo de código abierto? **
Shen Ji:¿Dijiste quién compartirá el costo de LLaMA (Nota: modelo de código abierto de Facebook)? Es Facebook. ¿Quién compartirá el costo de Facebook? ** Si no puedes descubrir el final de este problema, entonces (el código abierto) es agua sin fuente, un árbol sin raíces, y algún día habrá problemas. **
Porque esto es diferente del software tradicional de código abierto: en el pasado, la inversión de una persona en código abierto era el costo de su propio tiempo. Pero hoy en día, si uno quiere desarrollar un gran modelo de código abierto, el costo de las máquinas y los datos es demasiado alto.
**P: Puedes usar el amor para generar electricidad, pero no puedes usar el amor para calcular. **
Shen Dou: Sí, tienes que invertir decenas de millones en una ronda de entrenamiento.
Un poco similar al juego tradicional de código abierto actual es que todos utilizan el código abierto para atraer la atención de los usuarios y, en última instancia, esperan elegir otros modelos grandes (de código cerrado).
**P: ¿Es posible tener una relación similar a la de Red Hat e IBM (Nota: En 2018, IBM anunció la adquisición de Red Hat, la empresa de código abierto más grande del mundo)? Supongamos que un empresario rico y poco dispuesto como IBM está dispuesto a apoyar el código abierto. De esta forma, el código abierto tendrá soporte financiero y de datos. **
Shen Dou: El código abierto definitivamente existirá durante mucho tiempo. A medida que los modelos grandes reciben cada vez más atención, los gobiernos y las empresas pueden realizar donaciones para apoyar la investigación en esta área y promover la educación en todo el mercado. Pero ¿cuánto valor puede generar al final? Creo que existe una alta probabilidad de que no se generalice ni forme un modelo de negocio completo de circuito cerrado.
El desarrollo de software tradicional puede formar un circuito cerrado. Por ejemplo, si escribe un fragmento de código o actualiza una función, puede registrarse rápidamente y las capacidades de todo el software de código abierto mejorarán inmediatamente. Pero después del lanzamiento de LLaMA hoy, no importa cuántas personas lo estén usando, no se puede registrar. Los datos, la potencia informática y las capacidades no se pueden recuperar, y no se puede formar un circuito cerrado.
**P: Muchos grupos de código abierto creen que el modelo de código abierto ha leído billones de parámetros y, aunque no es tan bueno como el modelo de código cerrado, sigue siendo muy utilizable. Al igual que el modelo en sí, aunque no está en el nivel de posgrado de 985 y 211, es al menos de nivel profesional y se puede utilizar para ajustes más verticales. **
Shen Ji: ¿Va a mejorar el modelo básico (modelo básico)? Si el Foundation Model ya es muy bueno hoy y no hay necesidad de cambiarlo, entonces no hay problema. Pero la situación actual es que el Modelo Fundación sólo tiene 60 puntos y debemos esforzarnos por llegar a 90 o 95 puntos.
**P: ¿Por qué deberíamos avanzar? El sentimiento real de muchas empresas es que GPT3.0 ya puede resolver el problema, entonces, ¿cuál es el significado del progreso? **
Shen Dou: Esta es una muy buena pregunta y también la hemos discutido internamente. Hoy en día, el Foundation Model puede resolver gran parte del problema si alcanza los 60 puntos, pero todavía hay una gran brecha entre él y una solución perfecta. Y la exigencia de la naturaleza humana es que si me dejas resolverlo en una vez, nunca lo haré en dos.
Hoy entrenaste con una puntuación de 85 basándose en que el modelo Foundation solo tenía una puntuación de 60. Después de eso, el Modelo Fundación alcanza los 85 puntos ¿Puedes conseguir 95 puntos? No hay límite para la búsqueda de seres humanos a este respecto.
Este límite debe seguir aumentando. Tomemos como ejemplo la búsqueda. Se pueden utilizar búsquedas realizadas hace más de 20 años. Entonces, ¿qué ha estado haciendo Google en los últimos 20 años? Parece que has terminado, pero no es así.
**P: ¿Qué opinas del próximo panorama competitivo de modelos grandes? **
Shen Dou: Hay muchos modelos en el mercado hoy en día, pero creo que muchos de ellos desaparecerán rápidamente.
La razón por la que todavía existen muchos modelos es que muchas personas no saben si son buenos o malos. De todos modos, nadie puede probarlo, nadie puede usarlo y la clasificación en la primera prueba es bastante alta. Pero con el lanzamiento del modelo, es más fácil juzgar los pros y los contras. Hoy en día, a quienes fabrican modelos grandes, si les das 30 millones de preguntas para que respondan y prueben, se estima que más de la mitad de ellas tendrán que bajar.
Esto conducirá a una concentración gradual del tráfico y será más fácil para el modelo principal formar un efecto de escala, compartiendo así aún más el costo del desarrollo del modelo. La brecha se ampliará aún más.
**P: ¿Cuándo comenzarán las rondas eliminatorias? **
Shen Ji: Es difícil decirlo, después de todo, puede que a todos les lleve un tiempo recaudar dinero. Para las grandes empresas, la quema sigue siendo asequible, pero también depende del valor de la quema. De todos modos, algunas empresas apuntan a sus propios escenarios de aplicación. En este momento, definitivamente no es bueno pedirles que ajusten las API de modelos grandes de otras personas, por lo que definitivamente crearán sus propios modelos. Mejor, casi (no importa), al menos no necesitas depender del mundo exterior. Las grandes empresas seguirán fabricando modelos durante un tiempo.
** 03 Los modelos grandes permiten que los servicios de computación en la nube avancen hacia la "estandarización", y Baidu Cloud finalmente gana dinero **
**P: ¿El modelo grande se convertirá en la base de todas las aplicaciones en el futuro? ¿Esto dará origen a una ecología de desarrollo y aplicación completamente diferente? **
Shen Ji: No hay duda de que el modelo grande se convertirá en una nueva era de sistemas operativos y se convertirá en la base de muchas aplicaciones.
Durante mucho tiempo, la gente ha utilizado el lenguaje como instrucciones al tratar con personas y máquinas. Pero en el pasado, las máquinas no entendían el lenguaje natural, por lo que escribimos a la fuerza un conjunto de lenguajes de programación para hacerlo entender. Ahora que el gran modelo comprende el lenguaje natural, todo el paradigma de desarrollo de aplicaciones ha experimentado un cambio fundamental. El desarrollo pasa a estar impulsado por ideas en lugar de por la capacidad de codificar.
Además, los modelos grandes también tienen la capacidad de conectar sistemas entre sí. Al igual que la aparición de complementos, es decir, componentes que completan de forma independiente una determinada capacidad y esperan ser llamados, el modelo grande puede combinar complementos para completar una tarea específica. Esto cambiará aún más el paradigma del desarrollo.
**P: Si el modelo grande puede resolver problemas a través de todos los complementos, ¿esta interconexión está disfrazada? **
Shen Ji: De hecho, todavía no lo hay. De hecho, estas APPs ya existen en el mismo teléfono móvil y en la misma aplicación, pero todavía no están interconectadas. En el futuro, Meituan se unirá y Didi se unirá a la base de modelos grandes, pero aún no serán interoperables.
**P: El problema subyacente no se ha resuelto. **
Shen Dou: Sí, la interconexión debe referirse a la apertura de datos. Puedo acceder a tus datos y tú puedes acceder a mis datos. Pero en la base de modelos grandes, solo estamos dispuestos a hablar con el concentrador, pero nuestros complementos no se comunican entre sí.
**P: ¿Esta situación de falta de interconexión hará que los desarrolladores no puedan implementar sin problemas la programación entre recursos? ¿Podría ser esto un defecto en la ecología del desarrollo del modelo a gran escala de China? **
Shen Ji: Creo que la razón principal es que no nos hemos dejado ir y la escala del tráfico no ha aumentado. Por ejemplo, Wen Xinyiyan de repente tuvo más de 30 millones de tráfico, el desarrollador calculó que tal vez el 1% era suyo, lo que significa que hubo 300.000 visitas, y decidiría hacerlo.
**P: En la era de los grandes modelos, ¿cómo define Baidu Cloud su posición en el ecosistema? ¿Cómo se distribuye el mecanismo de beneficios? **
Shen Ji: Es absolutamente imposible hacerlo con la fuerza de Baidu. No es que tenga miedo de no poder hacerlo, es que definitivamente no podré hacerlo.
En primer lugar, los complementos definitivamente tendrán un ecosistema muy próspero y se complementarán entre sí con modelos grandes. Los complementos necesitan obtener tráfico de modelos grandes, y los modelos grandes requieren el soporte de capacidades de complementos. Al igual que hoy, suponiendo que no haya WeChat o Douyin en el teléfono móvil, los usuarios no pueden usarlo.
En segundo lugar, en términos de aplicaciones orientadas al cliente final, no importa si se trata de una implementación de nube privada o una solución a nivel de plataforma como Qianfan, eventualmente requerirá socios ecológicos para completar la entrega de última milla, como Kingdee, UFIDA y iSoftStone. Tienen clientes y procesos comerciales especialmente familiares y ellos integrarán los requisitos finales.
En resumen, el primero es la agregación de capacidades para desarrollar la ecología, el segundo son los socios que ayudan a entregar los grandes modelos y el tercero son los clientes que utilizan los grandes modelos para fortalecer sus propios servicios.
**P: ¿Qué cambios ha traído el paradigma técnico de los grandes modelos a la computación en la nube? **
Shen Dou: La tendencia del desarrollo tecnológico es cada vez más avanzada. En otras palabras, nos estamos alejando cada vez más de la capa inferior, cada vez hay menos necesidad de prestar atención a los detalles, el embalaje es cada vez mejor y hay una gran cantidad de personas haciendo este trabajo detrás de escena. . Este es también el valor que aporta la nube.
El valor aportado por las primeras CPU en la nube es que los clientes no necesitan comprar máquinas para unir las tarjetas una por una, está cada vez mejor empaquetada y se puede usar directamente en ella. Con el advenimiento de la era de los modelos grandes, la GPU del "chip acelerador de IA" se ha convertido gradualmente en el centro de la potencia informática, y la tasa de crecimiento de la potencia informática supera con creces la de la CPU. Esto acelerará nuestro cambio de la nube de CPU a la nube de GPU.
En la era de la nube GPU, eventualmente encapsularemos aún más las capacidades de la nube para evitar que la capa inferior quede expuesta, formaremos una forma interactiva más avanzada y nos conectaremos directamente a la API del modelo grande. La nube actual todavía está desarrollada para ingenieros y la forma de interacción no es lo suficientemente completa, pero en el futuro habrá menos ingenieros en la parte inferior y más personas irán al nivel superior. Este es un cambio drástico.
Baidu Smart Cloud | Fuente de la imagen: Visual China
**P: ¿El gran modelo remodelará la estructura del mercado de la computación en la nube? Si es así, ¿cuándo veremos la señal? **
Shen Dou: Me gusta esta pregunta. Sin modelos grandes, la nube de Baidu sería muy difícil de operar. Hemos estado gritando "profundamente en la industria, concéntrese en la escena, la integración de la nube y la inteligencia, y la inclusión de la IA" en el pasado. Lo que Baidu Smart Cloud quiere hacer es poner la IA en todo el servicio To B y convertirlo en un punto de crecimiento.
**Pero en el pasado, la IA tradicional estaba muy fragmentada. Necesita generar una capacidad para un problema y luego resolverlo, lo cual tiene poca versatilidad. Como resultado, es un sistema de proyectos difícil de escalar y con un beneficio bruto bajo. **
Después de que apareció la IA generativa, vimos que es muy versátil y puede resolver muchos problemas a la vez. Básicamente está unificada desde la capa de aplicación hacia abajo. Incluso si necesita ajustes finos o complementos, es una acción estandarizada. Esto es completamente diferente de las anteriores aplicaciones de IA muy fragmentadas. Esto en sí mismo es un gran cambio en el negocio de la nube: la llamada IaaS se ha convertido en MaaS.
**P: En el pasado, las empresas chinas de IA tenían que conseguir proyectos, lo cual era muy difícil. Los problemas no se pueden resolver mediante productos estandarizados como lo hacemos ahora. **
Shen Ji: Discutimos la estrategia en la nube con Robin (Nota: el fundador, presidente y director ejecutivo de Baidu, Robin Li), y también nos pidió que estandarizáramos y escalemos; de lo contrario, no podríamos reflejar a Baidu como una empresa de tecnología. valor.
**P: Entonces, ¿el futuro a largo plazo dependerá de la estandarización y la escala? **
**Shen Ji: **Los modelos grandes tenían mucha incertidumbre al principio. Hoy en día, muchos clientes no tienen una comprensión unificada del límite de capacidad, los límites, los costos, la entrega y los métodos de demanda de los modelos grandes. En un corto período de tiempo, no podemos garantizar que todos los clientes lleguen a la nube pública, primero debemos hacerlo a través de un sistema de proyectos.
Pero incluso este sistema de proyectos es diferente del sistema de proyectos anterior. Por ejemplo, tengo un modelo de implementación privatizado para ustedes. Se parece más a Windows u Office. Primero, la versión 95, luego la versión 97 y luego la versión 2000. Hay que seguir actualizándose. Parece que te he regalado un CD para que lo pongas en tu casa, pero en realidad tienes que suscribirte continuamente. Este también es diferente al original.
**P: Pero tus finanzas han mejorado. En el primer trimestre de este año, Baidu Smart Cloud logró por primera vez rentabilidad trimestral. Usted mencionó que la razón fue la estandarización de los servicios en la nube, que permitió la reutilización a gran escala y redujo los costos. **
Shen Ji: Sí. En el caso de un sistema de proyecto puro o una proporción relativamente alta de sistema de proyecto, el beneficio bruto después de la entrega es demasiado bajo.
04 Después de hacernos cargo de Baidu Cloud durante más de un año, tenemos la mejor oportunidad
**P: Como miembro del principal equipo de toma de decisiones de Baidu, ¿cuáles son los temas que más le preocupan y le inquietan? ¿Cuál es el tema más discutido con el equipo? **
**Shen Ji: En términos de forma del producto, Robin tiene el requisito de que todos los productos deben reconstruirse con pensamiento nativo de IA. Es refactorización, no acceso. **
Técnicamente, estamos pensando en hasta dónde pueden llegar las capacidades de la IA generativa actual. Los resultados de la evaluación actual de Wen Xinyiyan no son malos, pero están lejos del límite superior del lenguaje humano o de una excelente comprensión del lenguaje humano. Cómo podemos seguir mejorando rápidamente esta capacidad es definitivamente la primera pregunta en la que pensamos.
Luego está la aplicación industrial, cómo se puede utilizar realmente el modelo, en qué escenarios se puede utilizar, qué tan alto es el umbral, qué tan amplio es el límite, cómo mejorar su eficiencia y cómo inspirar a todos a pensar en mejores usos. ... Estas son cosas en las que debemos seguir pensando.
**P: Estas son capas relativamente blandas. ¿Qué pasa con las capas más duras? **
Shen Ji: Ahora los grupos de potencia informática oscilan entre 10.000 y 10.000 tarjetas. Baidu es la única empresa en China que puede ejecutar una sola tarea al nivel de 10.000 tarjetas.
En el grupo Wanka, la organización, la eficiencia y la garantía son las verdaderas tareas de nivel inferior que son invisibles para todos, pero que son extremadamente importantes. Por ejemplo, queremos mejorar la eficiencia de la capacitación y el razonamiento del hardware subyacente y la integración de software y hardware. Todas estas son cosas bastante cruciales.
**P: Usted ha sido responsable de los negocios de búsqueda y publicidad en Baidu durante tantos años. No fue hasta el año pasado que se hizo cargo de la nube inteligente e inmediatamente encontró la oportunidad histórica de los modelos grandes. ¿Crees que es una bendición? ¿Cómo te sientes? **
Shen Dou: No es tan exagerado, pero estoy muy emocionado y tengo suerte de hacer algo así.
Cuando asumí el cargo el año pasado, tuve la idea de escalar y estandarizar los servicios en la nube. Pero como las capacidades de la IA están tan fragmentadas, es muy difícil hacerlo. ** En ese momento, estaba pensando mucho: ¿hay algo que requiera tanto capacidades de IA como potencia informática de IA y que pueda ser utilizado por muchas personas al mismo tiempo? No pude encontrarlo después de buscar durante mucho tiempo. **
Entonces apareció el modelo grande. Se sintió bien de inmediato.
Shen Dou, vicepresidente ejecutivo de Baidu Group y presidente de Baidu Intelligent Cloud Group (ACG) | Fuente de la imagen: Baidu
**P: Usted personalmente estudió inteligencia artificial. ¿Son los modelos grandes más adecuados para usted? **
Shen Ji: Esto es muy similar a lo que hacen mis estudiantes de posgrado. Aunque he estado estudiando informática, he hecho más software y he estado haciendo inteligencia artificial.
Después de conectarme a la nube (hardware de bajo nivel), volví a leer el libro sobre sistemas operativos y principios de composición de computadoras. Si realmente se trata de IaaS, componentes de red y computación de almacenamiento en la era de la CPU, creo que todavía es un poco difícil.
Pero después de que salió el modelo grande, descubrí que esas cosas se resumen a continuación. Ahora estudio principalmente el modelo grande, como leer artículos, usar Python para llamar a la API en Qianfan, etc. Me siento mucho más fácil.
**P: A continuación, ¿cuáles son sus expectativas para el desarrollo y la tasa de crecimiento de Baidu Smart Cloud? **
Shen Dou: Baidu Smart Cloud ahora ronda los 20 mil millones de yuanes, lo que todavía es relativamente pequeño. Con el apoyo de modelos grandes, la demanda de nuestros clientes se ha vuelto muy fuerte y ahora estamos abrumados. Sin embargo, todavía se requiere un proceso para permitir realmente que los usuarios lo utilicen y lo entreguen bien.
**P: ¿Habrá un pequeño brote en el cuarto trimestre? **
Shen Dou: Algunas personas estiman que el cuarto trimestre explotará. De hecho, la demanda ha comenzado a aumentar, pero creo que es posible que no explote hasta el próximo año.
**P: ¿Cómo evalúas tu suerte? **
Shen Ji: Creo que esta es la suerte de Baidu. Baidu ha estado haciendo IA durante tantos años y ha puesto tanto esfuerzo que si el gran modelo no llega, el camino de comercialización de la nube será realmente más difícil y difícil. Esto simplemente demuestra que las empresas con Visión no tendrán demasiada suerte al final.