Na 24ª hora após o lançamento de "Wen Xin Yi Yan", Shen Dou foi ao back-end para analisar os dados e descobriu que Wen Xin Yi Yan havia respondido "33,42 milhões" de perguntas dos usuários. Esse número superou suas expectativas.
Dois dias depois, quando Shen Dou se sentou com vários jornalistas, inclusive eu, para falar sobre o incidente, ele disse: "Originalmente pensamos que haveria menos pessoas assistindo, mas não esperávamos que o entusiasmo dos usuários diminuísse. não diminuiu."
Em Setembro, quando a grande mania dos modelos na China durou meio ano, as pessoas comuns finalmente tiveram a oportunidade de começar.
A partir de 31 de agosto, vários modelos grandes, incluindo "Wen Xin Yi Yan", foram aprovados e estão oficialmente abertos ao público. Esta notícia não apenas deixou os usuários entusiasmados para experimentá-lo, mas também gerou respostas entusiasmadas por parte das empresas. **Shen Dou disse que no dia da inauguração do Wenxin Yiyan, o número de empresas ativas diariamente na plataforma modelo de grande escala Baidu Smart Cloud Qianfan aumentou mais de 40%. ——Esta última é uma grande plataforma de desenvolvimento e gerenciamento de modelos lançada pelo Baidu para empresas. **
Na era dos grandes modelos, o Baidu espera promover o uso de grandes modelos por indivíduos e empresas no mesmo cronograma. Do ponto de vista macro, isso contribui para a popularização da tecnologia de ponta em modelos de grande porte. Do ponto de vista corporativo, isso ajuda o Baidu a fazer negócios por conta própria. Embora o valor comercial dos usuários do lado C não seja imediatamente aparente, o valor comercial dos clientes do lado B reflete-se diretamente nas taxas de agendamento de API do modelo e nas receitas de computação em nuvem.
Em maio do ano passado, Shen Dou, responsável pelo Baidu Mobile Ecosystem (MEG) por muitos anos, foi encarregado do importante cargo de presidente do Baidu Smart Cloud Business Group (ACG). A expectativa do grupo para ele é aproveitar a oportunidade da era AIGC e transformar a nuvem inteligente na segunda curva de crescimento do Baidu.
Mas a situação que Shen Dou enfrentou foi muito difícil. O Baidu não é o maior fornecedor de computação em nuvem na China, mas apenas está à frente na nuvem pública para serviços relacionados à IA. Naquela época, Shen Dou também esperava usar IA para impulsionar o crescimento de todo o serviço em nuvem, mas as capacidades de IA naquela época eram muito “fragmentadas” para se livrar da situação atual de altos custos de serviço, dificuldade de escalonamento e lucros escassos.
Mas, alguns meses depois, chegou a era dos grandes modelos. De uma perspectiva competitiva, os serviços básicos em nuvem que costumavam ser dominados por IaaS (Infraestrutura como Serviço) e PaaS (Plataforma como Serviço) estão dando lugar a serviços em nuvem como MaaS (Modelo como Serviço), que é dominado por IA . Shen Dou acredita que esta é a oportunidade para o Baidu Smart Cloud "ultrapassar nas curvas".
Do ponto de vista das receitas, as capacidades universais dos grandes modelos permitem que os serviços em nuvem sejam mais padronizados, permitindo a reutilização em larga escala em diferentes cenários, reduzindo os custos dos serviços e aumentando os lucros. É por esta razão que a administração do Baidu disse aos investidores na teleconferência de resultados do segundo trimestre de 2023 que a IA e os grandes modelos permitirão que o Baidu Intelligent Cloud alcance margens de lucro mais altas.
**A seguir está o texto completo da nossa conversa com Shen Dou, organizada pelo Geek Park. **
Fonte da imagem: gerada por Unbounded AI
01 Wenxin Yiyan no lado C e plataforma Qianfan no lado B, um sucesso com dois lados
**P: Depois de assistir a diversão, é hora de realmente fazer algo prático. Há dois dias, o Baidu abriu Wen Xinyiyan no lado C. O que você acha desses dados de uso do usuário? Esperado ou inesperado? Qual é a capacidade de operação e manutenção do fundo? **
Shen Dou: Enviei os dados para o grupo às 12h30 daquela noite e meus colegas divulgaram os dados no dia seguinte. Os dados foram interceptados por mim do sistema e apresentados intactos ao mundo exterior. É absolutamente verdade.
Originalmente pensávamos que havia menos pessoas “observando a emoção”, então nossas expectativas não eram tão altas. Inesperadamente, houve 33,42 milhões de respostas naquele dia, o que mostra que os usuários têm grandes expectativas em relação a Wen Xinyiyan. Nem todos vieram fazer uma ou duas perguntas e depois ir embora, mas passaram por muitas rodadas de diálogo. Desta perspectiva, o entusiasmo dos usuários ainda existe.
Já se passaram cinco ou seis meses desde que Wenxin Yiyan iniciou o teste interno em 16 de março. Isso nos deu bastante tempo para nos prepararmos, tanto em termos de melhoria de efeito quanto de redução de custos. Por exemplo, a velocidade de inferência do grande modelo Wenxin aumentou mais de 30 vezes em comparação com o original, o que reduz bastante o custo de inferência e nos permite transportar um número tão grande de usuários.
**P: Então o progresso tecnológico dos grandes modelos do Baidu durante este período também inclui o progresso dos custos? **
Shen Ji: Sim, o próprio modelo grande é um paradigma técnico que consome muitos recursos.
A princípio não esperávamos que o tráfego fosse tão grande. O recurso da máquina (poder computacional) em si é muito precioso. Sentimos que colocar muitas máquinas ali seria um desperdício, por isso não colocamos muitas máquinas extras. Depois que a escala de usuários aumentou naquele dia, felizmente, nosso desempenho de inferência melhorou, então ainda fornecemos serviços estáveis aos usuários.
Também temos uma boa reserva de poder computacional em mãos e continuaremos a reduzir o custo de treinamento e raciocínio no futuro, para que não haja problemas em atender às necessidades dos usuários. Naquela época, discutimos em nosso grupo interno se seria possível resistir ao trânsito. Eu disse que tornar o trânsito mais violento é apenas um problema de felicidade.
**P: Quais são os benefícios para o Baidu da liberalização de Wen Xinyiyan no lado C? **
Shen Dou: Você pode se preocupar se a abertura para o lado C é sustentável se não puder trazer valor comercial.
Na verdade, desde que realmente crie valor para os utilizadores, a comercialização é apenas uma questão de tempo. Na história do desenvolvimento tecnológico, existem muito poucos exemplos valiosos, mas difíceis de concretizar. Wenxinyiyan realmente trouxe valor real para os usuários finais C. Ontem vi alguns comentários dizendo que sem Wenxinyiyan, a eficiência de seu escritório cairia. Portanto, desde que seja valioso, a comercialização de Wenxinyiyan no futuro ocorrerá naturalmente.
**P: A forma do produto C-end dos grandes modelos da China será consistente com o ChatGPT? É uma taxa de assinatura? **
Shen Ji: É muito cedo para falar sobre a forma do produto de um modelo grande e sua definição ainda não está tão clara.
Quando a Internet móvel começou a surgir, poderíamos usar algumas palavras-chave para defini-la claramente, como SoLoMo (Social, Local, Mobile, usando mídias sociais, serviços de geolocalização e dispositivos terminais móveis para proporcionar uma melhor experiência ao usuário). Mas agora o grande modelo não pode ser definido com poucas palavras claras. Suas capacidades são mais poderosas, mas seus limites também são mais amplos e está longe de ser o momento de convergir para a forma do produto.
A OpenAI é uma empresa voltada para a tecnologia e a experiência do usuário não é seu ponto forte. A forma do produto que ele projeta hoje ainda está em seus estágios iniciais. Em seguida, a velocidade de iteração do produto será muito rápida e a forma mudará drasticamente.
**P: O modelo de negócios do ChatGPT de cobrança de taxas de assinatura de usuários finais C é viável na China? **
Shen Ji: Podemos desenvolver novos métodos de monetização, como os três métodos comuns de monetização de publicidade, comércio eletrônico e jogos.
Se você está disposto a gastar dois mil yuans por mês para contratar um assistente, então se a IA puder fazer 1/10 das coisas que um assistente pode fazer, como ajudá-lo a fazer itinerários de viagem, reservar passagens aéreas e hotéis e até mesmo mobilizar aplicativos de táxi e entrega de comida, você está disposto a gastar duzentos dólares? Acontece que a forma de realização não é necessariamente taxas de adesão, podem ser comissões de transação ou outros métodos.
Por outro exemplo, vários personagens NPC no jogo são movidos por IA generativa, e a transmissão ao vivo de "pessoas digitais" no campo do comércio eletrônico também é apoiada por IA generativa, o que pode levar a diferentes métodos de monetização. No final, a forma do produto C-end determina seu método de realização.
**P: Se os produtos C-end são, em última análise, ferramentas de produtividade, é possível que, em vez de os indivíduos pagarem por eles, a empresa pague por eles? **
Shen Dou: É possível. Por exemplo, o Baidu Netdisk também é uma ferramenta de eficiência.Muitas empresas comprarão contas Netdisk para uso dos funcionários. Também entramos em contato com empresas para atribuir a cada funcionário uma conta Copilot para escrever programas. Todos estes são casos em que as empresas pagam a conta dos indivíduos.
Interface "Wen Xin Yi Yan"
**P: Como empresa de conteúdo, também queremos usar modelos grandes para produzir artigos. Você acaba de lançar a grande plataforma de serviço modelo "Qianfan" da To B. Qual é o pano de fundo do lançamento de "Qianfan"? Como podemos ajudar empresas sem nenhum programador a implantar modelos grandes? **
**Shen Dou:**Esta é uma pergunta muito boa. Na verdade, é por isso que construímos a plataforma Qianfan.
A característica do grande modelo que chega ao lado B desta vez é que as grandes empresas vão primeiro e muitos clientes são instituições financeiras, instituições de energia, instituições educacionais, etc. Eles têm uma característica óbvia de que precisam ser implantados de forma privada, mas o limite é muito alto e eles precisam treinar um grupo de técnicos para iterar o modelo, o que pode retardar o tempo para que o modelo grande entre em vigor.
Pelo contrário, como muitas pequenas e médias empresas, você provavelmente não excluirá um produto SaaS (baseado em plataforma), nem excluirá nuvens públicas. A plataforma Qianfan é um desses produtos. As empresas podem chamar APIs diretamente ou ajustar amostras de treinamento para criar seus próprios modelos quase sem código. **Nosso objetivo do Qianfan é reduzir o limite de implantação de modelos grandes e promover a aplicação generalizada de modelos grandes. **
**P: Parece que você e a OpenAI têm caminhos diferentes. A OpenAI lançou primeiro o produto C-end ChatGPT e, em seguida, lançou lentamente o produto B-end, enquanto o Baidu está avançando tanto o C-end quanto o B-end lado a lado. Por que existe essa diferença? **
**Shen Dou: **Toda tecnologia tem problemas de aceitação e mais usuários devem realmente usá-la e descobrir seu valor. Todo mundo fala sobre modelos grandes, mas quantas pessoas realmente usaram modelos grandes? Os clientes empresariais do lado B estão mais conscientes do impacto potencial dos grandes modelos em todo o seu paradigma de produção e precisam utilizá-los mais.
Mas se eles não usam APIs de nuvem pública nem configuram seu próprio ambiente para experimentar e testar, então eles estão simplesmente imaginando coisas lá. Portanto, precisamos fazer o Qianfan e deixá-los usar o modelo grande primeiro. Na verdade, em relação à abertura total dos modelos grandes, o lado C já espera há muito tempo, e o lado B também espera há muito tempo. Só que o lado B está mais próximo da comercialização.
**P: Depois que Wen Xinyiyan foi lançado, quanto aumentou a demanda pelo lado B da plataforma Qianfan? **
Shen Dou: No dia da inauguração de Wen Xinyiyan, na plataforma de grande modelo Baidu Intelligent Cloud Qianfan, o número de empresas ativas diariamente aumentou mais de 40%. Considerando que a velocidade de resposta do TO B geralmente está atrasada, o real a situação será um pouco melhor.
Abandonar não apenas aumentará os dados do lado C, mas também certamente aumentará os dados do lado B. Porque isso ajudará as empresas B-end a reduzir custos e acelerar as iterações (Nota: é mais barato e mais conveniente usar modelos nacionais).
Mas em termos de crescimento de dados, o lado B não é tão bom quanto o lado C por enquanto. Hoje, suponha que alguém queira usar "Wen Xin Yi Yan" no lado B. Em vez de chamar a API, ele pode muito bem ir para o lado C para experimentá-la primeiro. Quando ele achar que a experiência é boa, ele a usará em Qianfan. Fazer com que o lado B seja usado requer um processo de cultivo.
**P: Se o lado C e o lado B andam de mãos dadas, como você define a prioridade? O foco está principalmente no lado C ou no lado B? **
Shen Ji: Quando há um conflito de recursos, a prioridade precisa ser definida. A característica do modelo grande é que ele possui uma camada muito espessa na parte inferior que é universal, então encontrar aplicações nele, seja para B ou para C, é o que o Baidu quer fazer de mãos dadas. Não há conflito de recursos.
No lado C, o Baidu está pesquisando ativamente formas de produtos e modelos de negócios que possam ser implementados em grandes modelos. O Baidu precisa reconstruir seus produtos C-end com base no modelo grande.Por exemplo, a partir dos próprios dados de produtos do Baidu, Baidu Netdisk, Biblioteca Baidu e outros produtos, após a reconstrução com base no modelo grande, a adesão do usuário e a taxa de pagamento de adesão são muito alto. Melhoria: o recém-construído APP Wenxin Yiyan e a pesquisa Baidu reconstruída também se tornaram novas entradas para aplicações de modelos em grande escala. No lado B, o Baidu Smart Cloud atende bem ao mercado To B, criando a melhor plataforma de modelo em grande escala.
**P: Na verdade, a base mais universal é a computação em nuvem. Quer você atenda clientes internos ou externos, ela é o seu sucesso. **
Shen Dou: Sim, se você atender bem os clientes internos, atenderá bem os clientes externos. Se você atender bem os clientes externos, atenderá bem os clientes internos. Essa é a beleza do MaaS. Caso contrário, supondo que as pilhas de tecnologia externa e interna sejam completamente dois conjuntos, o custo será muito alto.
Andamos sobre duas pernas. O Baidu certamente espera fazer um produto To C de grande sucesso, mas também estamos muito dispostos a apoiar mais empresas e desenvolvedores na criação de bons aplicativos To C por meio do grande modelo subjacente e do poder de computação. Na verdade, não importa quem tenha sucesso acima, é o sucesso do grande modelo subjacente.
02 O grande modelo inicia uma competição brutal e o futuro do modelo de código aberto é preocupante
**P: Além de Wen Xinyiyan, a plataforma Qianfan também lançou outros modelos. Qual é a diferença entre Qianfan e plataformas de agregação de modelos como Hugging Face? **
Shen Dou: Atualmente ou há muito tempo, as empresas esperam experimentar diferentes modelos, seja pela adaptabilidade de cenário do modelo ou pelas necessidades psicológicas dos clientes. Nessa perspectiva, também precisamos fornecer modelos de terceiros.
Mas nem todo modelo vale a pena tentar, e isso seria um enorme desperdício de recursos. Portanto, Qianfan tem seus próprios princípios de triagem, e todos os modelos que apresentamos são modelos relativamente excelentes e fáceis de usar.
**P: Então Hugging Face está posicionado como uma comunidade e Qianfan está posicionado como uma plataforma? **
Shen Ji: Isso mesmo. Qianfan não apenas resolve seu problema de escolha de um modelo, mas também resolve seu problema de realmente usar o modelo. Seu uso inclui uma série de questões como dados, treinamento, ajuste, engenharia e construção de aplicações. Custo e eficiência também devem ser totalmente levados em consideração. Qianfan oferece serviço completo, que é a diferença entre Qianfan e Hugging Face.
O modelo Hugging Face tem amplitude suficiente e, contando com as vantagens naturais dos fornecedores de nuvem, Qianfan tem espaço suficiente para operação e também pode obter treinamento ponta a ponta e otimização do desempenho de inferência. Por exemplo, aceleração no processo de treinamento, rápida percepção, localização e recuperação de falhas; no processo de raciocínio, baseado na escalabilidade do enorme cluster de computação heterogêneo do Baidu, possui elasticidade de recursos muito boa e também pode fornecer serviços sem servidor, permitindo aos clientes para obter custos de infraestrutura de baixo custo, sem operação e manutenção e benefícios de alta escalabilidade. É aqui que Qianfan vai mais fundo do que Hugging Face.
Plataforma de modelo em grande escala Baidu Smart Cloud Qianfan | Fonte da imagem: site oficial do Baidu Smart Cloud
**P: Você parece não estar otimista em relação ao modelo de código aberto, mas o código aberto dilui o custo de implantação de grandes modelos para empresas, portanto, não se pode dizer que não faça sentido. O que exatamente você acha do modelo de código aberto? **
**Shen Dou:**Quem você acha que arcará com o custo do LLaMA (Nota: modelo grande de código aberto do Facebook)? É o Facebook. Quem dividirá o custo do Facebook? **Se você não consegue descobrir o ponto final deste problema, então ele (código aberto) é água sem fonte e uma árvore sem raízes, e problemas eventualmente surgirão um dia. **
Porque isso é diferente do software de código aberto tradicional.No passado, o investimento de uma pessoa em código aberto era o custo de seu próprio tempo. Mas hoje, se quisermos desenvolver um grande modelo de código aberto, o custo das máquinas e dos dados é demasiado elevado.
**P: Você pode usar o amor para gerar eletricidade, mas não pode usar o amor para calcular. **
Shen Dou: Sim, você tem que investir dezenas de milhões nisso em uma rodada de treinamento.
Um pouco semelhante ao jogo tradicional de código aberto de hoje é que todos eles usam código aberto para atrair a atenção dos usuários e, em última análise, esperam escolher outros modelos grandes (código fechado).
**P: É possível ter um relacionamento semelhante entre a Red Hat e a IBM (Nota: Em 2018, a IBM anunciou a aquisição da Red Hat, a maior empresa de código aberto do mundo)? E se empresários ricos como a IBM estiverem dispostos a apoiar o código aberto? Desta forma, o código aberto será apoiado por fundos e dados. **
Shen Ji: O código aberto definitivamente existirá por muito tempo. À medida que os modelos de grande escala recebem cada vez mais atenção, o governo e as empresas podem doar para apoiar a investigação nesta área e promover a educação de todo o mercado. Mas quanto valor isso pode gerar no final? Penso que há uma grande probabilidade de não se tornar mainstream, nem de formar um modelo de negócio de circuito fechado completo.
O desenvolvimento de software tradicional pode formar um ciclo fechado. Por exemplo, se você escrever um trecho de código ou atualizar uma função, poderá fazer check-in rapidamente e os recursos de todo o software de código aberto serão imediatamente aprimorados. Mas depois do lançamento do LLaMA hoje, não importa quantas pessoas o estejam usando, ele não pode ser verificado, os dados não podem ser retornados, o poder de computação não pode ser retornado e a capacidade não pode ser devolvida, portanto, um circuito fechado não pode ser formado .
**P: Muitos grupos de código aberto acreditam que o modelo de código aberto leu trilhões de parâmetros. Embora não seja tão bom quanto o modelo de código fechado, ainda é muito utilizável. Assim como o próprio modelo, embora não seja de pós-graduação 985 e 211, é pelo menos de nível profissional e pode ser utilizado para ajustes mais verticais. **
Shen Dou: O Modelo Básico deve melhorar? Se o Modelo de Fundação atual já é muito bom e não há necessidade de alterá-lo, então não há problema. Mas a situação atual é que o Modelo Básico tem apenas uma pontuação de 60, e temos que nos esforçar para atingir uma pontuação de 90 ou 95.
**P: Por que devemos progredir? O verdadeiro sentimento de muitas empresas é que o GPT3.0 já pode resolver o problema, então qual é o significado do progresso? **
Shen Dou: Esta é uma pergunta muito boa e também a discutimos internamente. Hoje, o Modelo Básico pode resolver grande parte do problema se atingir 60 pontos, mas ainda há uma grande lacuna entre ele e uma solução perfeita. E a exigência da natureza humana é que se você me deixar resolver isso de uma vez, eu nunca o farei em duas vezes.
Hoje, com base em apenas 60 pontos no Modelo Básico, você treinou 85 pontos. Depois disso, o Modelo Básico atingiu 85 pontos, você consegue 95 pontos? Não há limite para o que as pessoas podem buscar nesse sentido.
Este limite continuará definitivamente a ser aumentado. Tomemos como exemplo a pesquisa. Pesquisas feitas há mais de 20 anos podem ser usadas. Então, o que o Google tem feito nos últimos 20 anos? Parece que você terminou, mas não está.
**P: Como você vê o futuro padrão de competição do grande modelo? **
Shen Dou: Existem muitos modelos no mercado hoje, mas acho que muitos deles desaparecerão rapidamente.
A razão pela qual ainda existem muitos modelos é que muitas pessoas não sabem se são bons ou maus. De qualquer forma, ninguém pode experimentar, ninguém pode usar, e a classificação no primeiro teste é bastante alta. Mas à medida que o modelo é liberalizado, os prós e os contras tornam-se mais fáceis de avaliar. Hoje, para quem faz modelos grandes, se você der 30 milhões de problemas e tentar inseri-los, a maioria provavelmente irá falhar.
Isto levará a uma concentração gradual do tráfego, tornando mais fácil para os modelos principais formarem economias de escala, amortizando ainda mais o custo do desenvolvimento do modelo. A lacuna aumentará ainda mais.
**P: Quando começarão as rodadas eliminatórias? **
Shen Dou: É difícil dizer, afinal, pode levar algum tempo para que todos consigam arrecadar o dinheiro. Para as grandes empresas, ainda é acessível queimar, mas também depende do valor da queima. De qualquer forma, algumas empresas têm muitos cenários de aplicativos, então definitivamente não permitirão que ajustem as APIs de modelos grandes de outras pessoas neste momento, então com certeza criarão seu próprio modelo. Bom ou ruim (não importa), pelo menos você não precisa depender do exterior. As grandes empresas continuarão a fabricar modelos por algum tempo.
03 Modelos grandes permitem que os serviços de computação em nuvem avancem em direção à "padronização", e o Baidu Cloud finalmente ganha dinheiro
**P: Os modelos grandes se tornarão a base para todas as aplicações no futuro? Isso criará um ecossistema de desenvolvimento e aplicação completamente diferente? **
Shen Ji: Não há dúvida de que o modelo grande se tornará uma nova era de sistema operacional e se tornará a base de muitos aplicativos.
Durante muito tempo, as pessoas usaram a linguagem como instruções ao lidar com pessoas e máquinas. Mas no passado, as máquinas não entendiam a linguagem natural, então escrevemos um conjunto de linguagens de programação para que elas entendessem. Agora que os grandes modelos entendem a linguagem natural, todo o paradigma de desenvolvimento de aplicações mudou fundamentalmente. O desenvolvimento passa a ser impulsionado pela criatividade e não pela habilidade de código.
Além disso, modelos grandes também possuem a capacidade de conectar sistemas em série. Assim como o surgimento atual de plug-ins, que são componentes que completam independentemente uma determinada capacidade e esperam para serem chamados, modelos grandes podem combinar plug-ins para completar uma tarefa específica. Isto mudará ainda mais o paradigma de desenvolvimento.
**P: Se um modelo grande pode conectar todos os plug-ins para resolver problemas, isso é uma forma disfarçada de interconexão? **
**Shen Dou:**Na verdade, ainda não. Na verdade, esses APPs agora também existem no mesmo celular e no mesmo programa aplicativo, e ainda não realiza a interconexão. No futuro, com base no modelo grande, Meituan e Didi se conectarão, mas ainda não se comunicam.
**P: O problema subjacente não foi resolvido. **
Shen Dou: Sim, a interconexão deve se referir à abertura de dados. Posso acessar seus dados e você pode acessar meus dados. Mas sob a grande base de modelos, estamos dispostos a conversar apenas com o hub, mas nossos plug-ins não se comunicam entre si.
**P: Essa situação de não interconexão fará com que os desenvolvedores não consigam implementar suavemente o agendamento entre recursos? Poderia isto ser um defeito na ecologia de desenvolvimento de modelos em grande escala da China? **
**Shen Ji:**Acho que o principal motivo é que não desistimos e a escala do tráfego não aumentou. Por exemplo, Wenxin Yiyan tem mais de 30 milhões de tráfego de uma só vez, e se o desenvolvedor calcular que 1% pode ser seu, então há 300.000 visitas e ele decidirá fazê-lo.
**P: Na era dos grandes modelos, como o Baidu Cloud define sua posição no ecossistema? Como o mecanismo de benefícios é distribuído? **
Shen Dou: É absolutamente impossível que o Baidu faça isso sozinho. Não é que eu tenha medo de não ser capaz de fazer isso, é que eu absolutamente não serei capaz de fazer isso.
Em primeiro lugar, o plug-in deve ser uma ecologia muito próspera e complementar o grande modelo. Os plug-ins precisam obter tráfego de modelos grandes, e os modelos grandes exigem o suporte de recursos de plug-ins. Assim como hoje, supondo que não haja WeChat ou Douyin no telefone celular, os usuários não poderão usá-lo.
Em segundo lugar, em termos de aplicações para clientes finais, quer se trate de implementação de nuvem privada ou de soluções de nível de plataforma, como Qianfan, é em última análise necessário que os parceiros ecológicos completem o problema de entrega da última milha, como Kingdee, UFIDA, iSoftStone, etc. Eles têm clientes e processos de negócios particularmente familiares, e os requisitos finais serão integrados por eles.
Resumindo, o primeiro é a agregação de capacidades para desenvolver o ecossistema, o segundo são os parceiros que ajudam a fornecer grandes modelos e o terceiro são os clientes que utilizam grandes modelos para fortalecer os seus próprios serviços. Todos estes são ecossistemas.
**P: Que mudanças o paradigma técnico dos grandes modelos trouxe para a computação em nuvem? **
**Shen Dou:**A tendência de desenvolvimento tecnológico está cada vez mais avançada. Ou seja, estamos cada vez mais distantes da camada inferior, há cada vez menos necessidade de prestar atenção aos detalhes, as embalagens estão cada vez melhores e há um grande número de pessoas fazendo esse trabalho nos bastidores. . Este por si só é também o valor contribuído pela nuvem.
O valor contribuído pela nuvem de CPU inicial é que os clientes não precisam comprar suas próprias máquinas e agrupá-las com cartões, uma por uma. Ela é cada vez melhor embalada e pode ser usada diretamente nela. Com o advento da era dos modelos grandes, a GPU "chip de aceleração AI" tornou-se gradualmente o centro do poder computacional, e a taxa de crescimento do poder computacional excede em muito a da CPU. Isso acelerará nossa mudança da nuvem de CPU para a nuvem de GPU.
Na era da nuvem GPU, eventualmente encapsularemos ainda mais os recursos da nuvem para evitar que a camada inferior seja exposta, formar uma forma interativa mais avançada e nos conectar diretamente à API do modelo grande. A nuvem de hoje ainda é desenvolvida para engenheiros e a forma de interação não é suficientemente completa, mas no futuro haverá menos engenheiros na base e mais pessoas irão para o nível superior. Esta é uma mudança drástica.
Baidu Smart Cloud | Fonte da imagem: Visual China
**P: O grande modelo remodelará a estrutura de mercado da computação em nuvem? Se sim, quando posso ver o sinal? **
Shen Ji: Gosto dessa pergunta. Sem modelos grandes, a nuvem do Baidu seria muito difícil de operar. Temos gritado "profundamente na indústria, foco na cena, integração de nuvem e inteligência e inclusão de IA" no passado.O que o Baidu Smart Cloud quer fazer é colocar IA em todo o serviço To B e torná-lo um ponto de crescimento.
**Mas no passado, a IA tradicional era muito fragmentada. Ele precisa gerar uma capacidade para um problema e então resolver esse problema, que tem pouca versatilidade. Como resultado, é um sistema de projetos difícil de escalar e com baixo lucro bruto. **
Depois que a IA generativa foi lançada, vimos que ela tem uma versatilidade muito boa e pode resolver muitos problemas de uma vez. É basicamente unificada da camada de aplicação para baixo. Mesmo que sejam necessários ajustes finos e plug-ins, todas são ações padronizadas . Isso é completamente diferente dos aplicativos de IA muito fragmentados anteriores. Isto por si só é uma grande mudança no negócio da nuvem, e o chamado IaaS tornou-se MaaS.
**P: No passado, as empresas de IA na China sempre tinham que realizar projetos, o que era muito difícil. É impossível resolver problemas através de produtos padronizados como agora. **
Shen Dou: Discutimos a estratégia de nuvem com Robin (Nota: Robin Li, fundador, presidente e CEO do Baidu), e ele também nos pediu para padronizar e escalar, caso contrário, o Baidu não será capaz de refletir o Baidu como uma tecnologia empresa.valor.
**P: Então o próximo longo prazo será a padronização e a escala? **
**Shen Dou:**Os modelos grandes apresentavam grande incerteza no início. Hoje, muitos clientes ainda não têm uma compreensão unificada dos limites de capacidade, limites, custos, entrega e métodos de demanda dos modelos grandes. Em um curto período de tempo, não podemos garantir que todos os clientes migrarão para a nuvem pública, devemos primeiro fazê-lo através de um sistema de projeto.
Mas mesmo este sistema de projetos é diferente do sistema de projetos anterior. Por exemplo, tenho um modelo de implantação privatizado para você. É mais parecido com o Windows ou o Office. Primeiro, a versão 95, depois a versão 97 e depois a versão 2000. Você precisa continuar atualizando. Parece que te dei um CD para colocar em casa, mas na verdade você tem que assinar continuamente. Esta não é a mesma da construção original.
**P: Mas suas finanças melhoraram. No primeiro trimestre deste ano, o Baidu Smart Cloud obteve rentabilidade trimestral pela primeira vez. Você mencionou que o motivo foi a padronização dos serviços em nuvem, que permitiu a reutilização em grande escala e a redução de custos. **
**Shen Dou:**Sim. No caso de um sistema de projeto puro ou de uma proporção relativamente alta de sistema de projeto, o lucro bruto após a entrega é muito baixo.
04 Depois de assumir o comando do Baidu Cloud por mais de um ano, temos a melhor oportunidade
**P: Como membro do mais alto nível de tomada de decisão do Baidu, com o que você está mais preocupado e ansioso? Qual é o assunto mais discutido com a equipe? **
**Shen Ji: Em termos de forma do produto, Robin exige que todos os produtos sejam reconstruídos com o pensamento nativo da IA. É refatoração, não acesso. **
Tecnicamente, estamos pensando em quão maiores podem ser as capacidades da IA generativa de hoje. Os resultados da avaliação atual de Wen Xinyiyan não são ruins, mas estão longe do limite superior da linguagem humana ou da excelente compreensão da linguagem humana. Como podemos continuar a melhorar rapidamente esta capacidade é definitivamente a primeira questão que pensamos.
Depois, há a aplicação na indústria, como o modelo pode ser realmente usado, em quais cenários ele pode ser usado, quão alto é o limite, quão amplo é o limite, como melhorar sua eficiência, como inspirar todos a pensarem em melhores usos. ... Isso é algo em que temos que continuar pensando.
**P: Estas são camadas relativamente macias. E as camadas mais duras? **
Shen Dou: Hoje em dia, os clusters de poder de computação aumentaram de 1.000 cartões para 10.000 cartões. A Baidu é a única empresa na China que pode realmente executar uma única tarefa no nível de 10.000 cartões.
No cluster Wanka, organização, eficiência e garantia são as verdadeiras tarefas de nível inferior que são invisíveis para todos, mas são extremamente importantes. Por exemplo, precisamos melhorar a eficiência do treinamento e da inferência do hardware subjacente e a integração de software e hardware. Todas essas coisas são cruciais.
**P: Você é responsável pelos negócios de pesquisa e publicidade no Baidu há muitos anos. Somente no ano passado você assumiu o comando da nuvem inteligente. Você encontrou imediatamente a oportunidade histórica dos grandes modelos. Você acha que é uma bênção? Como você está se sentindo? **
Shen Ji: Não é tão exagerado, mas estou muito animado e sortudo por poder fazer uma coisa dessas.
Quando assumi no ano passado, tive a ideia de escalar e padronizar (serviços em nuvem). Mas como as capacidades de IA estão demasiado fragmentadas, é muito difícil fazê-lo. **Naquela época, eu estava pensando muito, existe algo que exija recursos de IA e poder de computação de IA e possa ser usado por muitas pessoas ao mesmo tempo? Faz muito tempo que não consigo encontrar. **
Então, apareceu o grande modelo. Pareceu certo imediatamente.
Shen Dou, vice-presidente executivo do Baidu Group e presidente do Baidu Intelligent Cloud Business Group (ACG) | Fonte da imagem: Baidu
**P: Você estudou inteligência artificial pessoalmente. Modelos grandes são mais adequados para você? **
Shen Ji: Isso é muito semelhante ao que meus alunos de pós-graduação fazem. Embora eu tenha estudado computadores, tenho feito mais software e tenho feito inteligência artificial.
Depois de receber a nuvem (hardware de nível inferior) naquela época, realmente li novamente os livros sobre sistema operacional e princípios de composição de computadores. Se for realmente um conjunto de IaaS, componentes de rede, armazenamento e computação na era da CPU, acho que ainda é um pouco difícil.
Mas depois que o grande modelo foi lançado, descobri que essas coisas estavam encapsuladas abaixo: agora posso estudar principalmente o grande modelo, como ler artigos, usar Python para chamar a API no Qianfan, etc. Eu me sinto muito mais fácil.
**P: A seguir, quais são suas expectativas para o desenvolvimento e a taxa de crescimento do Baidu Smart Cloud? **
**Shen Dou:**Baidu Smart Cloud está agora perto de 20 bilhões de yuans, o que ainda é relativamente pequeno. Com o apoio de modelos grandes, a demanda de nossos clientes tornou-se muito forte e agora estamos sobrecarregados. No entanto, ainda existe um processo necessário para realmente permitir que os usuários o utilizem e o entreguem bem.
**P: Haverá um pequeno surto no quarto trimestre? **
**Shen Ji:**Algumas pessoas estimam que haverá um surto no quarto trimestre. A procura começou efectivamente a aumentar, mas penso que poderá demorar até ao próximo ano para explodir.
**P: Como você avalia sua sorte? **
Shen Ji: Acho que essa é a sorte do Baidu. O Baidu vem fazendo IA há tantos anos e se esforçando muito. Se o grande modelo não vier, o caminho de comercialização da nuvem será realmente mais difícil e difícil. Isso só mostra que as empresas com Visão não terão muita sorte no final.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
Diálogo com Shen Dou, presidente da Baidu Smart Cloud: Existem muitos modelos grandes no mercado hoje, mas a maioria deles desaparecerá rapidamente
Na 24ª hora após o lançamento de "Wen Xin Yi Yan", Shen Dou foi ao back-end para analisar os dados e descobriu que Wen Xin Yi Yan havia respondido "33,42 milhões" de perguntas dos usuários. Esse número superou suas expectativas.
Dois dias depois, quando Shen Dou se sentou com vários jornalistas, inclusive eu, para falar sobre o incidente, ele disse: "Originalmente pensamos que haveria menos pessoas assistindo, mas não esperávamos que o entusiasmo dos usuários diminuísse. não diminuiu."
Em Setembro, quando a grande mania dos modelos na China durou meio ano, as pessoas comuns finalmente tiveram a oportunidade de começar.
A partir de 31 de agosto, vários modelos grandes, incluindo "Wen Xin Yi Yan", foram aprovados e estão oficialmente abertos ao público. Esta notícia não apenas deixou os usuários entusiasmados para experimentá-lo, mas também gerou respostas entusiasmadas por parte das empresas. **Shen Dou disse que no dia da inauguração do Wenxin Yiyan, o número de empresas ativas diariamente na plataforma modelo de grande escala Baidu Smart Cloud Qianfan aumentou mais de 40%. ——Esta última é uma grande plataforma de desenvolvimento e gerenciamento de modelos lançada pelo Baidu para empresas. **
Na era dos grandes modelos, o Baidu espera promover o uso de grandes modelos por indivíduos e empresas no mesmo cronograma. Do ponto de vista macro, isso contribui para a popularização da tecnologia de ponta em modelos de grande porte. Do ponto de vista corporativo, isso ajuda o Baidu a fazer negócios por conta própria. Embora o valor comercial dos usuários do lado C não seja imediatamente aparente, o valor comercial dos clientes do lado B reflete-se diretamente nas taxas de agendamento de API do modelo e nas receitas de computação em nuvem.
Em maio do ano passado, Shen Dou, responsável pelo Baidu Mobile Ecosystem (MEG) por muitos anos, foi encarregado do importante cargo de presidente do Baidu Smart Cloud Business Group (ACG). A expectativa do grupo para ele é aproveitar a oportunidade da era AIGC e transformar a nuvem inteligente na segunda curva de crescimento do Baidu.
Mas a situação que Shen Dou enfrentou foi muito difícil. O Baidu não é o maior fornecedor de computação em nuvem na China, mas apenas está à frente na nuvem pública para serviços relacionados à IA. Naquela época, Shen Dou também esperava usar IA para impulsionar o crescimento de todo o serviço em nuvem, mas as capacidades de IA naquela época eram muito “fragmentadas” para se livrar da situação atual de altos custos de serviço, dificuldade de escalonamento e lucros escassos.
Mas, alguns meses depois, chegou a era dos grandes modelos. De uma perspectiva competitiva, os serviços básicos em nuvem que costumavam ser dominados por IaaS (Infraestrutura como Serviço) e PaaS (Plataforma como Serviço) estão dando lugar a serviços em nuvem como MaaS (Modelo como Serviço), que é dominado por IA . Shen Dou acredita que esta é a oportunidade para o Baidu Smart Cloud "ultrapassar nas curvas".
Do ponto de vista das receitas, as capacidades universais dos grandes modelos permitem que os serviços em nuvem sejam mais padronizados, permitindo a reutilização em larga escala em diferentes cenários, reduzindo os custos dos serviços e aumentando os lucros. É por esta razão que a administração do Baidu disse aos investidores na teleconferência de resultados do segundo trimestre de 2023 que a IA e os grandes modelos permitirão que o Baidu Intelligent Cloud alcance margens de lucro mais altas.
**A seguir está o texto completo da nossa conversa com Shen Dou, organizada pelo Geek Park. **
01 Wenxin Yiyan no lado C e plataforma Qianfan no lado B, um sucesso com dois lados
**P: Depois de assistir a diversão, é hora de realmente fazer algo prático. Há dois dias, o Baidu abriu Wen Xinyiyan no lado C. O que você acha desses dados de uso do usuário? Esperado ou inesperado? Qual é a capacidade de operação e manutenção do fundo? **
Shen Dou: Enviei os dados para o grupo às 12h30 daquela noite e meus colegas divulgaram os dados no dia seguinte. Os dados foram interceptados por mim do sistema e apresentados intactos ao mundo exterior. É absolutamente verdade.
Originalmente pensávamos que havia menos pessoas “observando a emoção”, então nossas expectativas não eram tão altas. Inesperadamente, houve 33,42 milhões de respostas naquele dia, o que mostra que os usuários têm grandes expectativas em relação a Wen Xinyiyan. Nem todos vieram fazer uma ou duas perguntas e depois ir embora, mas passaram por muitas rodadas de diálogo. Desta perspectiva, o entusiasmo dos usuários ainda existe.
Já se passaram cinco ou seis meses desde que Wenxin Yiyan iniciou o teste interno em 16 de março. Isso nos deu bastante tempo para nos prepararmos, tanto em termos de melhoria de efeito quanto de redução de custos. Por exemplo, a velocidade de inferência do grande modelo Wenxin aumentou mais de 30 vezes em comparação com o original, o que reduz bastante o custo de inferência e nos permite transportar um número tão grande de usuários.
**P: Então o progresso tecnológico dos grandes modelos do Baidu durante este período também inclui o progresso dos custos? **
Shen Ji: Sim, o próprio modelo grande é um paradigma técnico que consome muitos recursos.
A princípio não esperávamos que o tráfego fosse tão grande. O recurso da máquina (poder computacional) em si é muito precioso. Sentimos que colocar muitas máquinas ali seria um desperdício, por isso não colocamos muitas máquinas extras. Depois que a escala de usuários aumentou naquele dia, felizmente, nosso desempenho de inferência melhorou, então ainda fornecemos serviços estáveis aos usuários.
Também temos uma boa reserva de poder computacional em mãos e continuaremos a reduzir o custo de treinamento e raciocínio no futuro, para que não haja problemas em atender às necessidades dos usuários. Naquela época, discutimos em nosso grupo interno se seria possível resistir ao trânsito. Eu disse que tornar o trânsito mais violento é apenas um problema de felicidade.
**P: Quais são os benefícios para o Baidu da liberalização de Wen Xinyiyan no lado C? **
Shen Dou: Você pode se preocupar se a abertura para o lado C é sustentável se não puder trazer valor comercial.
Na verdade, desde que realmente crie valor para os utilizadores, a comercialização é apenas uma questão de tempo. Na história do desenvolvimento tecnológico, existem muito poucos exemplos valiosos, mas difíceis de concretizar. Wenxinyiyan realmente trouxe valor real para os usuários finais C. Ontem vi alguns comentários dizendo que sem Wenxinyiyan, a eficiência de seu escritório cairia. Portanto, desde que seja valioso, a comercialização de Wenxinyiyan no futuro ocorrerá naturalmente.
**P: A forma do produto C-end dos grandes modelos da China será consistente com o ChatGPT? É uma taxa de assinatura? **
Shen Ji: É muito cedo para falar sobre a forma do produto de um modelo grande e sua definição ainda não está tão clara.
Quando a Internet móvel começou a surgir, poderíamos usar algumas palavras-chave para defini-la claramente, como SoLoMo (Social, Local, Mobile, usando mídias sociais, serviços de geolocalização e dispositivos terminais móveis para proporcionar uma melhor experiência ao usuário). Mas agora o grande modelo não pode ser definido com poucas palavras claras. Suas capacidades são mais poderosas, mas seus limites também são mais amplos e está longe de ser o momento de convergir para a forma do produto.
A OpenAI é uma empresa voltada para a tecnologia e a experiência do usuário não é seu ponto forte. A forma do produto que ele projeta hoje ainda está em seus estágios iniciais. Em seguida, a velocidade de iteração do produto será muito rápida e a forma mudará drasticamente.
**P: O modelo de negócios do ChatGPT de cobrança de taxas de assinatura de usuários finais C é viável na China? **
Shen Ji: Podemos desenvolver novos métodos de monetização, como os três métodos comuns de monetização de publicidade, comércio eletrônico e jogos.
Se você está disposto a gastar dois mil yuans por mês para contratar um assistente, então se a IA puder fazer 1/10 das coisas que um assistente pode fazer, como ajudá-lo a fazer itinerários de viagem, reservar passagens aéreas e hotéis e até mesmo mobilizar aplicativos de táxi e entrega de comida, você está disposto a gastar duzentos dólares? Acontece que a forma de realização não é necessariamente taxas de adesão, podem ser comissões de transação ou outros métodos.
Por outro exemplo, vários personagens NPC no jogo são movidos por IA generativa, e a transmissão ao vivo de "pessoas digitais" no campo do comércio eletrônico também é apoiada por IA generativa, o que pode levar a diferentes métodos de monetização. No final, a forma do produto C-end determina seu método de realização.
**P: Se os produtos C-end são, em última análise, ferramentas de produtividade, é possível que, em vez de os indivíduos pagarem por eles, a empresa pague por eles? **
Shen Dou: É possível. Por exemplo, o Baidu Netdisk também é uma ferramenta de eficiência.Muitas empresas comprarão contas Netdisk para uso dos funcionários. Também entramos em contato com empresas para atribuir a cada funcionário uma conta Copilot para escrever programas. Todos estes são casos em que as empresas pagam a conta dos indivíduos.
**P: Como empresa de conteúdo, também queremos usar modelos grandes para produzir artigos. Você acaba de lançar a grande plataforma de serviço modelo "Qianfan" da To B. Qual é o pano de fundo do lançamento de "Qianfan"? Como podemos ajudar empresas sem nenhum programador a implantar modelos grandes? **
**Shen Dou:**Esta é uma pergunta muito boa. Na verdade, é por isso que construímos a plataforma Qianfan.
A característica do grande modelo que chega ao lado B desta vez é que as grandes empresas vão primeiro e muitos clientes são instituições financeiras, instituições de energia, instituições educacionais, etc. Eles têm uma característica óbvia de que precisam ser implantados de forma privada, mas o limite é muito alto e eles precisam treinar um grupo de técnicos para iterar o modelo, o que pode retardar o tempo para que o modelo grande entre em vigor.
Pelo contrário, como muitas pequenas e médias empresas, você provavelmente não excluirá um produto SaaS (baseado em plataforma), nem excluirá nuvens públicas. A plataforma Qianfan é um desses produtos. As empresas podem chamar APIs diretamente ou ajustar amostras de treinamento para criar seus próprios modelos quase sem código. **Nosso objetivo do Qianfan é reduzir o limite de implantação de modelos grandes e promover a aplicação generalizada de modelos grandes. **
**P: Parece que você e a OpenAI têm caminhos diferentes. A OpenAI lançou primeiro o produto C-end ChatGPT e, em seguida, lançou lentamente o produto B-end, enquanto o Baidu está avançando tanto o C-end quanto o B-end lado a lado. Por que existe essa diferença? **
**Shen Dou: **Toda tecnologia tem problemas de aceitação e mais usuários devem realmente usá-la e descobrir seu valor. Todo mundo fala sobre modelos grandes, mas quantas pessoas realmente usaram modelos grandes? Os clientes empresariais do lado B estão mais conscientes do impacto potencial dos grandes modelos em todo o seu paradigma de produção e precisam utilizá-los mais.
Mas se eles não usam APIs de nuvem pública nem configuram seu próprio ambiente para experimentar e testar, então eles estão simplesmente imaginando coisas lá. Portanto, precisamos fazer o Qianfan e deixá-los usar o modelo grande primeiro. Na verdade, em relação à abertura total dos modelos grandes, o lado C já espera há muito tempo, e o lado B também espera há muito tempo. Só que o lado B está mais próximo da comercialização.
**P: Depois que Wen Xinyiyan foi lançado, quanto aumentou a demanda pelo lado B da plataforma Qianfan? **
Shen Dou: No dia da inauguração de Wen Xinyiyan, na plataforma de grande modelo Baidu Intelligent Cloud Qianfan, o número de empresas ativas diariamente aumentou mais de 40%. Considerando que a velocidade de resposta do TO B geralmente está atrasada, o real a situação será um pouco melhor.
Abandonar não apenas aumentará os dados do lado C, mas também certamente aumentará os dados do lado B. Porque isso ajudará as empresas B-end a reduzir custos e acelerar as iterações (Nota: é mais barato e mais conveniente usar modelos nacionais).
Mas em termos de crescimento de dados, o lado B não é tão bom quanto o lado C por enquanto. Hoje, suponha que alguém queira usar "Wen Xin Yi Yan" no lado B. Em vez de chamar a API, ele pode muito bem ir para o lado C para experimentá-la primeiro. Quando ele achar que a experiência é boa, ele a usará em Qianfan. Fazer com que o lado B seja usado requer um processo de cultivo.
**P: Se o lado C e o lado B andam de mãos dadas, como você define a prioridade? O foco está principalmente no lado C ou no lado B? **
Shen Ji: Quando há um conflito de recursos, a prioridade precisa ser definida. A característica do modelo grande é que ele possui uma camada muito espessa na parte inferior que é universal, então encontrar aplicações nele, seja para B ou para C, é o que o Baidu quer fazer de mãos dadas. Não há conflito de recursos.
No lado C, o Baidu está pesquisando ativamente formas de produtos e modelos de negócios que possam ser implementados em grandes modelos. O Baidu precisa reconstruir seus produtos C-end com base no modelo grande.Por exemplo, a partir dos próprios dados de produtos do Baidu, Baidu Netdisk, Biblioteca Baidu e outros produtos, após a reconstrução com base no modelo grande, a adesão do usuário e a taxa de pagamento de adesão são muito alto. Melhoria: o recém-construído APP Wenxin Yiyan e a pesquisa Baidu reconstruída também se tornaram novas entradas para aplicações de modelos em grande escala. No lado B, o Baidu Smart Cloud atende bem ao mercado To B, criando a melhor plataforma de modelo em grande escala.
**P: Na verdade, a base mais universal é a computação em nuvem. Quer você atenda clientes internos ou externos, ela é o seu sucesso. **
Shen Dou: Sim, se você atender bem os clientes internos, atenderá bem os clientes externos. Se você atender bem os clientes externos, atenderá bem os clientes internos. Essa é a beleza do MaaS. Caso contrário, supondo que as pilhas de tecnologia externa e interna sejam completamente dois conjuntos, o custo será muito alto.
Andamos sobre duas pernas. O Baidu certamente espera fazer um produto To C de grande sucesso, mas também estamos muito dispostos a apoiar mais empresas e desenvolvedores na criação de bons aplicativos To C por meio do grande modelo subjacente e do poder de computação. Na verdade, não importa quem tenha sucesso acima, é o sucesso do grande modelo subjacente.
02 O grande modelo inicia uma competição brutal e o futuro do modelo de código aberto é preocupante
**P: Além de Wen Xinyiyan, a plataforma Qianfan também lançou outros modelos. Qual é a diferença entre Qianfan e plataformas de agregação de modelos como Hugging Face? **
Shen Dou: Atualmente ou há muito tempo, as empresas esperam experimentar diferentes modelos, seja pela adaptabilidade de cenário do modelo ou pelas necessidades psicológicas dos clientes. Nessa perspectiva, também precisamos fornecer modelos de terceiros.
Mas nem todo modelo vale a pena tentar, e isso seria um enorme desperdício de recursos. Portanto, Qianfan tem seus próprios princípios de triagem, e todos os modelos que apresentamos são modelos relativamente excelentes e fáceis de usar.
**P: Então Hugging Face está posicionado como uma comunidade e Qianfan está posicionado como uma plataforma? **
Shen Ji: Isso mesmo. Qianfan não apenas resolve seu problema de escolha de um modelo, mas também resolve seu problema de realmente usar o modelo. Seu uso inclui uma série de questões como dados, treinamento, ajuste, engenharia e construção de aplicações. Custo e eficiência também devem ser totalmente levados em consideração. Qianfan oferece serviço completo, que é a diferença entre Qianfan e Hugging Face.
O modelo Hugging Face tem amplitude suficiente e, contando com as vantagens naturais dos fornecedores de nuvem, Qianfan tem espaço suficiente para operação e também pode obter treinamento ponta a ponta e otimização do desempenho de inferência. Por exemplo, aceleração no processo de treinamento, rápida percepção, localização e recuperação de falhas; no processo de raciocínio, baseado na escalabilidade do enorme cluster de computação heterogêneo do Baidu, possui elasticidade de recursos muito boa e também pode fornecer serviços sem servidor, permitindo aos clientes para obter custos de infraestrutura de baixo custo, sem operação e manutenção e benefícios de alta escalabilidade. É aqui que Qianfan vai mais fundo do que Hugging Face.
**P: Você parece não estar otimista em relação ao modelo de código aberto, mas o código aberto dilui o custo de implantação de grandes modelos para empresas, portanto, não se pode dizer que não faça sentido. O que exatamente você acha do modelo de código aberto? **
**Shen Dou:**Quem você acha que arcará com o custo do LLaMA (Nota: modelo grande de código aberto do Facebook)? É o Facebook. Quem dividirá o custo do Facebook? **Se você não consegue descobrir o ponto final deste problema, então ele (código aberto) é água sem fonte e uma árvore sem raízes, e problemas eventualmente surgirão um dia. **
Porque isso é diferente do software de código aberto tradicional.No passado, o investimento de uma pessoa em código aberto era o custo de seu próprio tempo. Mas hoje, se quisermos desenvolver um grande modelo de código aberto, o custo das máquinas e dos dados é demasiado elevado.
**P: Você pode usar o amor para gerar eletricidade, mas não pode usar o amor para calcular. **
Shen Dou: Sim, você tem que investir dezenas de milhões nisso em uma rodada de treinamento.
Um pouco semelhante ao jogo tradicional de código aberto de hoje é que todos eles usam código aberto para atrair a atenção dos usuários e, em última análise, esperam escolher outros modelos grandes (código fechado).
**P: É possível ter um relacionamento semelhante entre a Red Hat e a IBM (Nota: Em 2018, a IBM anunciou a aquisição da Red Hat, a maior empresa de código aberto do mundo)? E se empresários ricos como a IBM estiverem dispostos a apoiar o código aberto? Desta forma, o código aberto será apoiado por fundos e dados. **
Shen Ji: O código aberto definitivamente existirá por muito tempo. À medida que os modelos de grande escala recebem cada vez mais atenção, o governo e as empresas podem doar para apoiar a investigação nesta área e promover a educação de todo o mercado. Mas quanto valor isso pode gerar no final? Penso que há uma grande probabilidade de não se tornar mainstream, nem de formar um modelo de negócio de circuito fechado completo.
O desenvolvimento de software tradicional pode formar um ciclo fechado. Por exemplo, se você escrever um trecho de código ou atualizar uma função, poderá fazer check-in rapidamente e os recursos de todo o software de código aberto serão imediatamente aprimorados. Mas depois do lançamento do LLaMA hoje, não importa quantas pessoas o estejam usando, ele não pode ser verificado, os dados não podem ser retornados, o poder de computação não pode ser retornado e a capacidade não pode ser devolvida, portanto, um circuito fechado não pode ser formado .
**P: Muitos grupos de código aberto acreditam que o modelo de código aberto leu trilhões de parâmetros. Embora não seja tão bom quanto o modelo de código fechado, ainda é muito utilizável. Assim como o próprio modelo, embora não seja de pós-graduação 985 e 211, é pelo menos de nível profissional e pode ser utilizado para ajustes mais verticais. **
Shen Dou: O Modelo Básico deve melhorar? Se o Modelo de Fundação atual já é muito bom e não há necessidade de alterá-lo, então não há problema. Mas a situação atual é que o Modelo Básico tem apenas uma pontuação de 60, e temos que nos esforçar para atingir uma pontuação de 90 ou 95.
**P: Por que devemos progredir? O verdadeiro sentimento de muitas empresas é que o GPT3.0 já pode resolver o problema, então qual é o significado do progresso? **
Shen Dou: Esta é uma pergunta muito boa e também a discutimos internamente. Hoje, o Modelo Básico pode resolver grande parte do problema se atingir 60 pontos, mas ainda há uma grande lacuna entre ele e uma solução perfeita. E a exigência da natureza humana é que se você me deixar resolver isso de uma vez, eu nunca o farei em duas vezes.
Hoje, com base em apenas 60 pontos no Modelo Básico, você treinou 85 pontos. Depois disso, o Modelo Básico atingiu 85 pontos, você consegue 95 pontos? Não há limite para o que as pessoas podem buscar nesse sentido.
Este limite continuará definitivamente a ser aumentado. Tomemos como exemplo a pesquisa. Pesquisas feitas há mais de 20 anos podem ser usadas. Então, o que o Google tem feito nos últimos 20 anos? Parece que você terminou, mas não está.
**P: Como você vê o futuro padrão de competição do grande modelo? **
Shen Dou: Existem muitos modelos no mercado hoje, mas acho que muitos deles desaparecerão rapidamente.
A razão pela qual ainda existem muitos modelos é que muitas pessoas não sabem se são bons ou maus. De qualquer forma, ninguém pode experimentar, ninguém pode usar, e a classificação no primeiro teste é bastante alta. Mas à medida que o modelo é liberalizado, os prós e os contras tornam-se mais fáceis de avaliar. Hoje, para quem faz modelos grandes, se você der 30 milhões de problemas e tentar inseri-los, a maioria provavelmente irá falhar.
Isto levará a uma concentração gradual do tráfego, tornando mais fácil para os modelos principais formarem economias de escala, amortizando ainda mais o custo do desenvolvimento do modelo. A lacuna aumentará ainda mais.
**P: Quando começarão as rodadas eliminatórias? **
Shen Dou: É difícil dizer, afinal, pode levar algum tempo para que todos consigam arrecadar o dinheiro. Para as grandes empresas, ainda é acessível queimar, mas também depende do valor da queima. De qualquer forma, algumas empresas têm muitos cenários de aplicativos, então definitivamente não permitirão que ajustem as APIs de modelos grandes de outras pessoas neste momento, então com certeza criarão seu próprio modelo. Bom ou ruim (não importa), pelo menos você não precisa depender do exterior. As grandes empresas continuarão a fabricar modelos por algum tempo.
03 Modelos grandes permitem que os serviços de computação em nuvem avancem em direção à "padronização", e o Baidu Cloud finalmente ganha dinheiro
**P: Os modelos grandes se tornarão a base para todas as aplicações no futuro? Isso criará um ecossistema de desenvolvimento e aplicação completamente diferente? **
Shen Ji: Não há dúvida de que o modelo grande se tornará uma nova era de sistema operacional e se tornará a base de muitos aplicativos.
Durante muito tempo, as pessoas usaram a linguagem como instruções ao lidar com pessoas e máquinas. Mas no passado, as máquinas não entendiam a linguagem natural, então escrevemos um conjunto de linguagens de programação para que elas entendessem. Agora que os grandes modelos entendem a linguagem natural, todo o paradigma de desenvolvimento de aplicações mudou fundamentalmente. O desenvolvimento passa a ser impulsionado pela criatividade e não pela habilidade de código.
Além disso, modelos grandes também possuem a capacidade de conectar sistemas em série. Assim como o surgimento atual de plug-ins, que são componentes que completam independentemente uma determinada capacidade e esperam para serem chamados, modelos grandes podem combinar plug-ins para completar uma tarefa específica. Isto mudará ainda mais o paradigma de desenvolvimento.
**P: Se um modelo grande pode conectar todos os plug-ins para resolver problemas, isso é uma forma disfarçada de interconexão? **
**Shen Dou:**Na verdade, ainda não. Na verdade, esses APPs agora também existem no mesmo celular e no mesmo programa aplicativo, e ainda não realiza a interconexão. No futuro, com base no modelo grande, Meituan e Didi se conectarão, mas ainda não se comunicam.
**P: O problema subjacente não foi resolvido. **
Shen Dou: Sim, a interconexão deve se referir à abertura de dados. Posso acessar seus dados e você pode acessar meus dados. Mas sob a grande base de modelos, estamos dispostos a conversar apenas com o hub, mas nossos plug-ins não se comunicam entre si.
**P: Essa situação de não interconexão fará com que os desenvolvedores não consigam implementar suavemente o agendamento entre recursos? Poderia isto ser um defeito na ecologia de desenvolvimento de modelos em grande escala da China? **
**Shen Ji:**Acho que o principal motivo é que não desistimos e a escala do tráfego não aumentou. Por exemplo, Wenxin Yiyan tem mais de 30 milhões de tráfego de uma só vez, e se o desenvolvedor calcular que 1% pode ser seu, então há 300.000 visitas e ele decidirá fazê-lo.
**P: Na era dos grandes modelos, como o Baidu Cloud define sua posição no ecossistema? Como o mecanismo de benefícios é distribuído? **
Shen Dou: É absolutamente impossível que o Baidu faça isso sozinho. Não é que eu tenha medo de não ser capaz de fazer isso, é que eu absolutamente não serei capaz de fazer isso.
Em primeiro lugar, o plug-in deve ser uma ecologia muito próspera e complementar o grande modelo. Os plug-ins precisam obter tráfego de modelos grandes, e os modelos grandes exigem o suporte de recursos de plug-ins. Assim como hoje, supondo que não haja WeChat ou Douyin no telefone celular, os usuários não poderão usá-lo.
Em segundo lugar, em termos de aplicações para clientes finais, quer se trate de implementação de nuvem privada ou de soluções de nível de plataforma, como Qianfan, é em última análise necessário que os parceiros ecológicos completem o problema de entrega da última milha, como Kingdee, UFIDA, iSoftStone, etc. Eles têm clientes e processos de negócios particularmente familiares, e os requisitos finais serão integrados por eles.
Resumindo, o primeiro é a agregação de capacidades para desenvolver o ecossistema, o segundo são os parceiros que ajudam a fornecer grandes modelos e o terceiro são os clientes que utilizam grandes modelos para fortalecer os seus próprios serviços. Todos estes são ecossistemas.
**P: Que mudanças o paradigma técnico dos grandes modelos trouxe para a computação em nuvem? **
**Shen Dou:**A tendência de desenvolvimento tecnológico está cada vez mais avançada. Ou seja, estamos cada vez mais distantes da camada inferior, há cada vez menos necessidade de prestar atenção aos detalhes, as embalagens estão cada vez melhores e há um grande número de pessoas fazendo esse trabalho nos bastidores. . Este por si só é também o valor contribuído pela nuvem.
O valor contribuído pela nuvem de CPU inicial é que os clientes não precisam comprar suas próprias máquinas e agrupá-las com cartões, uma por uma. Ela é cada vez melhor embalada e pode ser usada diretamente nela. Com o advento da era dos modelos grandes, a GPU "chip de aceleração AI" tornou-se gradualmente o centro do poder computacional, e a taxa de crescimento do poder computacional excede em muito a da CPU. Isso acelerará nossa mudança da nuvem de CPU para a nuvem de GPU.
Na era da nuvem GPU, eventualmente encapsularemos ainda mais os recursos da nuvem para evitar que a camada inferior seja exposta, formar uma forma interativa mais avançada e nos conectar diretamente à API do modelo grande. A nuvem de hoje ainda é desenvolvida para engenheiros e a forma de interação não é suficientemente completa, mas no futuro haverá menos engenheiros na base e mais pessoas irão para o nível superior. Esta é uma mudança drástica.
Baidu Smart Cloud | Fonte da imagem: Visual China
**P: O grande modelo remodelará a estrutura de mercado da computação em nuvem? Se sim, quando posso ver o sinal? **
Shen Ji: Gosto dessa pergunta. Sem modelos grandes, a nuvem do Baidu seria muito difícil de operar. Temos gritado "profundamente na indústria, foco na cena, integração de nuvem e inteligência e inclusão de IA" no passado.O que o Baidu Smart Cloud quer fazer é colocar IA em todo o serviço To B e torná-lo um ponto de crescimento.
**Mas no passado, a IA tradicional era muito fragmentada. Ele precisa gerar uma capacidade para um problema e então resolver esse problema, que tem pouca versatilidade. Como resultado, é um sistema de projetos difícil de escalar e com baixo lucro bruto. **
Depois que a IA generativa foi lançada, vimos que ela tem uma versatilidade muito boa e pode resolver muitos problemas de uma vez. É basicamente unificada da camada de aplicação para baixo. Mesmo que sejam necessários ajustes finos e plug-ins, todas são ações padronizadas . Isso é completamente diferente dos aplicativos de IA muito fragmentados anteriores. Isto por si só é uma grande mudança no negócio da nuvem, e o chamado IaaS tornou-se MaaS.
**P: No passado, as empresas de IA na China sempre tinham que realizar projetos, o que era muito difícil. É impossível resolver problemas através de produtos padronizados como agora. **
Shen Dou: Discutimos a estratégia de nuvem com Robin (Nota: Robin Li, fundador, presidente e CEO do Baidu), e ele também nos pediu para padronizar e escalar, caso contrário, o Baidu não será capaz de refletir o Baidu como uma tecnologia empresa.valor.
**P: Então o próximo longo prazo será a padronização e a escala? **
**Shen Dou:**Os modelos grandes apresentavam grande incerteza no início. Hoje, muitos clientes ainda não têm uma compreensão unificada dos limites de capacidade, limites, custos, entrega e métodos de demanda dos modelos grandes. Em um curto período de tempo, não podemos garantir que todos os clientes migrarão para a nuvem pública, devemos primeiro fazê-lo através de um sistema de projeto.
Mas mesmo este sistema de projetos é diferente do sistema de projetos anterior. Por exemplo, tenho um modelo de implantação privatizado para você. É mais parecido com o Windows ou o Office. Primeiro, a versão 95, depois a versão 97 e depois a versão 2000. Você precisa continuar atualizando. Parece que te dei um CD para colocar em casa, mas na verdade você tem que assinar continuamente. Esta não é a mesma da construção original.
**P: Mas suas finanças melhoraram. No primeiro trimestre deste ano, o Baidu Smart Cloud obteve rentabilidade trimestral pela primeira vez. Você mencionou que o motivo foi a padronização dos serviços em nuvem, que permitiu a reutilização em grande escala e a redução de custos. **
**Shen Dou:**Sim. No caso de um sistema de projeto puro ou de uma proporção relativamente alta de sistema de projeto, o lucro bruto após a entrega é muito baixo.
04 Depois de assumir o comando do Baidu Cloud por mais de um ano, temos a melhor oportunidade
**P: Como membro do mais alto nível de tomada de decisão do Baidu, com o que você está mais preocupado e ansioso? Qual é o assunto mais discutido com a equipe? **
**Shen Ji: Em termos de forma do produto, Robin exige que todos os produtos sejam reconstruídos com o pensamento nativo da IA. É refatoração, não acesso. **
Tecnicamente, estamos pensando em quão maiores podem ser as capacidades da IA generativa de hoje. Os resultados da avaliação atual de Wen Xinyiyan não são ruins, mas estão longe do limite superior da linguagem humana ou da excelente compreensão da linguagem humana. Como podemos continuar a melhorar rapidamente esta capacidade é definitivamente a primeira questão que pensamos.
Depois, há a aplicação na indústria, como o modelo pode ser realmente usado, em quais cenários ele pode ser usado, quão alto é o limite, quão amplo é o limite, como melhorar sua eficiência, como inspirar todos a pensarem em melhores usos. ... Isso é algo em que temos que continuar pensando.
**P: Estas são camadas relativamente macias. E as camadas mais duras? **
Shen Dou: Hoje em dia, os clusters de poder de computação aumentaram de 1.000 cartões para 10.000 cartões. A Baidu é a única empresa na China que pode realmente executar uma única tarefa no nível de 10.000 cartões.
No cluster Wanka, organização, eficiência e garantia são as verdadeiras tarefas de nível inferior que são invisíveis para todos, mas são extremamente importantes. Por exemplo, precisamos melhorar a eficiência do treinamento e da inferência do hardware subjacente e a integração de software e hardware. Todas essas coisas são cruciais.
**P: Você é responsável pelos negócios de pesquisa e publicidade no Baidu há muitos anos. Somente no ano passado você assumiu o comando da nuvem inteligente. Você encontrou imediatamente a oportunidade histórica dos grandes modelos. Você acha que é uma bênção? Como você está se sentindo? **
Shen Ji: Não é tão exagerado, mas estou muito animado e sortudo por poder fazer uma coisa dessas.
Quando assumi no ano passado, tive a ideia de escalar e padronizar (serviços em nuvem). Mas como as capacidades de IA estão demasiado fragmentadas, é muito difícil fazê-lo. **Naquela época, eu estava pensando muito, existe algo que exija recursos de IA e poder de computação de IA e possa ser usado por muitas pessoas ao mesmo tempo? Faz muito tempo que não consigo encontrar. **
Então, apareceu o grande modelo. Pareceu certo imediatamente.
Shen Dou, vice-presidente executivo do Baidu Group e presidente do Baidu Intelligent Cloud Business Group (ACG) | Fonte da imagem: Baidu
**P: Você estudou inteligência artificial pessoalmente. Modelos grandes são mais adequados para você? **
Shen Ji: Isso é muito semelhante ao que meus alunos de pós-graduação fazem. Embora eu tenha estudado computadores, tenho feito mais software e tenho feito inteligência artificial.
Depois de receber a nuvem (hardware de nível inferior) naquela época, realmente li novamente os livros sobre sistema operacional e princípios de composição de computadores. Se for realmente um conjunto de IaaS, componentes de rede, armazenamento e computação na era da CPU, acho que ainda é um pouco difícil.
Mas depois que o grande modelo foi lançado, descobri que essas coisas estavam encapsuladas abaixo: agora posso estudar principalmente o grande modelo, como ler artigos, usar Python para chamar a API no Qianfan, etc. Eu me sinto muito mais fácil.
**P: A seguir, quais são suas expectativas para o desenvolvimento e a taxa de crescimento do Baidu Smart Cloud? **
**Shen Dou:**Baidu Smart Cloud está agora perto de 20 bilhões de yuans, o que ainda é relativamente pequeno. Com o apoio de modelos grandes, a demanda de nossos clientes tornou-se muito forte e agora estamos sobrecarregados. No entanto, ainda existe um processo necessário para realmente permitir que os usuários o utilizem e o entreguem bem.
**P: Haverá um pequeno surto no quarto trimestre? **
**Shen Ji:**Algumas pessoas estimam que haverá um surto no quarto trimestre. A procura começou efectivamente a aumentar, mas penso que poderá demorar até ao próximo ano para explodir.
**P: Como você avalia sua sorte? **
Shen Ji: Acho que essa é a sorte do Baidu. O Baidu vem fazendo IA há tantos anos e se esforçando muito. Se o grande modelo não vier, o caminho de comercialização da nuvem será realmente mais difícil e difícil. Isso só mostra que as empresas com Visão não terão muita sorte no final.