Conform Go4IT: ByteDance, gigantul tehnologic din spatele TikTok, pregătește un model de inteligență artificială (IA) de anvergură impresionantă, vizând direct competiția cu cele mai avansate creații ale companiilor precum Anthropic. Potrivit unei informații publicate de Financial Times, care citează surse apropiate subiectului, compania-mamă a TikTok a demarat deja pre-antrenarea unui nou model de IA cu nu mai puțin de 10 trilioane de parametri.
Ambiții colosale pe piața de IA
Această cifră plasează noul proiect ByteDance într-o poziție de forță pe piața globală de IA. Pentru context, un trilion înseamnă o mie de miliarde. Modelul ar fi, astfel, de aproximativ trei ori mai mare decât Kimi K3 al companiei chineze Moonshot AI, care deținea până acum recordul celui mai mare model chinezesc de IA, cu 2,8 trilioane de parametri. Parametrii unui model de IA reprezintă, în esență, „butoanele de reglaj” interne pe care programul le ajustează în timpul antrenamentului pentru a procesa datele de intrare și a genera rezultate precise. Un număr mai mare de parametri sugerează o capacitate de procesare mai complexă și o gândire artificială mai nuanțată.
Procesul de pre-antrenare pentru un astfel de model durează, în mod obișnuit, între 3 și 6 luni, urmând ca ulterior acesta să fie supus unei perioade de ajustare fină înainte de lansarea oficială. Deși Anthropic nu dezvăluie public dimensiunea exactă a modelelor sale, estimările industriei plasează modelul lor de vârf, Mythos 5, în jur de 8 trilioane de parametri, iar Fable 5 la aproximativ 5 trilioane. Totuși, numărul de parametri este doar un indicator; calitatea datelor de antrenament și metodele folosite joacă un rol crucial în performanța reală.
Competiție acerbă între laboratoarele de IA
Eforturile ByteDance de a dezvolta unul dintre cele mai mari modele de IA din lume subliniază ambiția laboratoarelor de inteligență artificială din China de a nu doar recupera decalajul față de omologii americani, ci de a-i depăși pe aceștia în cele mai avansate domenii. În ultimele săptămâni, modele dezvoltate de Moonshot și Alibaba au demonstrat deja performanțe notabile în diverse teste de referință, apropiindu-se de nivelul modelului Fable 5 al Anthropic. Modelul Mythos 5, cel mai performant al Anthropic, este în prezent disponibil doar pentru organizațiile aprobate, în urma unei interdicții temporare impuse din motive de securitate.
Spre deosebire de multe companii chineze de IA care optează pentru modele open-source, ByteDance adoptă o strategie de dezvoltare închisă și își extinde agresiv infrastructura dedicată inteligenței artificiale. Modelul său „Seedance” este deja recunoscut ca fiind unul dintre cele mai avansate la nivel mondial în generarea de conținut video, iar „Doubao”, o platformă orientată către publicul larg, a devenit cel mai popular model de IA din China, numărând 324 de milioane de utilizatori lunar.
Independență tehnologică și provocări în dezvoltare
ByteDance a transmis recent echipei sale instrucțiuni clare de a evita metodele de „distilare” bazate pe modele dezvoltate de alte companii de IA. Această decizie reflectă angajamentul ferm al companiei de a-și construi propriile modele, fără a se baza pe tehnologii străine. Această abordare, deși pune accent pe independența tehnologică, ar fi putut, conform unor analiști, să încetinească progresul în comparație cu concurenții care se bucură de acces la diverse tehnologii. Distilarea modelului este un proces prin care un model mare și complex este comprimat într-unul mai mic și mai rapid, prin transferul de cunoștințe de la modelul „profesor” la cel „elev”.
Echipa Seed, responsabilă de dezvoltarea modelelor IA la ByteDance și condusă de fostul cercetător Google DeepMind, Wu Yonghui, numără aproximativ 2.000 de membri la nivel global. Aceasta include cercetători de bază, ingineri de infrastructură, personal pentru etichetarea datelor și traducători. Fondatorul ByteDance, Zhang Yiming, a încurajat angajații să se concentreze pe atingerea unor „capacități de model de clasă mondială” pe termen lung, minimizând importanța eventualelor eșecuri pe termen scurt.
Sursa: Go4IT
