NVIDIA remplace la logique de traitement des UDF dans Spark par une architecture qui intègre GPU et agents d'IA. La nouvelle approche réduit la latence et améliore le débit dans les applications distribuées. La solution dépend d'une infrastructure compatible avec PCIe 5.0.

NVIDIA présente une solution pour accélérer les UDF de Spark avec des GPU et des agents d'IA. L'entreprise développe également des solutions pour accélérer les processus de données avec des GPU et des agents d'IA, en réponse à la demande croissante d'efficacité et de performance dans les applications d'entreprise. Intel, de son côté, lance le D270, un GPU d'inférence optimisé pour la nouvelle ère de l'IA agentique.

gen-test génère et valide la couverture de tests ; convert-to-{x} implémente et vérifie une réécriture pour GPU ; benchmark compare le CPU
Image : developer.nvidia.com

Le D27, qui offre jusqu'à 480 Go de mémoire LPDDR5X, 350 W de puissance, 32 cœurs Xᵉ3P et 256 moteurs XMX, prend en charge la version de GPT-6 Astra Ultrafast, disponible dans l'API d'OpenAI et pour les utilisateurs éligibles de ChatGPT Work et de Codex. Cette version offre une génération de tokens jusqu'à 8 fois plus rapide que le mode Astra Standard. L'infrastructure d'IA de NVIDIA aide OpenAI à fournir des réponses plus utiles. La solution a été dévoilée par NVIDIA et Intel, ce qui montre l'importance du secteur dans les environnements de production et SaaS.

La nouvelle approche réduit la complexité de la gestion des données et des réseaux, libérant davantage de ressources pour la logique de traitement des UDF. L'intégration avec la plateforme NVIDIA élargit également les possibilités de mise à l'échelle et d'optimisation dans les environnements distribués. NVIDIA et Intel redéfinissent la manière dont les applications d'IA et de traitement de données gèrent les réseaux et les mouvements de données. NVIDIA présente une nouvelle approche pour accélérer les UDF de Spark à l'aide de GPU et d'agents d'IA, en intégrant la technologie cuDF et DOCA GPUNetIO. DOCA GPUNetIO permet aux applications GPU de gérer le réseau et les mouvements de données comme des opérations de première classe, avec prise en charge de l'infrastructure existante via PCIe 5.0.

Benchmark avant/après pour 16 To de données en entrée, 17,4 To en sortie et 600 milliards de lignes. Le temps d'opérateur passe de 274,55 h
Image : developer.nvidia.com

Intel, de son côté, lance un GPU optimisé pour l'IA agentique, comme le D270, qui prend en charge jusqu'à 480 Go de mémoire LPDDR5X et est conçu pour gérer des contextes longs et des workflows complexes. Intel se positionne également dans le secteur avec un nouveau GPU capable de faire passer l'IA agentique à l'échelle de milliers d'étapes et de sessions simultanées. Philippe Tillet, responsable de l'inférence chez OpenAI, affirme que la solution gagne en rapidité pour écrire du code et travailler avec des outils complexes. La collaboration entre les entreprises optimise l'infrastructure d'inférence pour l'IA agentique.

NVIDIA remplace la logique de traitement des UDF dans Spark par une architecture qui intègre GPU et agents d'IA. La technologie cuDF permet aux applications d'entreprise de traiter davantage de données par seconde, réduisant le temps de traitement dans les tâches de transformation massive. La solution a été présentée par NVIDIA et Intel et est disponible via l'OpenAI API et ChatGPT Work et Codex. La disponibilité au Brésil n'a pas été confirmée.

Sources

  1. Rewrite apache spark udfs gpu acceleration ai agentsdeveloper.nvidia.com
  2. Doca gpunetio gda ki unified gpu networkingdeveloper.nvidia.com
  3. Gpus openai gpt 6 astra ultrafastblogs.nvidia.com
  4. intel.com

Texte rédigé avec l'IA à partir des sources citées et vérifié par les règles automatiques de la rédaction. Notre méthode

Envie de voir resumer en premier dans les recherches Google ?

Ajouter aux sources préférées de Google