Reshard Collective remplace la séquence sérialisée de remise à l'échelle des poids par un flux parallèle. Le modèle de politique n'est mis à jour que sur les GPU d'entraînement. L'inférence s'effectue sur des GPU distincts.

Pendant le processus, les trajectoires d'entraînement sont générées dynamiquement tandis que l'inférence s'exécute avec le modèle de politique actuel. Cela réduit le temps d'attente entre les itérations et améliore l'efficacité de l'entraînement. Le système doit mettre à jour les poids périodiquement afin de maintenir la cohérence entre les modèles. Cette approche repose sur une architecture désagrégée avec des GPU distincts, ce qui nécessite une infrastructure spécifique pour fonctionner. Pour les développeurs qui cherchent à optimiser la remise à l'échelle des poids, Reshard Collective offre une alternative au flux sérialisé traditionnel, avec plus de flexibilité et de performances.

Une matrice de poids de 8 par 8 est répartie par lignes sur deux GPU d'entraînement et par colonnes sur quatre GPU d'inférence. Chaque GPU d'inférence
Image : developer.nvidia.com

Reshard Collective génère des trajectoires en temps réel pendant l'inférence

Reshard Collective utilise une architecture désagrégée avec des GPU séparés et exige que le système mette à jour les poids périodiquement. Cette mise à jour périodique est essentielle pour maintenir la cohérence entre le modèle d'inférence et le modèle d'entraînement. Cela permet au modèle d'apprendre à partir de données en temps réel, sans avoir à attendre une nouvelle mise à jour complète. Cette approche peut décevoir ceux qui cherchent à simplifier l'architecture du système, car elle exige une configuration spécifique avec plusieurs GPU.

Schéma montrant quatre GPU d'entraînement détenant des fragments en colonnes d'un tenseur et quatre GPU d'inférence recevant chacun un tenseur complet
Image : developer.nvidia.com

Reshard Collective apparaît comme une approche innovante pour accélérer la remise à l'échelle des poids dans l'apprentissage par renforcement, en permettant à l'inférence et à l'entraînement de se dérouler simultanément sur des GPU distincts. L'idée est de remplacer la séquence sérialisée de mises à jour par un flux parallèle, ce qui peut réduire le temps de réponse et améliorer l'efficacité du processus. Reshard Collective s'inscrit dans une tendance plus large d'optimisation des algorithmes d'apprentissage par renforcement, qui cherche à concilier précision et vitesse d'exécution.

Reshard Collective accélère la remise à l'échelle des poids grâce à la parallélisation

Au lieu d'attendre que les données soient traitées l'une après l'autre, le système répartit la tâche entre les GPU. Cela permet à l'inférence et à l'entraînement de se dérouler en même temps. Cette répartition du travail réduit la surcharge de communication entre les composants du système. Reshard Collective est une approche innovante.

Avec des informations de developer.nvidia.com.

Sources

  1. Accelerating reinforcement learning weight refit with the reshard collectivedeveloper.nvidia.com
  2. Accelerating reinLforcement learning weight refit with the reshard collectivedeveloper.nvidia.com
  3. Simple linear regression using rmse as cost functionmedium.com
  4. Linear regression and logistic regression in machine learning a complete beginner friendly guidemedium.com

Texte rédigé avec l'IA à partir des sources citées et vérifié par les règles automatiques de la rédaction. Notre méthode

Envie de voir resumer en premier dans les recherches Google ?

Ajouter aux sources préférées de Google