Faire évoluer l'IA avec FinOps et une infrastructure plus intelligente

Alors que les organisations s'efforcent d'intégrer l'intelligence artificielle dans leurs opérations, nombre d'entre elles constatent que le plus grand obstacle n'est pas la conception du modèle, mais l'infrastructure.

Les charges de travail de formation et d'inférence nécessitent du matériel spécialisé, un réseau à large bande passante et une gouvernance qui s'étend sur plusieurs nuages. Sans discipline, les coûts augmentent, la capacité devient imprévisible et les projets perdent leur crédibilité auprès des parties prenantes.

La nouvelle économie de l'IA

Les dirigeants se posent de plus en plus souvent trois questions : Pourquoi les coûts de l'UGP sont-ils si imprévisibles ? Comment les budgets doivent-ils prendre en compte la formation par rapport à l'inférence ? Et quelles structures de gouvernance peuvent gérer la complexité multi-cloud et les exigences réglementaires ?

Ces défis découlent de changements fondamentaux dans l'économie de l'informatique dématérialisée :

• Rareté et coût des GPU. La demande d'accélérateurs de la part des entreprises a explosé, ce qui a fait grimper les prix. Le surprovisionnement fait perdre des millions, tandis que le sous-provisionnement risque d'interrompre des projets critiques.

   

• Formation ou inférence. La formation nécessite de grandes quantités de calcul sur une période limitée, tandis que les charges de travail d'inférence sont continues et sensibles à la latence. Chaque phase introduit une dynamique unique en termes de coûts et de performances.

   

• Gravité des données. Le déplacement d'importants ensembles de données de formation entre fournisseurs ou entre pays entraîne des frais généraux et des risques de non-conformité.

   

• Demande de pointe. L'expérimentation de l'IA produit souvent des pics de charge de travail irréguliers que les modèles de budgétisation traditionnels ne peuvent pas prendre en compte.

   

Pour de nombreuses entreprises, ces facteurs se combinent pour créer des coûts imprévisibles et des inefficacités opérationnelles qui compromettent l'adoption de l'IA.

Les entreprises qui adoptent FinOps pour l'IA ont besoin de personnes qui comprennent à la fois l'orchestration technique et la responsabilité financière. Le groupe Tenth Revolution vous aide à embaucher des professionnels avec cette rare combinaison de compétences.

La réponse FinOps

FinOps a longtemps consisté à réunir la finance, l'ingénierie et les opérations pour créer de la responsabilité. À l'ère de l'IA, la discipline évolue pour répondre à de nouvelles demandes :

• Stratégies de répartition de la charge de travail qui évaluent les options de nuage public, de nuage souverain et sur site pour les charges de travail sensibles.

   

• Attribution des coûts et rétrofacturation de sorte que l'utilisation du GPU soit suivie par équipe, par modèle ou par produit, ce qui permet de relier les dépenses à la valeur de l'entreprise.

   

• Mesures de durabilité alors que les régulateurs et les investisseurs se concentrent sur la consommation d'énergie et les rapports sur le carbone.

   

• Sécurité et souveraineté à dessein pour satisfaire aux règles de résidence sans sacrifier les performances.

   

Les entreprises qui adoptent ces pratiques peuvent aligner les décisions relatives à l'infrastructure d'IA sur la stratégie de l'entreprise au lieu de les considérer comme des choix purement techniques.

Mesures pratiques pour les dirigeants

Les dirigeants qui veulent éviter que les projets d'IA ne soient bloqués doivent intégrer la discipline en matière d'infrastructure dans leur planification stratégique. Les actions clés sont les suivantes :

1. Créer une couche d'observabilité des coûts de l'IA. Allez au-delà des tableaux de bord de facturation et reliez directement les dépenses aux charges de travail et aux résultats.

    

2. Adopter une gouvernance multi-cloud. Établir des politiques claires pour le placement de la charge de travail, la sortie des données et la redondance.

    

3. Repenser la construction par rapport à l'achat. Décidez quand vous devez vous appuyer sur des GPU loués pour plus d'agilité et quand des clusters privés offrent la souveraineté et le contrôle des coûts.

    

4. Aligner les incitations entre les équipes. Créer un conseil FinOps qui concilie le besoin de rapidité des data scientists avec le besoin de prévisibilité de la finance et le rôle de contrôle de la conformité.

    

5. Planifier la préparation à la réglementation. Intégrer la souveraineté et l'auditabilité dans l'architecture afin de se préparer à la loi européenne sur l'IA, à la loi sur les services numériques et aux nouvelles lois américaines.

Si l'infrastructure est devenue le véritable goulot d'étranglement de la mise à l'échelle de l'IA, Le groupe Tenth Revolution peut fournir les experts FinOps et cloud. qui transforment le contrôle des coûts en avantage concurrentiel.

Exemples sur le terrain

Cette approche donne déjà des résultats dans plusieurs secteurs d'activité.

• Services financiers Les entreprises utilisent des cadres FinOps pour gérer les coûts des GPU pour la détection des fraudes tout en répondant aux exigences d'audit.

   

• Soins de santé s'appuient sur des grappes de nuages souverains pour protéger les données des patients tout en permettant des diagnostics évolutifs.

   

• Commerce de détail et logistique Les organisations utilisent FinOps pour contrôler les pics saisonniers dans les prévisions de la demande alimentées par l'IA.

   

Ces exemples montrent comment la gouvernance financière favorise l'innovation en assurant la prévisibilité et le contrôle.

De la maîtrise des coûts à l'avantage concurrentiel

Certains considèrent encore les FinOps comme un mécanisme de contrôle des coûts. En réalité, il s'agit d'un catalyseur stratégique. Une infrastructure d'IA efficace accélère l'expérimentation, réduit les obstacles à la mise à l'échelle géographique et renforce la résilience face aux perturbations de la réglementation ou de la chaîne d'approvisionnement.

Les entreprises qui seront en tête ne seront pas nécessairement celles qui possèdent les plus grandes grappes de GPU, mais celles qui gèrent leurs ressources avec le plus d'intelligence et de prévoyance.