Plateformes de données avec sécurité et gouvernance intégrées

Plateformes de données et analytique, c'est collecter, stocker et présenter les données opérationnelles sur une plateforme cloud pour que les analystes et les ingénieurs répondent aux questions à partir d'un jeu de données maintenu plutôt que d'un export ponctuel. SEYA Group conçoit et construit cette plateforme pour les sources que vous nommez, et met en place le reporting qui s'appuie dessus.

À qui s'adresse ce service

Aux CIO et CTO dont l'équipe de direction obtient trois chiffres différents pour le même indicateur selon qui a lancé la requête. Aux responsables informatiques propriétaires d'un entrepôt de données qui ne peut pas accueillir une nouvelle source sans un long projet. Aux responsables données et analytique dont les analystes passent la semaine à assembler des exports. Aux architectes solutions à qui l'on a demandé de mettre une plateforme de données dans le cloud et qui ont besoin d'une conception que l'équipe actuelle peut exploiter.

Si vos modèles existent déjà et que le problème est de les entraîner et de les mettre en production de façon répétable, c'est du MLOps. Cette page concerne la plateforme sous-jacente.

Les problèmes que nous résolvons

• Des données détenues dans des systèmes distincts, sans lieu convenu où elles se rejoignent.
• Un entrepôt ou un ensemble de bases de données applicatives qui ne peut pas répondre aux questions que le métier se pose aujourd'hui.
• Des décisions prises à partir de feuilles de calcul exportées le trimestre dernier.
• Des rapports auxquels personne ne fait confiance parce qu'une seule personne les recharge à la main.
• Des accès soit grands ouverts, soit si verrouillés que les analystes les contournent.

Ce que vous obtenez

• Stratégie de données. Une recommandation des services de plateforme et des outils adaptés aux sources du périmètre, des questions auxquelles la plateforme doit répondre et de l'ordre dans lequel les sources doivent être intégrées. Votre équipe garde le choix.
• Construction de la plateforme. Pipelines d'ingestion, stockage et modèle d'accès pour ces sources, construits sous forme de code sur la plateforme cloud que vous choisissez, avec un chemin de streaming lorsqu'une source et un consommateur nommés en ont besoin.
• Modèle de données et contrôles de qualité. Des définitions convenues pour les mesures qui comptent, et des contrôles dans le pipeline qui interceptent les chargements défectueux avant qu'ils n'atteignent un rapport.
• Reporting et visualisation. Tableaux de bord ou rapports sur les jeux de données que la plateforme héberge, orientés vers les décisions que vous nommez.
• Analyse et modèles. L'analyse de ces jeux de données et, lorsque le brief le demande, un premier modèle d'apprentissage automatique, avec le passage à un chemin de mise en production répétable cadré dans le MLOps.

Déroulement d'une mission

• Appel de cadrage. Vous décrivez les sources, les questions auxquelles personne ne peut répondre aujourd'hui et qui exploitera la plateforme.
• Découverte. Nous passons en revue les systèmes sources, le reporting actuel et les règles d'accès avec le responsable de chacun, et convenons du premier ensemble de sources et de mesures.
• Conception et première construction. La conception de la plateforme est revue avec vos ingénieurs et vos responsables sécurité, puis les premières sources et les premiers rapports sont construits de bout en bout.
• Extension et passation. Les sources suivantes suivent le même schéma, et votre équipe reprend les pipelines, avec des runbooks pour les chargements et le modèle d'accès.

Périmètre technique

Les plateformes sont construites sur AWS, Microsoft Azure ou Google Cloud, en utilisant les services managés de stockage, d'entrepôt et de pipeline de cette plateforme lorsqu'ils conviennent, et des outils open source lorsqu'ils conviennent mieux. L'infrastructure est définie sous forme de code, en Terraform lorsque votre équipe l'utilise, pour que les environnements puissent être reconstruits. Le reporting s'appuie, dans la mesure du possible, sur l'outil de visualisation dont votre organisation détient déjà la licence, pour que les analystes n'aient pas à en apprendre un nouveau.

Ce dont vous avez besoin au départ

Des responsables pour chaque système source, capables d'accorder l'accès et d'expliquer les données ; une décision sur le cloud qui hébergera la plateforme (ou la volonté de prendre cette décision pendant la découverte) ; et des ingénieurs ou des analystes qui reprendront la plateforme. Lorsqu'aucune fondation cloud n'existe encore, le travail de landing zone de plateforme cloud et migration vient en premier.

Hors périmètre ici : les sources au-delà de la liste convenue, qui font l'objet d'un brief supplémentaire ; l'entraînement et la mise en production de modèles sur un pipeline récurrent, ce qui relève du MLOps ; et l'analyse de sécurité du pipeline, ce qui relève de sécurité et DevSecOps. Lorsque le travail consiste à construire le produit de données, notre société sœur Mars Innovation Technology prend en charge cette construction. Le périmètre de SEYA sur cette page, ce sont les accès, la qualité et la sécurité de la plateforme.

Réalisations associées

• Parcourir les études de cas SEYA : fondations cloud, migration et pipelines de livraison

Questions fréquentes

Avons-nous besoin d'un lac de données, d'un entrepôt, ou des deux ?

Cela dépend des sources et des questions. La découverte recommande une forme de stockage pour le premier ensemble de sources et explique ce qui changerait la recommandation à mesure que d'autres s'ajoutent.

À qui appartiennent la plateforme et les données ?

À vous. La plateforme tourne dans votre compte cloud, le code des pipelines vit dans vos dépôts, et les données ne transitent jamais par les systèmes de SEYA.

Comment travaillez-vous avec nos analystes et nos ingénieurs ?

Ils font partie de la construction. Les analystes définissent les mesures et testent les rapports ; les ingénieurs travaillent en binôme sur les pipelines pour pouvoir les étendre après la passation.

Au bout de combien de temps verrons-nous le premier rapport ?

La première construction est cadrée sur un petit ensemble de sources pour qu'un rapport fonctionnel apparaisse tôt et que le schéma puisse être vérifié. Ce « tôt » dépend de la propreté et de l'accessibilité de ces sources, ce que la découverte vous indique.

Pouvez-vous travailler avec les données que nous avons sur site ?

Oui. Les sources peuvent rester où elles sont et alimenter la plateforme via des connexions sécurisées, ou migrer dans le cadre d'une migration plus large. La stratégie précise laquelle des deux options s'applique.

Si votre organisation a besoin d'un lieu unique et fiable pour interroger ses données, réservez un appel de cadrage sur la plateforme de données et venez avec la question à laquelle personne ne peut répondre aujourd'hui.