פלטפורמות נתונים עם אבטחה וממשל מובנים

פלטפורמות נתונים ואנליטיקה הן העבודה של איסוף, אחסון והצגה של נתונים תפעוליים בפלטפורמת ענן, כדי שאנליסטים ומהנדסים יוכלו לענות על שאלות על בסיס מערך נתונים מתוחזק במקום ייצוא חד-פעמי. SEYA Group מתכננת ובונה את הפלטפורמה הזו למקורות שאתם מגדירים, ומקימה את שכבת הדיווח שמעליה.

למי זה מיועד

מנהלי מערכות מידע (CIO) ומנהלי טכנולוגיות (CTO) שצוות ההנהלה שלהם מקבל שלושה מספרים שונים לאותו מדד, תלוי מי הריץ את השאילתה. מנהלי IT שאחראים למחסן נתונים שלא יכול לקלוט מקור חדש בלי פרויקט ארוך. מובילי נתונים ואנליטיקה שבשבוע האנליסטים שלהם רצים בין ייצואים שצריך לחבר. ארכיטקטים פותרי בעיות שנדרשו להעלות פלטפורמת נתונים לענן ונזקקים לתכנון שהצוות הנוכחי יוכל להפעיל.

אם המודלים שלכם כבר קיימים והבעיה היא להכשיר אותם ולשחרר אותם באופן חוזר, זה MLOps. הדף הזה עוסק בפלטפורמה שמתחת.

בעיות שאנחנו פותרים

• נתונים מפוזרים במערכות נפרדות, בלי מקום מוסכם שבו הם נפגשים.
• מחסן נתונים או סך מסדי יישום שלא עומדים בשאלות שהעסק שואל עכשיו.
• החלטות שנשענות על גיליונות אלקטרוניים שיוצאו ברבעון שעבר.
• דוחות שאין מאמינים להם כי מישהו טוען אותם מחדש ידנית.
• גישה שפתוחה לגמרי או נעולה מדי כך שהאנליסטים עוקפים אותה.

מה תקבלו

• אסטרטגיית נתונים. המלצה אילו שירותי פלטפורמה וכלים מתאימים למקורות בתחום, אילו שאלות הפלטפורמה אמורה לענות עליהן ובאיזה סדר להעלות מקורות. הבחירה נשארת אצל הצוות שלכם.
• בניית פלטפורמה. Pipeline קליטה, אחסון ומודל גישה לאותם מקורות, כקוד על פלטפורמת הענן שתבחרו, עם מסלול סטרימינג במקום שמקור וצרכן מוגדרים זקוקים לכך.
• מודל נתונים ובדיקות איכות. הגדרות מוסכמות למדדים החשובים, ובדיקות ב-Pipeline שתופסות טעינות שבורות לפני שהן מגיעות לדוח.
• דיווח וויזואליזציה. לוחות בקרה או דוחות על מערכי הנתונים שהפלטפורמה מחזיקה, ממוקדים בהחלטות שאתם מגדירים.
• ניתוח ומודלים. ניתוח של אותם מערכי נתונים וכאשר התקציר מבקש זאת, מודל למידת מכונה ראשון, עם מסירה למסלול שחרור חוזר שמוגדר תחת MLOps.

איך הפרויקט מתנהל

• שיחת תיחום. אתם מתארים את המקורות, את השאלות שאיש לא יכול לענות עליהן היום ומי יפעיל את הפלטפורמה.
• גילוי. אנחנו סוקרים את מערכות המקור, את הדיווח הנוכחי ואת כללי הגישה עם בעלי הנושא של כל אחד מהם, ומסכימים על סט המקורות והמדדים הראשון.
• תכנון ובנייה ראשונה. תכנון הפלטפורמה נבדק עם המהנדסים ובעלי האבטחה שלכם, ואז נבנים מקורות ודוחות ראשונים מקצה לקצה.
• הרחבה ומסירה. מקורות נוספים עוקבים אחרי אותו דפוס הפעלה, והצוות שלכם נוטל את ה-Pipeline, עם ספרי ריצה לטעינות ולמודל הגישה.

היקף טכני

הפלטפורמות נבנות על AWS, Microsoft Azure או Google Cloud, תוך שימוש בשירותי אחסון, מחסן נתונים ו-Pipeline המנוהלים של אותה פלטפורמה כשהם מתאימים, ובכלים בקוד פתוח כשהם מתאימים יותר. התשתית מוגדרת כקוד, ב-Terraform כשהצוות שלכם עובד איתו, כדי שניתן יהיה לבנות מחדש סביבות. הדיווח משתמש בכלי הוויזואליזציה שארגון שלכם כבר רוכש ברישיון ככל האפשר, כדי שלא ייאלצו האנליסטים ללמוד כלי חדש.

מה צריך שיהיה במקום

בעלים לכל מערכת מקור שיכולים לאשר גישה ולהסביר את הנתונים, החלטה באיזה ענן הפלטפורמה יושבת (או נכונות להחליט בגילוי), ומהנדסים או אנליסטים שיקחו על עצמם את הפלטפורמה. כשעדיין אין יסוד ענני, עבודת ה-Landing Zone תחת פלטפורמת ענן והגירה קודמת.

מחוץ להיקף כאן: מקורות מעבר לרשימה המוסכמת, שדורשים תקציר נפרד; הכשרה ושחרור מודלים על Pipeline חוזר, שזה MLOps; וסריקת אבטחה ל-Pipeline, שזה אבטחה ו-DevSecOps. כשהעבודה היא בניית מוצר הנתונים, החברה האחות שלנו Mars Innovation Technology מובילה את הבנייה. היקף SEYA בדף הזה הוא גישה, איכות ואבטחת הפלטפורמה.

עבודות קשורות

• עיון בסיפורי לקוח של SEYA בתחומי יסודות ענן, הגירה ו-Pipeline אספקה

שאלות נפוצות

האם צריך data lake, מחסן נתונים או שניהם?

זה תלוי במקורות ובשאלות. הגילוי ממליץ על צורת אחסון לסט המקורות הראשון ומסביר מה ישנה המלצה ככל שייכנסו עוד מקורות.

למי שייכת הפלטפורמה והנתונים?

לכם. הפלטפורמה רצה בחשבון הענן שלכם, קוד ה-Pipeline יושב במאגרים שלכם, והנתונים לא עוברים דרך מערכות SEYA.

איך אתם עובדים עם האנליסטים והמהנדסים שלנו?

הם חלק מהבנייה. האנליסטים מגדירים את המדדים ובודקים את הדוחות; המהנדסים עובדים בצמוד על ה-Pipeline כדי שיוכלו להרחיב אחרי המסירה.

כמה זמן עד הדוח הראשון?

הבנייה הראשונה מחויבת לסט מקורות קטן כדי שדוח עובד יופיע מוקדם ואפשר יהיה לאמת את הדפוס. כמה מוקדם תלוי בניקיון ובנגישות של אותם מקורות, וזה מה שגילוי מגלה.

האם אפשר לעבוד עם הנתונים המאוחסנים אצלכם במתקן?

כן. מקורות יכולים להישאר במקומם ולהזין את הפלטפורמה בחיבורים מאובטחים, או לעבור כחלק מהגירה רחבה יותר. האסטרטגיה קובעת איזה מסלול.

אם לארגון שלכם חסר מקום אחד מהימן לשאול שאלות על הנתונים, קבעו שיחת תיחום לפלטפורמת נתונים והביאו את השאלה שאיש לא יודע לענות עליה היום.