טיוב נתונים, הסבה, sql, oracle, mysql

SwapCom מערכות מידע בע"מ מיישמת יכולות ומתודולוגיות ייחודיות אשר פותחו במהלך השנים ומשתמשת בתהליכים ממוכנים וחדשניים הכוללים - תקנון וטיוב בסיסי הנתונים, השבחה והעשרת המידע ברשומות.

המושג "טיוב נתונים" מתייחס לשורת פעולות אשר מטרתן: שיפור ניכר באיכות וביעילות מערכות המידע של הארגון.

כיום מרבית המערכות נבנות על בסיס מערכות קיימות ו/או על בסיס מאגרי נתונים קיימים. לכן הצלחת מערכת או מודול חדש, תלויה באיכות ההסבה של הנתונים ובאיכות הממשקים הזמניים המקשרים בין הסביבה החדשה לסביבה הקודמת. לצורך זה נדרש פיתוח כלים להמרת נתונים המותאמים ספציפית לפעילויות המבוצעות. אם נוסיף את מרכיב העברית הנושא הופך למורכב במיוחד.

"סיפורי לקוח" מתוך פרויקטים שונים שביצענו...

בפרויקטים של הסבות אשר ביצענו בכנסת ישראל בהן הוסבו מערכות מבוססות VMS למערכות מבוססות חלונות, נדרשו שלבי טיוב שונים כאשר שתי המערכות היו פעילות בו זמנית:

הפיתרון אשר יושם מבוסס על סדרה של כלים אשר פותחו במיוחד להסבה זו. הסבת קבצי טקסט לקבצי וורד, טבלאות שונות וכד'.
הכלים שפותחו הריצו אלגוריתמים של התאמה (Matching ) – (טיוב נתונים באמצעות אלגוריתמים) - הלומדים מהיסטורית ההסבות ומבוססים על כללי הסתברות, על טעויות נפוצות וכללי מפתוח של המערכות הפרלמנטאריות (חוקיות יחודית למערכת זו).
הכלים יודעים לזהות פורמטים נפוצים שונים כגון תאריכים, מספרי תעודת זהות וכד'. כמו כן הכלים טיפלו בהצלחה בטיוב נתונים מעורבים לטינית / עברית / מספרים.

קישוריות לוגית בין מקורות שונים של מידע - הנהלת בתי המשפט

כאשר אינטגרציה בין מערכות משלבת יותר ממערכת קודים אחת, יש צורך בהתאמה לוגית בין הקודים השונים ובמיוחד כאשר ה- Business Logic משתנה בין המערכות.
במסגרת פרויקט טיוב נתונים בהנהלת בתי המשפט, פתחנו מערכת לניהול תקני הרכב אשר התבססה על מאגר נתונים קיים. דרישת הלקוח הייתה שהמערכת החדשה תציג גם את הנתונים הישנים אשר הצטברו עם השנים. כמובן שמאגר זה היה מיושן ולא תאם למבנה המאגר החדש.
כאן נדרשנו לפתח מודול אקטיבי המבוס?p align="right" dir="rtl">כאשר אינטגרציה בין מערכות משלבת יותר ממערכת קודים אחת, יש צורך בהתאמה לוגית בין הקודים השונים ובמיוחד כאשר ה- Business Logic משתנה בין המערכות.
במסגרת פרויקט טיוב נתונים בהנהלת בתי המשפט, פתחנו מערכת לניהול תקני הרכב אשר התבססה על מאגר נתונים קיים. דרישת הלקוח הייתה שהמערכת החדשה תציג גם את הנתונים הישנים אשר הצטברו עם השנים. כמובן שמאגר זה היה מיושן ולא תאם למבנה המאגר החדש.
כאן נדרשנו לפתח מודול אקטיבי המבוסס על טבלאות עזר לצורך המרת הנתונים בין המאגר הישן לבין המאגר החדש.
השיטה שיושמה כאן היא של ביצוע הפרדת שדות, שימוש בטבלאות עזר ובמניפולציות שונות אשר הביאו למיזוג מאגרי הנתונים ויצירת מאגר נתונים אחד למערכת.

לסיכום, בטיוב נתונים לא מדובר בפעולה חד-פעמית ל"יישור " הנתונים אלא בתהליך מתמשך ואינסופי המשפר באופן מתמיד את הנתונים הקיימים, וחשוב מזה - משפר את הנתונים הנקלטים באופן שוטף ע"י מערכת המידע ממערכות חיצוניות (קבצים חיצוניים, חיתוך בסיסי נתונים פנים-ארגוניים ועוד).