Design und Entwicklung eines Datawarehouses für unternehmensweiten Prozessmonitoring; Entwicklung eines darauf basierenden Dashboardes
MS SQL 2008 BIDS, SSIS, SSAS, SSRS, Visual Studio 2010, TFS 2010, Windows 2008 R2,VMWare 7, BizTalk, Silverlight 3.0
Aufnahme der Anforderungen, Realisierung, Test, Inbetriebnahme, Dokumentation Projektbeschreibung:
Ein sehr komplexes Logistiksystem, das aus mehreren verteilten Systemen und Subsystemen besteht, ist das Herz des Unternehmens. Es mussten ein Datawarehouse-System und darauf basiertes Dashboard entwickelt werden, das die wichtigsten Gesundheits- und Performanceindikatorden zeitnah aus allen Systemen sammelt und diese auswertet. Besonderheit im Projekt lag im sehr hohen täglichen Datenvolumen und Anzahl an den Transaktionen (> 5 mio pro Tag), die Systemen während ihrer Arbeit generieren, einer sehr hohen unternehmensinternen Priorität des Projektes und großem Zeitdruck im Projekt. In kurze Zeit wurden neue ETL-Strecken aus unterschiedlichen Quellsystemen auf Basis von SSIS-Paketen designed und entwickelt, relationale und OLAP-Strukturen mehreren dazugehörigen Datenbanken realisiert, Frontend auf Basis Silverlight-Technologie von Microsoft ausgearbeitet. Am Ende konnte man dem Kunde ein stabiles, skalierbares Monitoringssystem präsentieren, das von vielen Seiten gelobt wurde.
Zeitraum: 03.2008 - 10.2009
Projekt: Migration und Reengineering des Datawarehouses
Kunde: Versicherungsunternehmen
Programmiersprachen: TSQL, XML, C#
Systeme:
SQL 2000 (+DTS, +OLAP), SQL 2005 (+SIS, SSAS, SSRS), Visual Studio 2005,
ACCESS 2003/2007, EXCEL 2003/2007, IIS, Informix, Windows 2003 R2, Visio 2003
Tätigkeit: Konzeption, Realisierung, Qualitätssicherung, Inbetriebnahme,
Betreuung
Projektbeschreibung:
Ein neues Datawarehouse sollte auf Basis vom bestehenden DWH auf der neuen
Plattform im Rahmen eines umfangreichen Migration - Projektes realisiert werden.
Dafür wurde Machbarkeitsstudio und Migrationsaspekte auf SAN- Umgebung
und X64 -Hardware detailliert ausgearbeitet und ausgeführt,
Migrationskonzept festdefiniert. Auf diese Basis wurden die ETL- Prozesse,
die Cubes und dazugehörige Datenbankstrukturen neu konzipiert und entwickelt.
Ein besondere Herausforderung bestand in der Sicherstellung der Datenqualität
bei täglichen Datenladungen. Speziell dafür wurde auf Basis SSRS ein
Reportingsystem entwickelt, das schnelle Kontrolle der Datenqualität ermöglicht.
Zeitraum: 11.2007 - 05.2008
Projekt: Optimierung der Datenladeprozessen
Kunde: Versicherungsunternehmen
Programmiersprachen: SQL/TSQL, XML, C#
Systeme: SQL 2000 (+DTS), OLAP, SQL 2005 (SSIS, SSAS), Visual Studio 2005,
Informix, Windows 2003 R2, QUEST, MS Visio 2003 , MS Project 2003
Tätigkeit: Fehleranalyse, Konzeption, Realisierung, Qualitätssicherung,
Inbetriebnahme
Projektbeschreibung:
Für die Datenbefüllung des Datawarehouse zuständige ETL-Prozesse weisen sehr
lange Laufzeiten auf, mit einer Gesamtlaufzeit teilweise über 24 Std.
Die Daten hatten oft Lücken, waren unvollständig. Hier wurde ein neues
Ladeverfahren entwickelt, das schneller läuft und die Datenqualität
sicherstellt so, dass Performance in allen ETL-Prozessen wesentlich verbessert
werden konnte, die Datenlücken wurden dabei eliminiert.
Zeitraum: 09.2006 - 11.2007
Projekt: Performanceanalyse und Optimierung eines Datawarehouses
Kunde: Versicherungsunternehmen
Programmiersprachen: TSQL, XML
Systeme: SQL 2000 (DTS, OLAP), ODBC, Visual Studio 2005, Informix, Perfmon,
Windows 2003 R2, Excel 2003, Visio 2003
Tätigkeit: Konzeption, Realisierung, Test, Ergebnisauswertung
Projektbeschreibung:
Ein über mehrere Jahre gewachsenes DWH hatte unübersichtliche
Datenbankstrukturen; DWH- Prozesse haben den Server schwer belastet
(CPU, I/O, Deadlocks, lange Laufzeiten). Für die Problemlösung wurde
Performance-Monitoring System entwickelt, das die Server- Performancedaten
historisch sammelt und auswertet. Im DWH wurde alle ETL-Prozesse dokumentiert,
für die Laufzeitoptimierung wurden konzeptionelle Vorschläge und
Entwicklungsrechtlinien ausgearbeitet und realisert. Alle produktive Datenbanken
wurden von den nicht mehr benutzten Objekten bereinigt; ETL-Prozesse wurden
optimal nach Best Praxis gestaltet; die SQL-Abfragen, Tabellen, Views etc.
wurden umfassend optimiert.
Zeitraum: 02.2006 - 03.2007
Projekt: Entwurf und Implementierung datenbankgestützten CallCenter- Anwendungen
Kunde: Direct Marketing Unternehmen
Programmiersprachen: PL/SQL, ksh, Windows Scripting, Visual Basic
Systeme: Oracle 8i-10g, MS SQL Server, Solaris, Win Server 2000, FTP,
Teminalserver
Tätigkeit: Konzeption, Realisierung, Test
Projektbeschreibung:
Weiterentwicklung und Anpassung nach Kundenvorgabe einer Call Center- Anwendung
(ca. 4000Benutzer). DB-Schnittstellenprogrammierung für Datenübernahmen
aus externen Anwendungen und Datenbanken.
Zeitraum: 2005 - 2006
Projekt: Automatisierung datengesteuerten PDF-Formulargenerierung und
Faxenversand
Kunde: Direct Marketing Unternehmen
Programmiersprachen: PL/SQL, ksh, Windows Scripting, Visual Basic,
Acrobat Reader (fdf-Formulare)
Systeme: Oracle 8i-10g, MS SQL Server, Solaris, Win Server 2000, FTP,
Teminalserver
Tätigkeit: Konzeption, Realisierung, Test
Projektbeschreibung:
Es sollte eine Applikation für automatische Generierung von PDF-Formularen und
deren anschließenden Versand an den Kunden realisiert werden.
Die Formulardaten sollten aus einer Datenbank über die spezielle Schnittstellen
geladen werden.
Zeitraum: 2003 - 2005
Projekt: Entwurf und Implementierung eines Reportingsystems zur Qualitäts-
und Produktionskontrolle
Kunde: Sensorherstller
Programmiersprachen: Java, JSP, SQL, Business Objects 5/6, HTML
Systeme: Risc 6000 mit AIX V4.1, Win Server 2000, IBM-DB2 V7.2 und 8.1, ODBC
Tätigkeit: Prozessentwurf, Datenanalyse, Programmierung und Umsetzung,
Mitarbeiterschulung
Projektbeschreibung:
Anschluss der Daten erfassenden Systeme in der Produktion an ein zentrales
Datawarehouse, Realisierung des Datawarehouse in Hinblick auf die optimale
Nutzung als Qualitätsmanagementsystem und zur Produktionskontrolle, Erstellung
eines Reportingsystem für die ad hoc Kontrolle der Messdaten und zur
längerfristigen Qualitätsbeobachtung.
