Hauptveranwortlich tätig als Senior Database Administrator zur operativen Betreuung der Dateninfrastruktur des Unternehmens

• Installation und Konfiguration von MS SQL Datenbank Servern (v 2005 - 2019)
• Nahtlose Migration von Produktionsumgebungen bei Serverwechsel
• Implementierung eines queue-basierten Backup/Restore Lösung für >50TB an Volumen mit RPO/RTO < 1h
• Implementierung einer Virtualisierungslösung fuer die programmatorische Erstellung von Sandbox Umgebungen zu Test- und Entwicklungszwecken auf Basis Microsoft Hyper-V
• Unternehmensweite Koordination von Software Releases
• Pikett-Dienst / Betreuung des Fachbereichs "Trading" an Randzeiten
• Evangelist fuer Datentechnologien (Streaming, Data Science, Big Data, Data Warehouses) und Agilen Methodiken
• Supporter und Know-How Person für Softwareentwickler in unzähligen Projekten
• Enge Zusammenarbeit mit IT/Hardware/Netzwerk Teams
• Regelmässige Durchführung von Datenanalysen zur Konsistenzprüfung 
• Import und Konsolidierung externer Datenquellen (Bloomberg, Financial Calendar, Refinitiv, Tardis)

Bei diesem Projekt beauftragte der Kunde ein Refactoring bzw. eine Portierung eines Alt-Systems (Mongo-Db, JS-basierte Applikationen) auf den Microsoft Tech Stack (MS SQL Server, .Net Blazor, .Net WebAPI) 

Im Rahmen des Projektes übernahm ich folgende Aufgaben:

• Analyse bestehendes MongoDB Datenmodell und Erarbeitung eines neuen relationalen Modells unter Berücksichtigung von neuen/geänderten Anforderungen
• Prototyping von Architektur Blueprints für die UI Applikation und ein REST API für Datenabfragen
• Implementierung von Datenextraktions- und Migrationslogik von MongoDb nach SQL Server 
• Implementierung von ca. 95% aller UI Funktionalität (Blazor Pages) 
• Replikation aller originalen REST Endpoints nur anhand von minimaler schriftlicher Dokumentation und Beispieldaten
• Etablierung von DevOps Best Practices wie CD/CI, zentralisiertem Logging, Aufbau von automatisierten Build-Prozessen mit TeamCity 
• Datenqualitätsanalyse (Inkonsistenzen, Lücken, etc.) 
• Ad-Hoc Implementierung von zusätzlichen Datenschnittstellen auf Datenbankebene 
• Automatisierung des Deploymentprozesses mittels Docker
• Knowledge Center für SQL /.Net / Docker
• Penetration Testing REST API mit Fuzzing und ähnlichen Ansätzen

Bei der Implementierung der REST Endpoints konnten bei Preis / PnL / Allocation Ausgaben die Antwortzeit von teilweise über 10 sek pro Aufruf auf unter 1 sek verbessert werden

Preisdaten im Echtzeit-Trading wurden durch Provider wie Bloomberg oder Refinitiv oftmals am Ende eines Tages korrigiert neu geliefert. Dadurch entstanden aus mehreren Gründen (z.b. zeitliche Verschiebungen) unterschiedliche Interpretationen der Preisdaten zwischen Simulationsläufen zu verschiedenen Zeiten (ex-ante, real-time, ex-post) 

Kern des Projektes war diese Revisionen für ca. 500 Finanzprodukte zu tracken und zu reduzieren. 

Ich habe hierfür eine Event Sourcing Architektur mit Apache Kafka als Messaging Backend und MS SQL Server als permanenten Speicher für die Revisionen implementiert:

• Prototyp des Event Sourcing Kerns welcher eingehende Events registriert, sortiert und an Aggregate weiterliefert
• Implementierung von absoluten und relativen Metriken um den Einfluss einer Revision zu beurteilen und diese dann ggf zu verwerfen
• Design on speziell partitionierten MS SQL Tabellen zur Performance Optimierung sowohl beim Schreiben, also auch beim Lesen
• Implementierung von optimierten BULK IMPORT Prozessoren für die Speicherung von Revisionen in SQL Datenbanken 
• Installation und Konfiguration von Apache Kafka Clustern (5 Nodes) und Docker Hosts (4 VMs)
• Deployment der Event Sourcing Komponenten via Docker
• Monitoring von Applikations- und Runtime- (Docker) Metriken via Loki / Grafana

- Migration von alten Datenbank/Tabellenstrukturen in ein neues optimiertes Format
- Vollständige Unterstuetzung von Microsoft SQL Server Partitionierung für alle Datentabellen
- Optimierung der Tabellenindizierung
- Reduktion des aktiven Datenvolumens im Betrieb von ~220GB auf ~75GB,
- Reduktion des operativen Backupvolumens von ~1.8TB auf ~400GB täglich
- Erstellung eines stabilen und robusten APIs für Datenanwendungen zum parallelen Lesen und Schreiben von Daten
- Clean-Up von Altlasten, Regressionstests, Erstellung von isolierten Testumgebungen
- Erstellung eines Workflow Utility zum Deployment
- Agile Koordination mit anderen Projekten (Scrum Projektplanung in Sprints) via Atlassian Jira

• Bewertung des aktuellen DWH Designs
• Erarbeitung von Empfehlungen zur Verbesserung des Designs
• Performance Optimierung (SQL Query Tuning) von Reporting Abfragen und abhängigen Prozessen (End-of-day Profit&Loss)
• Konsistenzprüfungen der geladenen Daten
• Entwicklung einer schema-sensitiven Staging Area für XML Import

Das System dient zur Qualitätskontrolle von EOD Preisen für verschiedene Finanzinstrumente. Nach der Berechnung spezifischer Metriken auf eingehende Daten wird der bestmögliche realistische Preis ausgewählt und konsolidiert für interne Marktsimulationen zur Verfügung gestellt.

• Übernahme bestehendes System (Windows C++ Konsolenanwendung, SQL Queries), Code Review, Dokumentation
• Überarbeitung der Architektur und des Komponentendesigns, Überwachung der Sourcecode Migration von C++ nach C#
• Entwicklung eines ASP.Net basierten Service zur Zentralisierung der Logik
• Koordination von Entwicklung, Test und Releases
• Entwicklung und Durchführung von Testszenarien (Regressionstests vor Produktions-Releases)
• Projekt Management mit Jira, Atlassian, Bamboo, TeamCity
• Integration mit Apache Kafka als Messaging Bus für Event-basierte Integration mit anderen Applikationen
• Installation, Konfiguration und Betrieb von Apache Kafka Cluster Lösungen (Multi-Node Brokers)
• Integration von Real-Time Event Logging zur Messung von Latenzzeiten zwischen einzelnen Verarbeitungsschritten und Visualisierung mit Grafana / Seq

Die Plattform konsumiert und validiert periodisch Bestandsdaten nach bestimmten Regeln (z.b. man sollte keine Position in ausgelaufenen Commodity Kontrakten haben) und berichtet diese tabellarisch an andere Fachbereiche. Benutzer koennen sich fuer bestimmte Benachrichtigungen registrieren und selbst das System um eigene Abfragen erweitern. 

- Uebernahme eines Prototyps, Code Review, Bestandsanalyse

- Konzeption von notwendigen Architektur- und Designanpassungen fuer die Migration von Rich Client auf SOA 

- Verwendung eines Actor-Konzepts zur Ausfuehrung der Datenabfragen und Validierungslogik hinter einem ASP.Net REST WebAPI Service

- Anleitung fuer den UI Entwickler

- Projektkoordination mit Atlassian Jira, Confluence und Bamboo

- Durchfuehrung von Testzyklen und Releases

Neben der Standardisierung von Datenbankzugriffen, der Bereitstellung eines robusten oeffentlichen API fuer die Integration mit anderen Anwendungen konnten gegenueber der urspruenglichen Version > 30 Verbesserungen und neue Features erreicht werden.

Integration von 3rd Party Library in den EOD Preis Prozess des Unternehmens.

- Entwicklung des kompletten ETL Frameworks zur Extraktion von Daten, Uebergabe an black-box Applikation und Rueckfuehrung in den Datenstamm

- Duplikat- und Revisions-Pruefung fuer zurueckgegebene Daten

- Enge Zusammenarbeit mit Entwickler bei der Umsetzung seiner Interface Anforderungen in einem robusten ETL Prozess

- Durchfuehrung von Testzyklen und Datenanalysen, Regressionstests

- Betreuung des operativen Betriebes seit 2016

Entwicklung eines Data Warehouse / ODS zur Konsolidierung von Transaktionen (Trades & Orders) fuer Finanzinstrumente

- Erstellung eines bitemporalen 6NF-Datenmodells zur vollstaendigen Historisierung von Transaktionsdaten

- Datenmodelle sind vorwaerts- und rueckwaerts-kompatibel, neue Felder koennen einfach hinzugefuegt werden

- Implementierung des kompletten ETL Prozess (periodisch, vollstaendig oder differentiell) in SQL

- in Betrieb seit Juni 2016