Astro Realtime Web Analytics: Konzept für Erfassung und Aggregation

Ein Konzept für eine Analysepipeline mit begrenzten Warteschlangen, Ereignisbatches und ClickHouse-Aggregation, das Datenrichtigkeit und Aufbewahrung berücksichtigt.

1. Erfassungsumfang und Datenminimierung

Dieses Dokument beschreibt eine Analysepipeline. Es belegt weder einen bestimmten Produktionsdurchsatz noch eine rechtliche Konformitätszertifizierung. Zunächst werden Datenfelder, Verwendungszweck, Aufbewahrungsdauer und Zugriffsrechte festgelegt. Vertrauliche URL-Parameter und nicht benötigte personenbezogene Informationen sollen gar nicht erst erfasst werden.

Der Verzicht auf Cookies oder das Hashen von IP-Adressen garantiert weder vollständige Anonymität noch automatisch die Einhaltung aller Datenschutzvorschriften. IP-basierte Kennungen entsprechen wegen gemeinsam genutzter Netze und wechselnder Adressen keiner exakten Zahl einzelner Besucher. Ein tatsächlicher Einsatz erfordert eine gesonderte Prüfung.

2. Batches und Rückstaukontrolle

• Ereignisgröße und Warteschlangenlänge werden begrenzt. Für Überschreitungen werden Regeln für Ablehnung, Stichproben und Wiederholungen festgelegt.
• Ereignis-IDs dienen zur Erkennung von Duplikaten, damit Wiederholungsversuche die Aggregation nicht verfälschen.
• Bei ClickHouse-Inserts werden Batchgröße und Verzögerung gemeinsam eingestellt. Auch der Bestätigungszeitpunkt und die Fehlerbehandlung asynchroner Inserts müssen festgelegt werden.
• Pufferleerung und Abschlussbestätigung werden anhand der ClickHouse-Dokumentation zu asynchronen Inserts geprüft.

3. Dashboard und Betriebsprüfung

Für die Übertragung aggregierter Ergebnisse per WebSocket werden Wiederverbindung, letzte Empfangsposition und der Umgang mit langsamen Clients vorgesehen. Nutzerseitige Messwerte und Selbstauskünfte des Servers bleiben getrennt; fehlende oder nicht unterstützte Messwerte werden nicht als null ausgegeben.

Lasttests erfassen Erfolgs-, Duplikat- und Verlustraten, p95- und p99-Latenzen sowie Speicherkosten. Durchsatz und Abfragegeschwindigkeit werden nur dann als Ergebnisse ausgewiesen, wenn reproduzierbare Messungen mit Angaben zu Datenumfang, Schema und Hardware vorliegen.