Performance

Im November 2022 haben wir einen Lasttest von Bitrix24 Self-hosted (Enterprise Edition) mit einer aufgestellten CRM-Lösung durchgeführt, um die Performance der Software auszuwerten.

Allgemeine Informationen

Während des Lasttests haben wir ein CRM-System innerhalb von einer Cluster-Lösung aufgestellt, mit zahlreichen Testdaten gefüllt und dabei das Nutzerverhalten simuliert, welches einem echten Verhalten ähnlich war. Die zu den Testzwecken ausgeführten Aktionen waren für die CRM-Szenarien typisch: Autorisierung im System, Verarbeitung der Kundendatenbank, Lead-Verwaltung, Auftragsverarbeitung und Aktualisierung der Auftragsstatus, Senden von Sofortnachrichten und Hochladen von Dokumenten.
Wir sind von den Bedürfnissen der Kunden aus dem Segment der Großunternehmen ausgegangen, deshalb wurden folgende Schlüsselziele für den Test formuliert:

• Simulation der Operationen eines CRM-Systems, das in einem Großunternehmen aufgestellt ist (Zehntausende von Mitarbeitenden, Tausende von CRM-Nutzern + große Datenmengen mit hoher Datenflussintensität);
• Bereitstellung einer Test-Methodologie, die dem echten Nutzerverhalten maximal nah ist;
• Vorführen der stabilen Operation von integrierten und ausfallsicheren Bitrix24 Technologien auf der verfügbaren Ausrüstung;
• Sicherstellen, dass die Antwortzeit der aufgestellten Lösung nicht 1 Sekunde überschreitet.

Testbedingungen

Ausrüstung

Für die Durchführung des Tests wurden dedizierte virtuelle Server ausgewählt. Dies ermöglichte die Emulation einer umfassenden Cluster-Lösung mit gleichzeitiger Kostenreduzierung für Infrastrukturbereitstellung und Support. Ähnlich wie bei den vorangegangenen Tests haben wir die Ausrüstung aus dem mittleren Preissegment verwendet, die auf dem Markt erhältlich ist.
Die für den Test ausgewählte Hardware hatte drei Serverkonfigurationen:

• Datenbankserver (2 Stück): Intel Xeon (Skylake, IBRS): 2294 MHz (10 cores), 48 GB RAM, 300 GB HDD;
• Anwendungsserver (2 Stück): Intel Core (Haswell, noTSX, IBRS): 1995 MHz (6 core), 24 GB RAM, 200 GB HDD;
• Load Generator (1 Stück): Intel Xeon (Skylake, IBRS): 2294 MHz (10 core), 24 GB RAM, 300 GB HDD.

Custer-Lösung und Web-Environment

pfweb1, pfweb2	Cluster mit zwei Anwendungsservern (Web-Server): CentOS 7.9, Nginx 1.20.2, Apache 2.4.6, PHP 8.0.19. Verteilung mit Nginx auf pfweb1
pfdb1, pfdb2	Cluster mit zwei Datenbankservern: CentOS 7.9, Percona Server (MySQL) 8.0.29, Master / Slave-Konfiguration.
pfjm	Server zur Lasterzeugung mit Jmeter 5.3.3 InfluxDB für Jmeter und Grafana Datenabruf und Speicher, um die Ergebnisdarstellung und -Visualisierung zu testen
data processes and threads (1-7)	Test-Traffic Lastverteilung Cluster-Cache Cluster-Sitzungen Dateisynchronisierung zwischen Lsync Nodes Datenbankreplikation Verbindungen der Core-Datenbank für Produktperformance

Wir haben einen Cluster mit 2 Datenbankservern und 2 Anwendungsservern aufgestellt. Diese Konfiguration ist typisch und weit verbreitet, um einerseits die hohe Cluster-Performance und andererseits die hohe Verfügbarkeit sicherzustellen.
Die Server-Software wurde mit der Bitrix24 Virtual Appliance für Linux 7.5.2 konfiguriert, das Modul Web-Cluster wurde aktiviert, um eine Cluster-Lösung zu erstellen.
Nach der Durchführung der Probetests wurde die Serverkonfiguration aktualisiert.

Liste der Aktualisierungen des Web-Environments:

• Aktualisierte Betriebssystemparameter:
  • echo 1024 65000 > /proc/sys/net/ipv4/ip_local_port_range
  • sysctl -w net.ipv4.tcp_tw_recycle=1
  • sysctl -w net.ipv4.tcp_tw_reuse=1
• sync_binlog erhöht auf 1000
• innodb_buffer_pool_size erhöht auf 34 GB
• max_heap_table_size gesetzt auf 256 MB
• max_heap_table_size, max_heap_table_size gesetzt auf 90 MB
• myisam_sort_buffer_size erhöht auf 64 MB
• max_connections erhöht auf 305

Testlösung des Intranetportals

Cluster-Lösung hat eine aufgestellte Bitrix24 Self-Hosted (Enterprise Edition), Version 22.375 (Version des Hauptmoduls).

1. Standardmäßige Version von Bitrix24 Self-hosted (Enterprise Edition), Version 22.375 mit den neuesten Aktualisierungen und dem aktivierten Modul Web-Cluster zur Erstellung einer Cluster-Lösung.
2. Demodaten beim Beginn des Abschlusstests:
   • 500.000 Unternehmen
   • 1.515.000 Kontakte
   • 995.000 Leads
   • 500,000 Aufträge
   • 144.000 Produkte im Katalog
   • 9.391.000 CRM-Ereignisse
   • 4.522.000 Einträge in der CRM-Timeline
   • 36.000 Nachrichten im Feed
3. Die Anzahl der Mitarbeitenden in der Portaldatenbank beträgt zu Beginn des Abschlusstests 22.198, verteilt zwischen 14 Strukturabteilungen.

Methode der Lasterzeugung

Der Test wurde mithilfe von zwei CRM-Szenarien durchgeführt:

• Das Szenario mit den "Schnell-Leads" mit hoher Anzahl von Mitarbeitern (ab 500), die alle eingehenden Leads als verloren/gewonnen qualifizieren müssen, um daraus einen Auftrag bezüglich des Kaufs von Produkten/Dienstleistungen zu erstellen.
• Das Szenario mit "Langfristigen Aufträgen" mit hoher Anzahl von Mitarbeitern (ab 100), die Aufträge verarbeiten, limitiert pro 1 Mitarbeiter. Jeder Mitarbeiter fügt täglich neue Status und Informationen zu den Aufträgen hinzu: erstellt Termine, lädt Dokumente hoch, schreibt Kommentare, ruft an und korrigiert die Spezifikation. Die Schlüsselfunktion dabei ist eine hohe Menge von Produkten in einem bestimmten Auftrag.

Der Test richtet sich an ein Unternehmen, das beide Szenarien gleichzeitig verwendet und mit einigen Geschäftsbranchen assoziiert wird.
Das ausgewählte Lastszenario war ziemlich ressourcenaufwändig und ermöglichte es, sowohl das Bitrix24 Portal als auch die CRM-Funktionalität innerhalb von komplexen Projekten zu testen.

Die näheren Informationen zu den Testszenarien sind weiter unten zu finden.

Szenario (Last %)	Aktion	Gewicht, %
Schnell-Leads (80%)	Autorisierung	100
	Liste der Leads	100
	Liste wiederkehrender Leads	100
	Lead	100
	Produkt hochladen	100
	Produkt hochladen 2	100
	Lead verloren	18
	Lead gewonnen	2
	Aktualisierung von Kanban, Leads, push	100
	Liste der Leads	100
Langfristige Aufträge (20%)	Autorisierung	100
	Liste der Leads	100
	Liste der Aufträge	100
	Offene Aufträge	100
	Zahlungsdokument hochladen	100
	Einen Anruf hinzufügen	5
Unternehmen (1%)	Autorisierung	100
	Liste der Leads	100
	Unternehmensliste	100

Die Last wurde mit dem Tool JMeter, Version 5.5, erstellt. Die Testdaten wurden über InfluxDB aufgezeichnet: das ist eine leistungsstarke Datenbank zur Verarbeitung der Last mit vielen Anfragen und Einträgen. Analytiker haben Grafana für die Visualisierung verwendet. das Monitoring der Server erfolgte über die Anwendung Telegraf.

Testergebnisse

Das Bitrix24 CRM (Enterprise Edition) simulierte im Rahmen des Tests eine CRM-basierte Lösung für ein Großunternehmen, mit der Aufstellung auf einem Cluster von 4 physischen Servern, und stellte dabei innerhalb von einem 24-Stunden-Test stabile gleichzeitige CRM-Operation für 3.000 Mitarbeiter sicher.
Das Monitoring-System zeigte 423.874 Systemanfragen innerhalb von 24 Stunden mir durchschnittlicher Antwortzeit von 0.713 Sekunden in 95 % aller Anfragen.

Testzusammenfassung: Anzahl der Bewegungen, Dynamik der Anzahl von Anfragen pro Sekunde, Gesamtzahl der Anfragen und Fehler:

Antwortzeit. 95 Perzentil für angegebene Seiten und ihr Traffic innerhalb eines Tests:

CPU-Nutzung auf den Datenbank- und Anwendungsservern:

Fazit

Die Ergebnisse des Lasttests von Bitrix24 Self-hosted (Enterprise Edition) haben die hohe Performance der Plattform und die Stabilität unter Bedingungen der hohen Belastung bestätigt. Die Demo-CRM-Lösung, welche in einer Cluster-Lösung von 4 Servern aufgestellt war, stellte die gleichzeitige Operation von 3.000 Mitarbeitern sicher, was in etwa dem Lastprofil eines Großunternehmens entspricht.

Gleichzeitig hat das System die schnelle (selbst bei den Standards der Internet-Projekte) Antwort bereitgestellt, die bei den meisten Anfragen nicht 1 Sekunde überschreitet, was zu einer positiven Nutzererfahrung führte. Die Technologie Web-Cluster hat sich wieder einmal als leistungsstarke und zuverlässige Technologie erwiesen.

Die Testmethodologie, Szenarien, Lastprofile sowie die Nutzung der Profile von physischen Nutzern ermöglicht es uns, die Testbedingungen zu schaffen, die den echten Bedingungen so ähnlich wie möglich waren. Das bedeutet, dass die Ergebnisse dieses Tests auch als eine Referenz für Gestaltung neuer Projekte verwendet werden können.

Wir sind bereit, die Testmethodologie, Portalkonfiguration sowie das Test-Environment unseren Kunden mit Großprojekten sowie unseren Partnern auf Anfrage bereitzustellen, damit sie dies als eine Basis zur Erstellung eines voll umfänglichen Tests von Kundenportalen oder ihren Prototypen verwenden können, sodass sie Hypothesen testen und den Sicherheitsfaktor unserer Lösung unter hoher Last berechnen können. Das Test-Environment kann angepasst werden, bspw. wenn etwaige Integrationen mit den im Unternehmen genutzten Systemen hinzugefügt werden, um so die genaueren Ergebnisse zu erzielen.

Wenn Sie sich nähere Informationen zum Test wünschen, wenden Sie sich bitte an uns.

Im Januar 2021 haben wir einen Lasttest für die Self-Hosted Version von Bitrix24 durchgeführt (Edition Enterprise), um die Performance eines Intranetportals von einem Großunternehmen auszuwerten.

Allgemeine Informationen

Während des Tests wurde das Intranetportal innerhalb von einer Cluster-Lösung platziert und mit den zahlreichen Demodaten gefüllt, um so das Verhalten von echten Nutzern zu simulieren.

Virtuelle Nutzer haben Operationen ausgeführt, die den typischen echten Arbeitszenarien sehr ähnlich sind:

• einloggen/ausloggen
• News lesen
• Projektgruppen öffnen
• Feed durchsuchen
• individuelle und Gruppenchats erstellen
• Sofortnachrichten austauschen
• Aufgaben stellen
• Dokumente herunterladen
• Workflows initiieren

Jeder Nutzer hat eins der typischen Szenarien durchgespielt und seine Arbeit auf dem Portal beendet.

Ziele des Tests

• Die Arbeit eines Intranetportals von einem Großunternehmen zu simulieren (100.000 Mitarbeiter + ein großer Umfang von Demodaten)
• eine Testmethodologie anzubieiten, die einem Nutzerverhalten in der Realität maximal ähnlich ist
• die stabile Arbeitsweise des Portals ohne Fehler auf verfügbarer Ausrüstung zu zeigen (in einer Situation, wenn ⅓ aller Unternehmensmitarbeiter das Portal gleichzeitig nutzen)
• sicherzustellen, dass die Antwortzeit des Portals nicht 1 Sekunde überschreitet (in 95% aller Anfragen)

Bedingungen des Tests

Ausrüstung

Die im Test verwendete Ausrüstung bestand aus zwei physischen Servern in zwei Konfigurationen:

• Datenbankserver: Intel Xeon W-2255 3.7 GHz (10 cores), 128 GB DDR4, 2 x 960 GB NVMe + 2 x 8000 GB HDD
• Anwendungsserver: Intel Xeon E-2236 3.4 GHz (6 cores), 32 GB DDR4, 2 x 480 GB SSD

Es wurde ein Cluster aus 2 Datenbankservern und 3 Anwendungsservern 8Webservern) aufgesetzt. Diese Konfiguration wurde ausgewählt, um eine hohe Cluster-Performance und hohe Verfügbarkeit sicherzustellen.

Testparameter

1. Eine typische Bitrix24 Self-Hosted Version (Edition Enterprise), Version 20.x.x mit aktuellsten Updates und dem aktivierten Modul Web-Cluster, damit eine Cluster-Lösung erstellt werden kann.

2. Demodaten zu Beginn des finalen Tests:

• 590.000 Nachrichten im Feed
• 540.000 Kommentare
• 40.000 News
• 180.000 Aufgaben
• 415.000 Sofortnachrichten

3. Die Anzahl der Mitarbeiter in der Portaldatenbank zu Beginn des finalen Tests beträgt 111.304 (verteilt unter 67 Abteilungen).

Methode zur Lastgenerierung

Die Last wurde mit dem Tool JMeter Version 5.3.3. erstellt. Die Testdaten wurden über InfluxDB, eine leistungsstarke Datenbank zur Verabeitung von großen Anfragen und Aufzeichnung von Last, aufgezeichnet. Analytiker haben Grafana zur Visualisierung verwendet. Die Server wurden über das System Zabbix überwacht.

Zum Testen wurden 29 Szenarien aus 13 für ein Intranetportal typischen Blockcharakteristiken ausgewählt:

• Autorisierung
• Feed
• Suche
• Chats (Gruppen und individuelle)
• Aufgaben
• Kalender
• Drive
• Newseinträge
• Fotogalerie
• Mitarbeiter
• Profil
• Workflows
• Projektgruppen

Für jeden Test wurde ein System zur Lastverteilung mit Rücksicht auf die Arbeit verschiedener Nutzer auf dem Portal und auf den Anteil jedes Blocks in der Gesamtlast genutzt.

Anders als beim Test 2015, haben wir dieses Mal eine neue Methode verwendet, um die Nutzerlast zu generieren. Statt des einen virtuellen Nutzers, der zufällige Aktionen ausführte, wurde die Last von einer hohen Anzahl verschiedener Nutzer verursacht, jeder von denen einen eigenen Account auf dem Portal hatte.

Der Lastgenerator loggte jeden dieser Nutzer im System ein und führte verschiedene Nutzerszenarien unter einem bestimmten Account aus. Die Timeout vor dem Start jedes neuen Skripts variierte zwischen 20 Sekunden und 10 Minuten. Dadurch wurde versucht, ein realistisches Nutzerverhalten zu simulieren, wenn sich mehrere Unternehmensmitarbeiter auf dem Portal einloggen und dort während des Tages arbeiten.

Testergebnisse

Ein Bitrix24 Test-Intranetportal (Edition Enterprise) für 111.000 Nutzer, installiert auf einem Cluster aus 5 physischen Servern, war imstande, eine reibungslose Arbeit von 30.000 Mitarbeitern gleichzeitig zu gewährleisten. Die maximale Antwortzeit hat 0,9 Sekunden in 95% der Anfragen nicht überschritten.

Innerhalb von 1 Stunde hat die oben genannte Anzahl der Nutzer Folgendes generiert:

• 39 Newseinträge
• 4.614 Nachrichten im Feed
• 4.685 Kommentare
• 440 Chats
• 3.386 Sofortnachrichten
• 2.297 Workflows
• 912 Aufgaben
• 367 Dokumente
• 92 Gruppen und Projekte
• 291 Termine
• 2.385 Benachrichtigungen

Innerhalb von 24 Stunden wurde Folgendes generiert:

• 110.736 neue Einträge im Feed
• 10.560 individuelle und Gruppenchats
• 2.208 Gruppen und Projekte
• 112.440 Kommentare
• 936 News
• 6.984 Termine
• 21.888 Aufgaben und Operationen damit
• 8.808 Dokumente
• 81.264 Sofortnachrichten
• 57.240 Benachrichtigungen
• 55.128 Workflows

Schlussfolgerung

Die Ergebnisse des Lasttests der Bitrix24 Self-Hosted Version (Edition Enterprise) hat die hohe Performance der Plattform sowie deren Stabilität unter Bedingungen der hohen Belastung bestätigt. Das Demoportal, das in einer Cluster-Lösung aus 5 Servern aufgesetzt wurde, konnte die reibungslose Arbeit von 30.000 Nutzern gleichzeitig gewährleisten, was in etwa einer Last eines Großunternehmens mit 100 oder 200 Tausend Mitarbeitern entspricht.

Gleichzeitig hat das System eine schnelle (selbst für die Standards der Internetprojekte) Antwortzeit von unter 1 Sekunde in den meisten Anfragen gewährleistet. Die Technologie des Web-Clusters hat erneut ihre Performance und Zuverlässigkeit bewiesen.

Die Testmethodologie, Szenarien, Lastprofile sowie die Verwendung der physischen Nutzerprofile haben es uns ermöglicht, die Testbedingungen zu schaffen, die dem realen Leben maximal änlich waren. Das bedeutet, dass die Ergebnisse von diesem Test als eine Referenz bei Entwicklung neuer Projekte genutzt werden können.

Zudem sei darauf hingewiesen, dass unser Ziel nicht darin bestand, die Anzahl des generierten Contents (News, Aufgaben, Dokumente, Nachrichten etc.) auf dem Portal während des Tests zu maximieren. Das Ziel war es, ein echtes Nutzerverhalten zu simulieren. Aber selbst unter diesem Gesichtspunkt war die Geschwindigkeit, mit der Informationen auf das Portal hinzugefügt wurden, hoch genug, was auch für die Kunden mit besonders hohen Ansprüchen zufriedenstellend sein wird.

Wir sind bereit, die Testmethodologie, Portalkonfiguration und die Testumgebung auf Anfrage unseren Kunden sowie Partnern zur Verfügung zu stellen, damit sie das als eine Basis zur Durchführung eigener Tests von Nutzerportalen oder Prototypen sowie als Basis für Kalkulation der Sicherheitsfaktoren bei einer Hochlast nutzen können.

Die Testumgebung kann weiterhin angepasst werden, indem bspw. Integrationen mit anderen Unternehmenssystemen hinzugefügt werden, was genauere Ergebnisse sicherstellen kann.