[Freifunk_info] [IDEE] Bessere Verteilung der Nodes auf die VPN-Server
Hallo zusammen, ich habe mir nochmal Gedanken gemacht, wegen unseres Durchsatzproblems im FFV-Mesh. Obwohl ich bei mir einen Uplink habe und auch nur sehr wenige Nutzer an meinem Node hatte, habe ich seid 2..3 Tagen hier im Freifunk-Netz auch nur extrem langsame Verbindung, über mein normales DSL jedoch nicht. Wenn ich noch an die Gedanken und Beobachtungen von Ralf, Simon und mir zurückdenke, kann eine mögliche Ursache ein Limit beim Datenverkehr bei einzelnen VPN-Servern sein. Könnte man nicht in der Firmware der Nodes irgendwie hinterlegen, dass sich ein Node beim Verbinden automatisch immer mit dem VPN-Server mit den wenigsten Nodes verbindet bzw. wenn gleiche Anzahl Nodes sind, dann per Zufall? Damit könnten wir erreichen, dass nicht bei einem Server alle Nodes drauf sind, sondern diese sich verteilen und somit auch die Netzlast verteilt wird. Die andere Idee dazu wäre die, die bekannten Server mit einem Faktor zu versehen, je nach maximal möglicher Last und pro Node ebenfalls einen Faktor festzulegen und jeder Node, der sich pro Server verbindet wird vom Serverfaktor abgezogen, bis Null erreicht ist und dann ein anderer Server genutzt werden muss. Die Summer der Serverfaktoren und die Summe der Nodes müssten natürlich identisch sein. Die Faktoren pro Server können unterschiedlich sein, je nach maximal möglicher Last und bei den Nodes können die Faktoren anhand der möglichen gleichzeitigen User festgelegt werden. Ich weiß nicht, ob ich das verständlich genug formuliert habe, aber vielleicht können die Entwicklerprofis mal drüber nachdenken, ob und wie man sowas realisieren und implementieren könnte. Viele Grüße, Kai
Man könne per Remotezugriff die einzelnen VPN-Server testen, welcher irgendwie limitiert ist. Regards, Enrico Von: Kai Grünler via Freifunk_info
<spinn> Wenn die VPN-Server voneinander wissen und die jeweilige Last kennen, dann kann man Node ja sagen, wo es eine bessere Verbindung gibt. Ist Verwaltungsaufwand, aber bei einer Handvoll Server sollte das im Rahmen bleiben. Wobei, wenn man schon eine Verwaltung dafür braucht, kann man auch gleich einen Loadbalancer nehmen ;) Inwiefern das Sinn macht, kann ich nicht beurteilen. Vielleicht hat das auch nur bedingt mit den Servern selbst zu tun. Eher mit dem Hosting-Provider? Ich erinnere mich dunkel, dass da mal was war... </spinn> Am 10.09.2016 um 19:27 schrieb Enno via Freifunk_info:
Man könne per Remotezugriff die einzelnen VPN-Server testen, welcher irgendwie limitiert ist.
Regards, Enrico
*Von: *Kai Grünler via Freifunk_info <mailto:freifunk_info@freifunk-vogtland.net> *Gesendet: *Samstag, 10. September 2016 18:59 *An: *info@freifunk-vogtland.net <mailto:info@freifunk-vogtland.net> *Cc: *Kai Grünler <mailto:gruenler@me.com> *Betreff: *[Freifunk_info] [IDEE] Bessere Verteilung der Nodes auf dieVPN-Server
Hallo zusammen,
ich habe mir nochmal Gedanken gemacht, wegen unseres Durchsatzproblems
im FFV-Mesh. Obwohl ich bei mir einen Uplink habe und auch nur sehr
wenige Nutzer an meinem Node hatte, habe ich seid 2..3 Tagen hier im
Freifunk-Netz auch nur extrem langsame Verbindung, über mein normales
DSL jedoch nicht.
Wenn ich noch an die Gedanken und Beobachtungen von Ralf, Simon und mir
zurückdenke, kann eine mögliche Ursache ein Limit beim Datenverkehr bei
einzelnen VPN-Servern sein.
Könnte man nicht in der Firmware der Nodes irgendwie hinterlegen, dass
sich ein Node beim Verbinden automatisch immer mit dem VPN-Server mit
den wenigsten Nodes verbindet bzw. wenn gleiche Anzahl Nodes sind, dann
per Zufall? Damit könnten wir erreichen, dass nicht bei einem Server
alle Nodes drauf sind, sondern diese sich verteilen und somit auch die
Netzlast verteilt wird.
Die andere Idee dazu wäre die, die bekannten Server mit einem Faktor zu
versehen, je nach maximal möglicher Last und pro Node ebenfalls einen
Faktor festzulegen und jeder Node, der sich pro Server verbindet wird
vom Serverfaktor abgezogen, bis Null erreicht ist und dann ein anderer
Server genutzt werden muss. Die Summer der Serverfaktoren und die Summe
der Nodes müssten natürlich identisch sein. Die Faktoren pro Server
können unterschiedlich sein, je nach maximal möglicher Last und bei den
Nodes können die Faktoren anhand der möglichen gleichzeitigen User
festgelegt werden.
Ich weiß nicht, ob ich das verständlich genug formuliert habe, aber
vielleicht können die Entwicklerprofis mal drüber nachdenken, ob und wie
man sowas realisieren und implementieren könnte.
Viele Grüße,
Kai
_______________________________________________ Freifunk_info mailing list Freifunk_info@freifunk-vogtland.net http://mx.hateotu.de:8025/mailman/listinfo/freifunk_info
Ich komme auf eine Verbindung mit ca. 25Mbit down und einem schwankenden up von 3-10mbit bei mir hier. Als VPN-Server habe ich jetzt nur noch den FFV-VPN01 in Schöneck. Uplink: http://freifunk-vogtland.net/map/#!v:m;n:a0d3c14f0a48 (x86) Node: http://freifunk-vogtland.net/map/#!v:m;n:f4f26d972b2e (842er TPLink) Der Uplink ist aktuell über eine 5ghz Wlan-brücke an der Fritzbox. Morgen stecke ich mal um und schau mal was mit direkter Verdrahtung geht. Grüße Von: Michael Gutmann via Freifunk_info
Hallo Kai, On Saturday, September 10, 2016 6:59:24 PM CEST Kai Grünler via Freifunk_info wrote:
Hallo zusammen, ich habe mir nochmal Gedanken gemacht, wegen unseres Durchsatzproblems im FFV-Mesh. Obwohl ich bei mir einen Uplink habe und auch nur sehr wenige Nutzer an meinem Node hatte, habe ich seid 2..3 Tagen hier im Freifunk-Netz auch nur extrem langsame Verbindung, über mein normales DSL jedoch nicht. Wenn ich noch an die Gedanken und Beobachtungen von Ralf, Simon und mir zurückdenke, kann eine mögliche Ursache ein Limit beim Datenverkehr bei einzelnen VPN-Servern sein.
soweit ich sehe gibt es da verschiedene Gruende. Load einzelner Freifunk Server ist auf jeden Fall einer, sowohl auf dem Netzwerk als auch Prozessor- Auslastung. Ein weiterer Grund ist der stark ansteigende Broadcast-Traffic und Managementoverhead durch die grosse Anzahl von Knoten. Das Chemnitzer Netz gehoert ja mit uns zusammen, und in der Summe naehern wir uns den 500 Knoten die online sind. Ersteres Problem koennen wir durch eine bessere Verteilung oder Upgrades von Servern hinbekommen, Zweiteres durch einen Split mit Chemnitz.
Könnte man nicht in der Firmware der Nodes irgendwie hinterlegen, dass sich ein Node beim Verbinden automatisch immer mit dem VPN-Server mit den wenigsten Nodes verbindet bzw. wenn gleiche Anzahl Nodes sind, dann per Zufall? Damit könnten wir erreichen, dass nicht bei einem Server alle Nodes drauf sind, sondern diese sich verteilen und somit auch die Netzlast verteilt wird.
Soweit ich weiss verbindet sich fastd schlichtweg zu dem Server der zuerst antwortet. Da gibt es keinen "Handshake" wo die Nutzerzahlen ausgetauscht werden oder Aehnliches. Es gibt auch ein paar Diskussionen in anderen Freifunk Communities: https://forum.freifunk.net/t/lastausgleich-zwischen-den-gateways/1259/18 https://projects.universe-factory.net/issues/118 Freifunk Gera nimmt wohl etwas auf L2TP basierend: https://www.freifunkkommune-gera.de/forum/-/asset_publisher/9HQrzJTOA2cM/ message/id/71495?inheritRedirect=false Ein einfaches Feature was es aber schon gibt ist, die Peer-Anzahl auf den Servern zu begrenzen. Das wurde jetzt wohl bei Fermi gemacht. Weiterhin koennen wir auch mehr oder weniger Server in unsere FreifunkVogtland site.conf aufnehmen - zukuenftig mehr eigene (sobald vorhanden), weniger Chemnitzer Server.
Die andere Idee dazu wäre die, die bekannten Server mit einem Faktor zu versehen, je nach maximal möglicher Last und pro Node ebenfalls einen Faktor festzulegen und jeder Node, der sich pro Server verbindet wird vom Serverfaktor abgezogen, bis Null erreicht ist und dann ein anderer Server genutzt werden muss. Die Summer der Serverfaktoren und die Summe der Nodes müssten natürlich identisch sein. Die Faktoren pro Server können unterschiedlich sein, je nach maximal möglicher Last und bei den Nodes können die Faktoren anhand der möglichen gleichzeitigen User festgelegt werden.
Hm, das klingt fuer mich einigermassen kompliziert. :) Zumal wir die Groessen usw. der Server auch nicht kennen. Ich wuerde eher Split/mehr Vogtland Server anstreben, das ist einfacher und brauchen wir eh ... Viele Gruesse, Simon
Hey, Würde sowas funktionieren: https://www.serverbiz.de/kvm als gateway server? Grüße Regards, Enrico Von: Simon Wunderlich via Freifunk_info
Hallo Enno, wir haben keine guten Erfahrungen mit virtuellen Servern gemacht, da überall relativ schnell die DDOS protection anschlägt, wenn die fastd sessions rein kommen. Wir haben unsere Server von hier: https://servdiscount.com/ http://server-boerse.de/ https://www.online.net/en/dedicated-server und die aus dem alten Netz waren von hier: https://www.kimsufi.com/de/server.xml Das sind allesamt Bleche. Grüße Steffen Enno via Freifunk_info <freifunk_info@freifunk-vogtland.net> schrieb am Do., 15. Sep. 2016 um 15:35 Uhr:
Hey,
Würde sowas funktionieren: https://www.serverbiz.de/kvm als gateway server?
Grüße
Regards, Enrico
*Von: *Simon Wunderlich via Freifunk_info <freifunk_info@freifunk-vogtland.net> *Gesendet: *Donnerstag, 15. September 2016 15:22 *An: *freifunk_info@freifunk-vogtland.net; info@freifunk-vogtland.net; gruenler@me.com *Cc: *Simon Wunderlich <sw@simonwunderlich.de>
*Betreff: *Re: [Freifunk_info] [IDEE] Bessere Verteilung der Nodes auf dieVPN-Server
Hallo Kai,
On Saturday, September 10, 2016 6:59:24 PM CEST Kai Grünler via Freifunk_info
wrote:
Hallo zusammen,
ich habe mir nochmal Gedanken gemacht, wegen unseres Durchsatzproblems
im FFV-Mesh. Obwohl ich bei mir einen Uplink habe und auch nur sehr
wenige Nutzer an meinem Node hatte, habe ich seid 2..3 Tagen hier im
Freifunk-Netz auch nur extrem langsame Verbindung, über mein normales
DSL jedoch nicht.
Wenn ich noch an die Gedanken und Beobachtungen von Ralf, Simon und mir
zurückdenke, kann eine mögliche Ursache ein Limit beim Datenverkehr bei
einzelnen VPN-Servern sein.
soweit ich sehe gibt es da verschiedene Gruende. Load einzelner Freifunk
Server ist auf jeden Fall einer, sowohl auf dem Netzwerk als auch Prozessor-
Auslastung. Ein weiterer Grund ist der stark ansteigende Broadcast-Traffic und
Managementoverhead durch die grosse Anzahl von Knoten. Das Chemnitzer Netz
gehoert ja mit uns zusammen, und in der Summe naehern wir uns den 500 Knoten
die online sind.
Ersteres Problem koennen wir durch eine bessere Verteilung oder Upgrades von
Servern hinbekommen, Zweiteres durch einen Split mit Chemnitz.
Könnte man nicht in der Firmware der Nodes irgendwie hinterlegen, dass
sich ein Node beim Verbinden automatisch immer mit dem VPN-Server mit
den wenigsten Nodes verbindet bzw. wenn gleiche Anzahl Nodes sind, dann
per Zufall? Damit könnten wir erreichen, dass nicht bei einem Server
alle Nodes drauf sind, sondern diese sich verteilen und somit auch die
Netzlast verteilt wird.
Soweit ich weiss verbindet sich fastd schlichtweg zu dem Server der zuerst
antwortet. Da gibt es keinen "Handshake" wo die Nutzerzahlen ausgetauscht
werden oder Aehnliches.
Es gibt auch ein paar Diskussionen in anderen Freifunk Communities:
https://forum.freifunk.net/t/lastausgleich-zwischen-den-gateways/1259/18
https://projects.universe-factory.net/issues/118
Freifunk Gera nimmt wohl etwas auf L2TP basierend:
https://www.freifunkkommune-gera.de/forum/-/asset_publisher/9HQrzJTOA2cM/
message/id/71495?inheritRedirect=false
Ein einfaches Feature was es aber schon gibt ist, die Peer-Anzahl auf den
Servern zu begrenzen. Das wurde jetzt wohl bei Fermi gemacht.
Weiterhin koennen wir auch mehr oder weniger Server in unsere FreifunkVogtland
site.conf aufnehmen - zukuenftig mehr eigene (sobald vorhanden), weniger
Chemnitzer Server.
Die andere Idee dazu wäre die, die bekannten Server mit einem Faktor zu
versehen, je nach maximal möglicher Last und pro Node ebenfalls einen
Faktor festzulegen und jeder Node, der sich pro Server verbindet wird
vom Serverfaktor abgezogen, bis Null erreicht ist und dann ein anderer
Server genutzt werden muss. Die Summer der Serverfaktoren und die Summe
der Nodes müssten natürlich identisch sein. Die Faktoren pro Server
können unterschiedlich sein, je nach maximal möglicher Last und bei den
Nodes können die Faktoren anhand der möglichen gleichzeitigen User
festgelegt werden.
Hm, das klingt fuer mich einigermassen kompliziert. :) Zumal wir die Groessen
usw. der Server auch nicht kennen. Ich wuerde eher Split/mehr Vogtland Server
anstreben, das ist einfacher und brauchen wir eh ...
Viele Gruesse,
Simon
_______________________________________________ Freifunk_info mailing list Freifunk_info@freifunk-vogtland.net http://mx.hateotu.de:8025/mailman/listinfo/freifunk_info
Hallo Zusammen, ich habe auf all unseren Servern ein wenig mit dem Peer Limit rumgespielt. Nur bei gianotti hab ich es aus gelassen. Die Zahlen im einzelnen: fermi: 70 (2x AMD Turion II Neo N54L) euler: 70 (2x AMD Turion II Neo N54L) brewster: 100 (4x Intel Atom S1260) gianotti: offen (8x Intel Atom C2750) Wir haben aktuell etwa 320 aktive fastd sessions daher ist das limit schon relativ knapp, wenn einer oder mehrere Server ausfallen. Grüße Steffen Simon Wunderlich via Freifunk_info <freifunk_info@freifunk-vogtland.net> schrieb am Do., 15. Sep. 2016 um 15:22 Uhr:
Hallo Kai,
On Saturday, September 10, 2016 6:59:24 PM CEST Kai Grünler via Freifunk_info wrote:
Hallo zusammen, ich habe mir nochmal Gedanken gemacht, wegen unseres Durchsatzproblems im FFV-Mesh. Obwohl ich bei mir einen Uplink habe und auch nur sehr wenige Nutzer an meinem Node hatte, habe ich seid 2..3 Tagen hier im Freifunk-Netz auch nur extrem langsame Verbindung, über mein normales DSL jedoch nicht. Wenn ich noch an die Gedanken und Beobachtungen von Ralf, Simon und mir zurückdenke, kann eine mögliche Ursache ein Limit beim Datenverkehr bei einzelnen VPN-Servern sein.
soweit ich sehe gibt es da verschiedene Gruende. Load einzelner Freifunk Server ist auf jeden Fall einer, sowohl auf dem Netzwerk als auch Prozessor- Auslastung. Ein weiterer Grund ist der stark ansteigende Broadcast-Traffic und Managementoverhead durch die grosse Anzahl von Knoten. Das Chemnitzer Netz gehoert ja mit uns zusammen, und in der Summe naehern wir uns den 500 Knoten die online sind.
Ersteres Problem koennen wir durch eine bessere Verteilung oder Upgrades von Servern hinbekommen, Zweiteres durch einen Split mit Chemnitz.
Könnte man nicht in der Firmware der Nodes irgendwie hinterlegen, dass sich ein Node beim Verbinden automatisch immer mit dem VPN-Server mit den wenigsten Nodes verbindet bzw. wenn gleiche Anzahl Nodes sind, dann per Zufall? Damit könnten wir erreichen, dass nicht bei einem Server alle Nodes drauf sind, sondern diese sich verteilen und somit auch die Netzlast verteilt wird.
Soweit ich weiss verbindet sich fastd schlichtweg zu dem Server der zuerst antwortet. Da gibt es keinen "Handshake" wo die Nutzerzahlen ausgetauscht werden oder Aehnliches.
Es gibt auch ein paar Diskussionen in anderen Freifunk Communities:
https://forum.freifunk.net/t/lastausgleich-zwischen-den-gateways/1259/18 https://projects.universe-factory.net/issues/118
Freifunk Gera nimmt wohl etwas auf L2TP basierend:
https://www.freifunkkommune-gera.de/forum/-/asset_publisher/9HQrzJTOA2cM/ message/id/71495?inheritRedirect=false <https://www.freifunkkommune-gera.de/forum/-/asset_publisher/9HQrzJTOA2cM/message/id/71495?inheritRedirect=false>
Ein einfaches Feature was es aber schon gibt ist, die Peer-Anzahl auf den Servern zu begrenzen. Das wurde jetzt wohl bei Fermi gemacht.
Weiterhin koennen wir auch mehr oder weniger Server in unsere FreifunkVogtland site.conf aufnehmen - zukuenftig mehr eigene (sobald vorhanden), weniger Chemnitzer Server.
Die andere Idee dazu wäre die, die bekannten Server mit einem Faktor zu versehen, je nach maximal möglicher Last und pro Node ebenfalls einen Faktor festzulegen und jeder Node, der sich pro Server verbindet wird vom Serverfaktor abgezogen, bis Null erreicht ist und dann ein anderer Server genutzt werden muss. Die Summer der Serverfaktoren und die Summe der Nodes müssten natürlich identisch sein. Die Faktoren pro Server können unterschiedlich sein, je nach maximal möglicher Last und bei den Nodes können die Faktoren anhand der möglichen gleichzeitigen User festgelegt werden.
Hm, das klingt fuer mich einigermassen kompliziert. :) Zumal wir die Groessen usw. der Server auch nicht kennen. Ich wuerde eher Split/mehr Vogtland Server anstreben, das ist einfacher und brauchen wir eh ...
Viele Gruesse, Simon_______________________________________________ Freifunk_info mailing list Freifunk_info@freifunk-vogtland.net http://mx.hateotu.de:8025/mailman/listinfo/freifunk_info
participants (5)
-
Kai Grünler -
mail＠enricomeinel.de -
Michael Gutmann -
Simon Wunderlich -
Steffen Förster