Das Modem brauchst Du in jedem Fall. Daran würde ich einen Router (eigentlich immer mit integriertem Switch) anschließen, das ist dann am komfortabelsten.
Zweite Möglichkeit wäre, einen von den vier Rechnern als Internet-Gateway zu konfigurieren. Dann würde ein normaler Switch/Hub ausreichen, aber der eine müte dann immer laufen, weil die anderen diesen zum Verbindungsaufbau benötigen.
Dritte Möglichkeit, das Modem in den Uplink Port und jeder Rechner kann dann direkt über das Modem die Verbindung aufbauen. Das funktioniert dann aber leider nur mit einem Rechner zur selben Zeit; die anderen drei sind während dieser Zeit außen vor.
Also wie Du siehst: Die einzig vernünftige Lösung ist ein Router!
Dieses wird dann über den WAN-Port direkt an das Modem angeschlossen und alle Rechner im Netzwerk werden über die LAN-Ports des Routers verbunden. Alles unglaublich einfach!
Meine Router-Empfehlung wäre der Netgear RP114, hier eine kleine Beschreibung.
Ich hab diesen selber seit geraumer Zeit und kann mich nicht beklagen. Der Preis ist unschlagbar (so ca. 100€).
Du kannst natürlich, falls noch Rechner hinzukommen, auch noch weitere Hubs/Switches anschließen; vier Rechner ist nicht die Grenze von dem, was möglich ist, aber die gehen halt direkt, auch ohne weiter Hardware, dran.
Schönen Gruß