Ich weiß zwar nichts spezifisches zu genau deinem Router, aber im Prinzip geht das so vonstatten:
Es sollte eine Buchse namens "Uplink" oder "DSL" vorhanden sein. Da kommt das T-DSL Modem dran, mit dem normalen Kabel, was die Telekom beigelegt hat.
Dann solltest du noch 4 oder mehr normale Ports vorfinden, wo du mittels Patchkabel (am besten mit Cat5-Qualität, keine Cross-Kabel) deine Rechner anschließt.
Dann geht es an die softwareseitige Konfiguration. Du gehst erstmal zur Netzwerk-Konfiguration in Windows XP, und gehst auf die Eigenschaften von "TCP-IP -> Netzwerkkarte". Dort musst du ein sog. "Gateway" eintragen, dies ist die Adresse deines Routers. Guck mal im Handbuch nach, es ist meist "192.168.1.1". Eventuell nochmal das selbe mit dem DNS-Server (im Handbuch gucken).
Dann solltest du in deinem Browser (ich nehme an IE 6.0) unter "Extras - Internetoptionen - Verbindungen" bei "LAN-Einstellungen" noch "Automatische Suche der Einstellungen" aktivieren.
Jetzt musst du noch den Router einstellen. Dazu gibst du meist im Browser die Adresse "192.168.1.1" ein, dann verbindet er sich zum Router. Da kannst du dann die Einwahldaten für T-Online eingeben, da sich ja der Router bei T-Online einwählt. Dann musst du nochmal im Handbuch nach den restlichen Optionen gucken.
Das Betriebssystem ist bei einem Router fast völlig egal.