Sieh mal, alles was Du siehst auf dem Desktop, muß auch geladen werden. Ist doch logisch. Und wenn Du statt 50 Icons nur noch eine Schublade siehst, wird nur noch das Bild einer Schublade geladen. In diesem Beispiel lädt der Rechner also nur ein Bruchteil an Bildchen. Und das dauert auch nur einen Bruchteil.
Viele Rechner werden im Laufe der Zeit immer langsamer, und die Icons sind einer der Gründe dafür. Natürlich nicht nur, aber auch.
Und wie schnell der Rechner ist, ist eher unwichtig, die Festplatte (solange keine SSD) ist auch in schnellen Rechnern die Bremse. Ich richte die Rechner immer von vorneherein mit Schubladen auf dem Desktop ein. Wichtige Programme hefte ich an die Taskleiste, die Icons auf dem Desktop verschwinden in Schubladen (zB Spiele und Tools). Auch das Arbeiten mit einem aufgeräumten Desktop geht viel besser von der Hand. Mein Linux hier ist noch extremer, das erlaubt kein Ablegen von Icons auf dem Desktop. Der ist immer leer.