Wenn Windows "denkt", auch irrtümlich denkt, dass Temporary Internet Files am richtigen Ort ist, lässt der Ordner sich nicht löschen. Der Desktop ist sozusagen auch nur ein Ordner und wenn mal irrtümlich dahin verschoben wurde, ist das Ganze auf Tod und Teufel (wenn man die Innereien von Windows nicht kennt) nicht wegzukriegen.
Ich habe aus anderen Gründen (Stabilität und Tempo von Windows) für Temporary Internet Files eine eigene Partition eingerichtet (FAT-16, 125 MB, 95 MB genutzt für den Browser-Cache, mit PartitionMagic die Cluster vergrößert auf 4k). Nach so einer Aktion verschiebt man mit den Internet-Optionen, Einstellungen den Ordner. Nach Beendigung und Neustart müsste sich Temporary Internet Files an anderen Plätzen (also auch dem Desktop) löschen lassen.