Das 8.3 Dateisystem sollte kein problem sein. Es wird sowieso im FAT sowieso für jeden LFN (Long Filename) auch ein 8.3 Dateiname gespeichert.
Und es gibt einfachere möglichkeiten, den PC für DOS-Programme inzubremsen, als ein VirtualPC. Es gibt z.B. sogenannte Softwarebremsen zum downloaden.
@Threadstarter: hast dus schon mal im Real Mode probiert?
Den Real Mode startest du, indem du beim booten F8 drückst und nur Eingabeaufforderung wählst oder indem du im Windows Im MS-DOS-Modus neustarten wählst. Wobei ersteres zuverlässiger ist, weil wenn du zuviel TSR Treiber hast könnte es sein, dass nach dem starten von Windows nicht mehr genug konventioneller Speicher übrig ist um ins DOS zurückzukeheren.
Sollte auch nix bringen, dann benenn mal die CONFIG.SYS und AUTOEXEC.BAT um und probiers noch mal (außer wenn das Programm irgendwelche Einträge braucht, in dem Fall schreibst du einfach REM vor jedem Eintrag, außer die, die das Programm braucht. REM deaktiviert nämlich die komplette Zeile, vor der es steht).
Sonst kannst noch ein Win9x/DOS Startdiskette probieren. Wenn das auch nicht funktioniert handelt es sich wohl um ein Hardwareproblem (beziehungsweise um eine Inkompatibilität zwischen dem Programm und deiner Hardware).