Welche BIOS-Version hast du?
Im Moment favorisiere ich die Ursache für dein Problem mehr bei der Grafikkarte und sollte noch vor jeglichen RAM-Spielereien geklärt werden!!!
Was den RAM betrifft, eines vorweg:
Dass dein RAM nicht automatisch auf seine eigentlichen Spezifikationen läuft, werte ich als Indiz für mangelnde Kompatibilität.
Er läuft, aber nicht stabil, wenn es mehr zur Sache geht (es sei, die Grafikkarte ist das Problem).
An den automatischen Voreinstellungen zu drehen, birgt immer ein Risiko der MoBo-Zerstörung.
Solltest du es dennoch vorhaben und das MoBo danach nicht starten, trenne das Stromkabel vom PC und entferne für wenigstens 30 Minuten die BIOS-Batterie.
Höchst wahrscheinlich hast du diesen RAM:
http://www.valueram.com/datasheets/KVR667D2N5K2_2G.pdf
Evtl. auch diesen (hat ECC im Gegensatz zum ersteren):
http://www.valueram.com/datasheets/KVR667D2E5K2_2G.pdf
Um den RAM auf 667MHz laufen zu lassen, könntest du im BIOS -> Registerkarte "Advanced" -> Chipset Configuration -> DRAM Frequency von Auto auf 333MHz für den DDR II -RAM-Slot gehen.
Weiteres siehe im Manual - Seite 38.
Download hier: http://www.asrock.com/manual/4CoreDual-SATA2%20R2.0.pdf
Gruß
Shrek3