Ganz egal ist es nicht, da es auch viele Treiber gibt, die ausserhalb des Kernels verwaltet werden. Da ist es Aufgabe der Distributoren, diese an ihre Distribution anzupassen - oder deine Aufgabe, diese manuell zu integrieren. Das macht sehr viel Unterschied im Aufwand, bis die Kiste richtig läuft. Im grossen und ganzen sind sich die Distributionen über die letzten Jahre allerdings recht ähnlich geworden in Sachen Hardwaresupport.
Grad Debian und Fedora sind etwas restriktiv was proprietäre Treiber angeht. Gentoo ist etwas speziell, was die Installation von externen Treibern angeht (bzw ist gerne mal mit Problemen beim Kernel-Update verbunden). Aber im Grossen und ganzen sind eher die bevorzugte Paketverwaltung und grafische Oberfläche die wichtigen Selektionskriterien.