Wie sieht es aus, so auf 5-10 Jahre hinaus betrachtet: Werden in absehbarer Zeit Festplatten (SSDs / neue Erfindungen) zur Marktreife gebracht, welche hauptsächlich oder auch im Bereich "zufällige Zugriffe / kleine Dateien" einen deutlich spürbaren Fortschritt zeigen?
SSDs bieten im Vergleich zu Festplatten hier schon einen spürbaren Fortschritt (Verbesserung von IOPS um Faktor >>10), der Wegfall der mechanischen bedingten Verzögerungen (Zeitbedarf für Positionierung des Lesekopfes und warten bis der gewünschte Sektor vorbei rotiert).
Anders als die Transfergeschwindigkeit kannst Du Latenzzeiten nicht einfach durch Parallelisierung verbessern. Die hohen Transferraten erreichst Du bei Flash-Datenträgern (wie SSDs) auch nur durch Verteilung der Lese-/Schreibzugriffe auf mehrere (viele) Flash-Speicher-Chips. Datenmengen die kleiner sind als ein Flash-Block können davon nicht profitieren. Viele aktuelle SSDs mit TLC oder QLC (?) erreichen hohe Schreibgeschwindigkeiten übrigens auch nur durch Zwischenspeichern der zu schreibenden Daten in einem Bereich der als SLC angesteuert werden. Im Hintergrund wird dann auf den langsamen regulären Speicher geschrieben geschrieben. Ist der voll, dann wird es spürbar langsamer. Im Desktop-Bereich solltest Du davon aber normalerweises nichts merken, und für Servereinsatz investiert Du dann besser deutlich mehr Geld in eine dafür geeignete SSD wenn für den Einsatzzweck relevant.
Was schon so ein bisschen sichtbar ist sind Ansätze für Nicht-Flüchtige Speichermodule, die dann irgendwo zwischen RAM und SSD einzuordnen sind. Das wird aber noch länger was für Spezialanwendungen sein und ist weit entfernt von einer Generischen Nutzbarkeit ohne speziell angepasste Software. Und das wird auch absehbar kein Ersatz für SSDs. Ich empfehle Dir auch noch mal die Lektüre von https://de.wikipedia.org/wiki/Speicherhierarchie
Im Moment habe ich schon das Gefühl, bereits an einem Punkt angekommen zu sein, an welchem es bald nur noch sehr begrenzt Sinn macht, aufzurüsten oder einen neuen Rechner zu kaufen, da meine 16 GB RAM nur in Ausnahmefällen zu 80 Prozent belegt sind
Die Entwicklung ist sicher langsamer geworden, aber gerade beim RAM sehe ich nach wie vor Potenzial: Ich habe Mitte des Jahres nach knapp 8 Jahren das System getauscht, weil RAM (hatte damals gleich mit 16GB begonnen) zu knapp war. Habe nun 64GB in der Workstation und im Schnitt 30-50% mit Anwendungen belegt (gelegentlich auch schon mal mehr; habe das System auch schon mal zum Swappen gebracht...), gelegentlich auch schon mal mehr. Der Rest wird als Datenträgercache benutzt und im Ergebnis merke ich praktisch kaum ob ich gerade auf SSD oder HDD zugegriffen wird.