Mainboards, BIOS, Prozessoren, RAM 27.209 Themen, 122.930 Beiträge

Wie schnell ist RAM bei kleinen Dateien?

Sovebämse / 19 Antworten / Flachansicht Nickles

Hallo zusammen

Da ja das Problem auch heute noch besteht, dass beim Lesen / Zugriff auf viele kleinere Dateien (wie z. B. beim Windows-Start etc.) selbst bei den SSDs noch eine riesige Diskrepanz herrscht zum Lesen grosser Dateien (Leistung im unteren einstelligen Prozentbereich, konkret so um 50 MB/s), wollte ich mal fragen, ob es diese krasse Diskrepanz eigentlich auch beim RAM gibt.

Zudem die Frage: Wird es in Zukunft mal möglich sein, das Lesen kleiner Dateien fast so schnell hinzukriegen wie das Lesen grosser Dateien? Was bräuchte es dazu noch und wie weit ist man schon auf dem Weg? Nehme an, da reden wir dan schon über den Quantencomputer bzw. diese Ebene der Technik.

Gruss und Dank
Thomas

bei Antwort benachrichtigen
Andreas42 Sovebämse

„Ja, Andreas. Was du schreibst, leuchtet mir ein bzw. habe ich eigentlich auch vorher schon gewusst. Der Verwaltungsaufwand ...“

Optionen

Hi!

Da kommt man dann mehr in den Bereich der Software Entwicklung. Dazu muss man sich dann die Frage stellen, braucht man viele kleine Dateien (zur Konfiguration)?
In der Praxis ist mir aufgefallen, dass man dazu immer häufiger auf Datenbanken zurückgreift. Die speichern dann viele kleine Datenmengen in einer größeren Datenbankdatei und umgehen damit dann den Verwaltungsaufwand für einzelne Dateien. Macht durchaus Sinn.

Andererseits sitze ich in der Praxis an einem ERP-Programm, dessen Kerntechnik noch aus den 90er Jahren kommt. Die schreiben Konfigurationsdaten aus der Datenbank in kleine ASCII-Dateien, um sie schneller lesbar zu machen. Örgs!

Und weil das ja so nicht wirklich klappt (siehe Oben), werden diese Laufzeitdaten, dann auf dem ERP-Server im RAM gehalten ("Shared memory" wird das genannt), so dass die ganzen Userprozesse diese Laufzeitdaten direkt vorfinden und nicht erst kompliziert laden müssen. (Zur Entlastung muss man sagen: als das erfunden wurde, hatten die noch keine echte Datenbank unterm Hintern, sondern haben die einzelnen Tabellendaten wirklich als normale Dateien im Filesystem gespeichert.)

Man hat also bereits seit Jahrzehnten Methoden, um mit diesem Klein/Klein umzugehen. Trotzdem bleibt es ein Murks.

Übrigens war der letzte mir bekannte Schrei im Datenbankumfeld, die komplette Datenbank komprimiert im RAM des Datenbank-Servers zu halten. Dann spart man sich die ganzen Leseoperationen auf der Platte. (Link zur Zauberei)

Bis dann
Andreas

Ich sehe die Stimmungslage meiner Mitmenschen. Daher bleibt nur eine letzte Forderung: Weltuntergang jetzt sofort!
bei Antwort benachrichtigen