Datenmenge reduzieren

  • Herzliches Moin an alle!


    Die ersten klaren Nächte habe ich hinter mir, und ich ersaufe in Daten. Und jedes fertige Foto sagt mir: Du brauchst noch viel mehr davon.
    Stellt sich die Frage nach Einsparmöglichkeiten.

    Lights: Nach der Verarbeitung kann ich den Process-Ordner leeren. Das war's auch schon.

    Aber die Korrekturbilder werden vor der Einrechnung ins Bild erst selbst gestackt. Aus vielen Darks wird ein Masterdark. Das erst wird verwendet. Die Darks selbst brauche ich dann eigentlich nicht mehr. Die könnte ich auf eine Scheibe brennen und für Notfälle im Schrank verstauen. Richtig? Auch die Biases und Flats könnte man in Form der Masterdateien einsetzen.
    Ich überlege daher, eine Dark-Bibliothek anzulegen, die aus den Masterdarks besteht. Eine 100er-Serie schrumpft dann auf ca. 1% Datenvolumen.
    Und die Korrekturdaten machen bei mir noch den mit Abstand größeren Teil aus.

    Ist der Gedankengang korrekt?
    Danke für jede Antwort!

    Bastian

  • Bastian,

    ob man von den Daten erschlagen wird, ist nur eine Frage der Festplattengröße. Da man heutzutage Terabyte-Platten für wenig Geld kaufen kann (ein TB kostet doch weniger als 10 Euro inzwischen), täte ich Rohdaten nur wegwerfen, wenn sie nach erster Sichtung wirklich nichts taugen.


    Das mit den Masterdarks ist immer so eine Sache. Die Temperatur muss passen, der Chip darf nicht zu stark 'altern'. Flats sind schlimmer, denn sie müssen zu den Lights passen. Aber selbst wenn man 100 Darks und Lights a 100 MB hätte .... Das sind zusammen 10GB ... so eine 40-Europlatte könnte davon 400 Sessions speichern, mind. 2 Jahre also. Ich wette, Deine Stromkosten für's Hobby sind höher.

  • Da man heutzutage Terabyte-Platten für wenig Geld kaufen kann (ein TB kostet doch weniger als 10 Euro inzwischen), täte ich Rohdaten nur wegwerfen, wenn sie nach erster Sichtung wirklich nichts taugen.

    Exakt so mache ich das auch. Festplattenspeicher kostet fast nichts, ich habe inzwischen ca. 10TB an Rohdaten redundant gespeichert.


    könnte ich auf eine Scheibe brennen

    Grundsätzlich: auf CD würde ich zur Langzeit-Archivierung nichts brennen und auch eine vom Strom abgekoppelte SSD hält ihre Daten nicht ewig. Also am besten eine herkömmliche (externe) Festplatte.


    Gruß, Jochen

  • Ich hatte letzte Woche noch 25 alte 250 / 320 / 500GB Platten, die ich schreddern musste, weil niemanden, den ich gefragt hatte, sich eine externe Platte zulegen wollte. Nicht mal für geschenkt. Ich denke, wenn man sich für 15 Euro eine USB-3-Dockingstation kauft, können zwei alte Platten günstig und noch ziemlich lange als externe Laufwerke mitbetrieben werden.

  • Alle paar Jahre gibts einen neuen PC und die 1TB HDD's sind immer ausgebaut und in die Schublade gewandert.

    Hab mir dann auch mal für kleines Geld so eine USB3.0 Docking-Station geholt und ziehe die Bilder immer auf diese HDD.

    Dann kommen die in HDD-Plastikcontainer und ab in die Schublade.


    Hab auch noch ein paar 250, 320 und 500er in kleineren Formaten, aber das lohnt sich für mich nicht, sind zu schnell voll.


    Mal schnell geschaut, 4TB Platten gibts ab 95€...


    Grüße

    Hartmut

    EQ6R-PRO | OMEGON PUSH+ | SW Allview | Unistellar eQuinox | Seestar S50 |  ASKAR FMA 135

    SW 200PDS/1000 | SVBONY 503 80/560 (448) | SkyMax 102/1300 MAK | TS 61EDPH II

    ASI 120MC-S & MM-Mini | veTEC533c / 571c | N.I.N.A.

    METEORCAM (RPi4) (https://globalmeteornetwork.org/weblog/DE/index.html) DE000Q

  • Der Punkt mit dem Speichern der Rohdaten ist doch folgender ...


    Laufend werden Programme wie PI weiter entwickelt und auch selbst lernt man ja laufend hinzu. So kann es passieren, dass man an einem wolkigen Abend plötzlich den alten Datenstack neu aufrollt und sich u.U. nachträglich wundert, was man daraus noch alles machen kann.


    Oder man liest irgend eine Geschichte über das Objekt, denkt sich: "Himmel, Arsch und Zwirn ... daran hab' hab ich gar nicht gedacht", und will dann nachträglich (Jahre später) vielleicht eine unbekannte Dunkelwolke oder was auch immer heraus arbeiten.


    Nur achtet bei externen USB-Platten bitte darauf, dass diese niemals auf den Boden fallen dürfen. Magnetplatten vertragen KEINE Stöße.

    Besorgt euch mind. eine Antirutschmatte, damit sie nicht beim ersten Zupfer am USB-Kabel vom Tisch rutscht.


    Ich kann mich erinnern, da hatte ich vor 25 Jahren mal eine neue 3,5-Festplatte einzeln, ohne Schachtel bei einem PC-Schrauber im Studentenviertel gekauft, in eine Tüte auf den Beifahrersitz gelegt und beim Aussteigen und Tür Öffnen rutschte sie mir aus der Tüte vom Sitz zuerst auf den Türrahmen und von dort auf den Asphalt. Gefühlt sah ich das in Zeitlupe ... und da war sie dann KAPUTT. Schon beim Partitionieren/Formatieren trudelten so viele Sektorfehler ein, dass sie reif für die Tonne war.

  • Magnetplatten vertragen KEINE Stöße.

    Und niemals während des Betriebes in die Hand nehmen. Wenn der Schreib/Lesearm gerade unterwegs ist, dann kann es einen feinen Headcrash geben...

  • Tja, was soll ich sagen - Datenverlust (ungeplant) gehört in meinem Job zum täglichen Brot. Vorallem die SD aus den kleinen Kameras sind davon betroffen. Die Dinger kosten nix, wir müssen sparen ud ich habe dann die Arbeit damit. .

    Ich hatte mir mal 3 x 256er und 512GB SD-Karten gekillt. Da war Astroberry OS drauf. Wenn ich die in mein WIN 10 Drive gesteckt habe, sind die kaputt gegangen. Wurde ein bisschen heiß....

    Keine Ahnung, warum das passiert ist. Dann habe ich davon die Finger gelassen (512er -> 50€) und bin auf M.2 Interface/ SSDSpeicher umgestiegen.

    EQ6R-PRO | OMEGON PUSH+ | SW Allview | Unistellar eQuinox | Seestar S50 |  ASKAR FMA 135

    SW 200PDS/1000 | SVBONY 503 80/560 (448) | SkyMax 102/1300 MAK | TS 61EDPH II

    ASI 120MC-S & MM-Mini | veTEC533c / 571c | N.I.N.A.

    METEORCAM (RPi4) (https://globalmeteornetwork.org/weblog/DE/index.html) DE000Q

  • Hallo Bastian,


    ein noch etwas anderer Ansatz: grundsätzlich kannst Du auch Speicherplatz einsparen, indem Du weniger Lights bei dafür längerer Belichtungszeit anfertigst. Ob das Sinn macht, hängt halt stark von den individuellen Gegebenheiten ab. Ich behalte bei manchen Objekten alle Lights (z.B. Kometen und Supernovae), bei anderen nur die Summenbilder ("Allerweltsmotive", aber auch Sonnenfleckengruppen, weil letztere einfach zu viele sind). Neben dem reinen Aufbewahren solltest Du auch an eine gute Backupstrategie denken, um Datenverlust zu vermeiden, aber dazu gab es wohl auch schon längere Threads hier im Forum.


    Viele Grüße

    Christian

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!