Beiträge von PeterSurma im Thema „Wie bewahrt ihr eure Daten auf“

Just another 5 pence:

Daneben sollte man vielleicht auch noch eines sagen zu dem Thema 'Ich habe ZU VIELE Daten': (also der Plattenplatz, der gebackupt werden muss, explodiert)

Punkt 1:

Man sollte - wenn irgend möglich - nur (1) die Originaldaten aufheben, und evtl. (2) die Zwischen-Daten/Bilder, die SEHR LANGWIERIGES + KOMPLEXES Processing in sich tragen (nenn ich mal: 'aufwendige Zwischendaten'). Und natürlich (3) die (near-)Final-Daten, also Endresultate. PLUS noch etwas in Punkt 2 beschriebene, s.u. ...

(OK, das dürfte den meisten klar gewesen sein, aber s.u. ... )

Das blinde Abspeichern von ALLEM, was man jemals beim Processing erzeugt hat (blind, das komplettes Work-Dir mit allem 'Mist') , führt natürlich zu extremer Datenflut.

(Ich weiss ihr macht z.T. Videos, das ist übel, ja !)

Punkt 2:

Wenn man eine Bildverarbeitungs-Software verwendet, die SKRIPTING-fähig ist, dann kann man alle Zwischendaten immer wieder relativ schnell re-erzeugen (aus den Originaldaten, oder den oben erwähnten aufwendigen Zwischendaten), falls nötig. Bzw. alle Schritte sind damit maschinell (!) reproduzierbar. Skripting heisst also: ich mache (praktisch) NICHTS (keinen Befehl) mit der Hand, sondern alles nur durch Aufrufen eines Skripts, in dem die Befehle die ich ausführe (sozusagen) aufnotiert sind. Die bereits verarbeiteten Schritte werden dann immer auskommentiert, und nur die neu anstehenden Schritte werden beim erneuten Aufruf des Skripts exekutiert. Das finale GesamtSkript ist also wie eine Art 'Log' der exekutierten Befehle, der aber also solcher insgesamt (blind) ausführbar ist.

ESO-MIDAS ist z.B. so eine Software, die das kann (sie ist allerdings nur für CCD-Daten ausgelegt, NICHT für Bayer-Matrix-Daten und Videos, jedenfalls Stand Jahr 2000). (Was sonst hier verwendet wird, weiss/kenn ich nicht, sorry.) Ich schätze aber, dass vernünftige Software normalerweise skripten kann (führt keine grosse Komplexität ein in die Architektur der Software, wenn sie schlau gebaut ist - da ein Interpreter sowieso einen eingegebenen Befehl parsen muss, also kann er auch den Skript-Content parsen + exekutieren).

UND NATÜRLICH:

hebt man DANN (4) das finale Skript auch auf - ist ja 'wertvoll wie Gold', wegen der vielen Arbeit, die da drin steckt.

So kann man insgesamt zumindest versuchen, die Datenflut besser zu MANAGEN.

Klar: man muss immer noch (device-redundante & orts-redundante) Backups haben. Daran ändern meine Punkte gar nichts ! (Nur die Menge wird vielleicht handhabbarer)

Natürlich:  die Datenflut (Videos, kurze Belichtungszeiten, Stacking) ist ohnehin sehr gross, gar keine Frage. Das ist definitiv ein Thema für jeden, der Bildverarbeitung macht.

Gruss,

Peter

Zitat von tuxtex

- NAS hilft ohne Frage für automatisierte Backups und Dateizugriff zu Hause, aber alles, was permanent im Netzwerk hängt, kann angegriffen werden. (...)

- Am Ende helfen am besten Backups und Images auf ein Laufwerk oder Medium, dass nicht ständig im Netzwerk hängt. In der lokalen IT in der Firma liegen die Medien am andern Ende des Campus im Panzerschrank. (...)

- Zu Hause ziehe ich Images und mache Backups auf USB Platten, von denen rollierend einige Platten an einem anderen Standort desastertolerant liegen.(...)

(Highlighting von mir, PS)

- Vielleicht regt mein Post den einen oder anderen zum Nachdenken an. (...)

Danke Günther !

Ähnliche Skepsis zum permanenten Netzwerkzugang von NASs war ja auch oben schon bei Robert zu lesen, ebenso !

Beitrag

RE: Wie bewahrt ihr eure Daten auf

Hallo zusammen,

Oh, der Countdown für einen OS-Religionsstreit ist gestartet . Nein, Spass beiseite.

Ich kann hier nur für Synology NAS etwas sagen, da ich solche einsetze.
Auf den Synology Disk Stations läuft ein stark angepasstes (z.B. eigener Bootloader, extrem abgespeckt in der Funktionalität) Debian Linux. Entsprechend werden auch moderne und sichere Filesysteme verwendet. Synology geht hier einen ähnlichen Weg wie Apple. In einem Mac werkelt auch ein Unix-Kern im Hintergrund, dessen…

Robert Ganter

15. Februar 2023

Und den Punkt von Kalle sollte man sich auch nochmal auf der Zunge zergehen lassen, nochmal !

Beitrag

RE: Wie bewahrt ihr eure Daten auf

[…]

Seraphin,
N = Network = online = jederzeit vom maßgeblichen Rechner aus mit Zugriff erreichbar (muss nicht via Internet sein)

Das Problem ist, dass durch Viren/Hacker oder Bedienfehler so Daten jederzeit überschrieben werden können. Das Wesen eines Backups besteht darin, u.a. genau in solchen Fällen Daten wieder herstellen zu können. Weil dem Datenverlust ist es egal, ob dies durch eine defekte Platte oder ein geschriebenes Script mit Adminrechten geschah.

Im privaten Umfeld geschehen die…

Kalle66

15. Februar 2023

Zitat von astrophin

Ich habe deine Anmerkungen nicht per se negiert, nur angemerkt dass diese nicht zwangsläufig zutreffen müssen.

(...)

Naja. Ich mach mir jetzt nicht die Mühe, Formulierungen auf Meta-Ebene und im Detail auseinanderzunehmen. Aber Deine sind schon recht offensiv, tut mir leid, das zu sagen.

Ich versuche immer eher relativ defensiv zu formulieren, siehe oben 'darf ich drauf hinweisen...' + Allgemeine Punkte, auf die man sich eigentlich meist ganz gut einigen kann/könnte... ( meinem subjektivem Gefühl nach).

Das ist schon was anderes als ein Stakkato von abgeschossenen rhetorischen Fragen und ein pauschales/finales 'ist also kein Problem' - wie bei Dir (sinngemäss) formuliert.

Naja, ich kenn jetzt unsere philosophischen Unterschiede. Muss ja kein Problem sein (dies war eine defensive Bemerkung).

Ich hätte natürlich auch schreiben können: 'ich bin nach wie vor im Recht und das ist alles unerhört und inakzeptabel und...' - Das wäre dann natürlich (sehr) offensiv... und nicht mein Stil

Aber wir müssen das alles nicht weiter vertiefen, wäre mein Vorschlag an Dich.

Gruss,

Peter

Zitat von astrophin

Wer sagt denn das N = Internet ist?

(...)

Hi Seraphin,

Ich hab nur kurz auf das offensichtliche hingewiesen. (Im übrigen betrifft Security ja nicht nur die NAS...) Ich denke das war angebracht und fair. Also besteht hier - sorry ! - kein Grund, (m)eine Anmerkung grundsätzlich zu negieren... ! Allzugrosse Leichtigkeit ist in punkto Security doch wohl eher nicht angebracht, oder !?

Vielmehr sollte man IMHO - besonders im Amateurbereich (in welchem Forum sind wir hier ?) - sehen, dass man mit EINFACHEN Massnahmen zur DatenSICHERUNG möglichst weit kommt. 'Keep it small and simple' ist i.a. in solchen Fällen ein guter Tip. Oder elaboriert: 'minimal attack surface' - ist übrigens das allererste Security-Konzept !

Wer komplexe Setups benutzt/empfiehlt, sieht sich eben auch komplexen Fragestellungen gegenüber - vieles was richtig gemacht werden MUSS, also auch vieles was falsch gemacht werden KANN. Will man DAS dann als Empfehlung an Amateurastronomen stehen lassen, die oft schon mit dem Schreiben von basic HTML überfordert sind... ??? Ist schon sehr fraglich (um nur das Mindeste zu sagen).

Wenn man bei Heise oder beim BSI mitliest hat man nicht den Eindruck, dass man selbst in 'Profi'-Setups hier alles im Griff hätte, aber wir (sorry) 'Amateure' haben das ... ???!

Da haben wir doch etwas 'philosophisch unterschiedliche' Haltungen...

Gruss, Peter

Ciao,

Darf ich aus Security-Sicht nur kurz darauf hinweisen, daß das N in NAS durchaus Sorgen machen kann, wenn man seine wertvollen Daten wirklich 'SICHER' aufbewahren will. Backups wichtiger Daten würde ich persönlich nie dauerhaft am Netzwerk unter Zugriff lassen. Wer sagt Euch, dass Eure NAS immer perfekt sicher sind vor Fremdzugriff ??? (Ransomware etc) Und ging es hier um Daten-SICHERUNG ??? Oder Daten- Exponierung ?

'Bequem' ist meist NICHT gleichbedeutend mit 'sicher' !

Gruss, Peter