Unterstützung für Bachelorarbeit - KI Subframe Selection

Hallo zusammen,

zunächst einmal kurz zu mir: Ich bin Oliver, 24 Jahre alt und studiere derzeit Informatik.

Seit 2020 beschäftige ich mich hobbymäßig mit der Astronomie und der Astrofotografie. Im März letzten Jahres habe ich mir dann auch mein erstes richtiges Deep-Sky-Setup in Form einer EQ6-R Pro und einem SW 200/1000 PDS Explorer zugelegt.

Im kommenden Wintersemester steht für mich die Bachelorarbeit an und hierfür plane ich, eine KI anzulernen, welche automatisch die besten Bilder einer Session raussucht.

Natürlich habe ich inzwischen schon einige eigene Bilder angesammelt, die für einen Prototypen wahrscheinlich auch schon ausreichen würden.

Um jedoch ein zuverlässiges Modell anzulernen, welches auch mit unterschiedlichen Situationen (Brennweite, Bortle, Mond, Seeing, Fokus, Himmelsregion, Mono/OSC, Nachführungenauigkeiten, ...) einigermaßen robust klarkommt, benötige ich ein möglichst diverses Datenset.

Da ich aktuell mehr oder weniger noch die Machbarkeit des Projekts evaluiere, möchte ich euch auf diesem Wege zunächst fragen, ob generell Interesse bestehen würde, mich bei diesem Projekt zu unterstützen, indem ihr mir Rohdaten eurer Sessions zur Verfügung stellt. Am Besten wäre es natürlich, wenn auch die schlechten, aussortierten Bilder noch in einem Unterverzeichnis o.ä. vorhanden wären. In gewissem Maße kann ich aus guten Bildern durch Verzerrungen und ähnliches künstlich schlechte Bilder machen.

Wenn die schlechten Frames der bisherigen Sessions nicht mehr vorhanden sind, wäre es hilfreich, wenn ihr in den kommenden Monaten - mit diesem Projekt im Hinterkopf - die aussortierten Bilder neben euren lights in einem Ordner namens "bad_lights" oder ähnlichem sammeln könntet.

Inwiefern ich eine Infrastruktur zum Hochladen der Rohdaten bereitstelle, muss ich mir noch überlegen.

Leider kann ich euch auch nicht viel für eure Unterstützung anbieten, bis auf dass ich dieses Tool bei Erfolg auch auf GitHub oder ähnlichem zur Verfügung stellen würde (Wenn die KI mit Hilfe eurer Daten angelernt wird, funktioniert sie darauf wahrscheinlich auch zuverlässiger )

TLDR: Besteht Bereitschaft, mir die unverarbeiteten light-Frames eurer Sessions zur Verfügung zu stellen, sodass ich damit im Rahmen meiner Bachelorarbeit eine KI damit anlernen kann?

Vielen Dank für eure Aufmerksamkeit!

Über Feedback würde ich mich sehr freuen!

Beste Grüße

Oliver S.

Hallo zusammen,

auch wenn bisher noch keine Reaktion auf meine Nachfrage kam, hoffe ich, dass sie vielleicht doch den ein oder anderen Interessenten erreicht hat.

Ich habe bereits angefangen mit meinen eigenen Daten ein Modell zu entwickeln. Um das ganze dann aber in Zukunft auch skalieren zu können, habe ich ein Formular mit Google Forms erstellt, wo ihr bei Interesse eure Daten direkt in mein Google Drive hochladen könnt: Google Formular

Da Google aus Sicherheitsgründen von unautorisierten Nutzern keine Uploads zulässt, ist hierfür ein Google-Konto erforderlich. Sollte dies ein Hindernis darstellen, könnt ihr mich bei Interesse auch mit folgenden Methoden erreichen, dann finden wir schon eine andere Lösung:

• Hier im Forum
• E-Mail: oliver.stoll3@gmail.com
• Discord: ._.olli._.

------------------------------------------------------------------------------------------------------------------

Edit: Beschreibung hier im Kommentar entfernt, da sich die Anforderungen teils leicht ändern. Darum habe ich sie in diesem Google Docs Dokument in einer englischen und einer deutschen Version zusammengefasst:
https://docs.google.com/docume…cKKPYW0E/edit?usp=sharing

Dort können bei Fragen auch direkt an den entsprechenden Stellen Kommentare hinzugefügt werden.

------------------------------------------------------------------------------------------------------------------

Ich hoffe, dass der ein oder andere mir ein paar Bilder zur Verfügung stellt.

Fragen könnt ihr gerne hier im Forum stellen, oder mich privat kontaktieren!

CS

Oliver

Hallo matss,

vielen Dank für die positive Rückmeldung und das Angebot mit dem Dateiupload!

Sollte es aus irgendwelchen Gründen dazu kommen, dass mein Formular nicht genutzt werden kann, komme ich gerne darauf zurück!

Von der Dateigröße her sollte es - denke ich - aber zunächst keine Probleme geben (wobei die Dateigröße in dem Formular 10GB pro Datei nicht überschreiten darf und pro Formulareintrag maximal 10 Dateien hochgeladen werden dürfen)

Beste Grüße

Oliver

Zuhause habe ich auf jeden Fall genug Speicherplatz in meinem Datengrab

Wenn man sich da also im Fall der Fälle zeitlich etwas abspricht, müssen die Dateien auch nicht lange auf dem Server verweilen

Beste Grüße

Oliver

Hallo Peter,

vielen Dank für die Rückmeldung! Ich habe bereits über einen Discord Server von dem britischen YouTuber "astrobiscuit" Kontakt zu anderen (Hobby-) Astrofotografen aufgenommen, aber auch von dort habe ich bisher erst einen kleinen Datensatz erhalten - wobei jedes Bisschen natürlich hilft.

Der Zeitrahmen steht nicht genau fest, da auch die Bearbeitungszeit meiner Bachelorarbeit noch nicht offiziell angefangen hat (endet jedoch spätestens am 28.2.2024).

Je nachdem, wie gut das ganze Projekt am Ende funktioniert, würde ich das auch nach meiner Bachelor-Arbeit weiter verfolgen und ausbauen.

Dementsprechend ist noch reichlich Zeit, Daten zu sammeln. Im Rahmen der Bachelor-Arbeit würde ich jedoch bis ca. Ende Januar schätzen.

Ich freue mich auf jeden Fall über jedes bereitgestellte Bild!

Beste Grüße

Oliver

Hallo Alex,

vielen Dank für das Angebot! Da kommt es auf den Tag nicht an, Hauptsache da kommt nach und nach ein wenig was zusammen.

Netter Vorschlag mit den Daten von DeepSkyWest, allerdings sind das wie es scheint bereits kalibrierte Master Frames und daher für meinen konkreten Anwendungsfall nicht zu gebrauchen.

Auf der Suche im Internet bin ich allerdings auch schon hierauf gestoßen All my raw files are (or will be) public online - AstroBin, wo ein Astrofotograf viele seiner Rohdaten zur Verfügung gestellt hat.

Die muss ich allerdings alle mal noch sichten und schauen, ob schlechte Frames bereits vorab aussortiert wurden, da ich ca. gleich viele schlechte und gute Bilder brauche.

Beste Grüße!

Oliver

Ich habe die genauen Anforderungen hier aus den Kommentaren entfernt, da ich ein neues Dokument erstellt habe, welches ich bei Änderungen laufend aktualisieren kann und wo jeder auch Kommentare schreiben kann.

Neuerdings benötige ich z.B. auch zwingend die Metadaten wie Belichtungszeit, OSC/Mono, Schmalband/Breitband, ..., da ich diese zukünftig auch in das neuronale Netz einspeisen werde.

Genaueres kann hier nachgelesen werden:

AI Subframe Selection

AI Subframe Selection (German version below) Overview This project is part of my bachelor thesis, aimed at training a deep convolutional neural network to…

docs.google.com

Hallo Ralf,

vielen Dank für deine Gedanken zum Thema! Unter anderem aus diesem Grund der visuellen Ähnlichkeit berechne ich vorab auch noch Statistiken zu den Bildern wie z.B. den Mittelwert, die Rundheit der Sterne, Anzahl der Sterne, Background Level usw. (Bisher erst 11, die auch noch nicht unbedingt optimal zu sein scheinen. Da muss ich mich noch mit der genauen Berechnung von solchen Statistiken explizit für die Astrofotografie befassen)

Aus Effizienzgründen wird auch jedes Bild in Tiles der Größe 256*256 Pixel unterteilt und jedes Tile einzeln Bewertet (Wert zwischen 0 und 1). Anschließend wird der Mittelwert aller Tiles zur Bewertung des gesamten Bildes genommen. Damit erhalte ich einen Wert zwischen 0 und 1.

Mein Ziel ist es, dass die Bilder so nach ihrer Qualität "sortiert" werden. Klappt derzeit noch nicht so gut, aber ich habe auch erst vor weniger als einem Monat angefangen, mich überhaupt mit neuronalen Netzen zu beschäftigen.

Beste Grüße!

Oliver

enta

Vielen Dank, das sind ja schon eine Menge Bilder! Dass solche Fälle eintreten (schlechte Bilder nicht mehr vorhanden / nicht in einem separaten Ordner), habe ich mir schon vorab gedacht. I.d.R. bewahrt man diese ja auch nicht auf Das jpg wird aber mit Sicherheit sehr hilfreich sein und mir schon mal einiges an Arbeit abnehmen!

Wegen der Metadaten muss ich Zuhause mal schauen, ob alle dabei sind die ich benötige. Sonst melde ich mich nochmal.

03sec

Über das Thema Lucky Imaging habe ich auch bereits nachgedacht, da in der Discord-Community von dem YouTuber astrobiscuit auch einige Leute sind, die Lucky Imaging im Bereich der Deep-Sky-Fotografie betreiben. Allerdings bin ich mir auch nicht so sicher, ob sich diese beiden Methoden (Lucky Imaging und Langzeitbelichtung) ohne Weiteres in einem neuronalen Netz kombinieren lassen. Womöglich wäre hier der Ansatz besser, zunächst ein "funktionierndes" Modell zu entwickeln und dieses Separat mit Lucky Imaging bzw. Langzeitbelichtungen zu trainieren.

Offtopic:

Das Ziel beim Lucky Imaging ist ja unter Anderem, das Seeing "auszutricksen". Was ich mir deshalb vorstellen könnte wäre, dass man (unter der Annahme, dass keine externen Störfaktoren wie Wolken in den Einzelbildern sind) zunächst aus sämtlichen Frames ein Master frame bildet, in dem das Seeing wieder "gemittelt" wird. Anschließend extrahiert man die Strukturen (Kanten) aus dem Master Frame und vergleicht die Ähnlichkeit der Strukturen mit denen in den Subframes. Das wäre allerdings ein vollkommen neues Projekt.

Sehr schönes Angebot mit dem Kontakt zu den Astronomie-Studenten, ein solcher Austausch könnte bestimmt recht hilfreich sein!

PS: wirklich schöne Website mit tollen Animationen!

PeterBez

Vielen Dank für das Angebot! Das ist überhaupt kein Problem. Genau aus diesem Grund habe ich jetzt schon angefangen mit dem Sammeln von Daten anstatt dies erst zu tun, wenn meine Bachelorarbeit offiziell beginnt.

Meine "Infopage" wäre in dem Fall dann das Google-Doc: AI Subframe Selection - Google Docs

Dieses werde ich, sollten sich Änderungen ergeben oder Unklarheiten in den Instruktionen herrschen, laufend aktualisieren. Ebenfalls können dort an den betreffenden Passagen Kommentare hinterlegt werden, wenn etwas nicht ganz klar sein sollte.

Hello Jack

Thank you for your kind words and suggestions!

I already am in contact with another community and am looking forward to seeing where this all will go.

But sharing my request on the cloudynights forum could also be beneficial I guess, especially considering that I have my complete instructions in english as well.

Best regards

Oliver

Hi Simon,

auch dir vielen Dank für das Angebot! Dann hoffe ich doch mal, dass das Wetter bei dir mitspielt

In diesem Sinne, CS

Oliver

Hallo Julian,

vielen Dank für deinen Input! Liege ich richtig in der Annahme, dass du der Julian bist, dessen Kontaktdaten Ralf mir zur Verfügung gestellt hatte (Distant Luminosity)?

Grundsätzlich hab ich mich im Rahmen der Bachelorarbeit jetzt erstmal auf Langzeitbelichtungen festgelegt, zumal ich selbst bisher auch noch kein Lucky Imaging betrieben habe. Bin aber durchaus nicht abgeneigt, wenn die Ergebnisse letzten Endes gut aussehen, das Projekt auf Lucky Imaging auszuweiten. Hier wäre ich dann allerdings vollkommen abhängig von dem Input anderer Leute, da ich selbst bisher, wie bereits erwähnt, noch nicht mit Lucky Imaging gearbeitet habe. (Oder ich müsste wohl mal damit anfangen )

Die Inspiration KI mit Astrofotografie zu kombinieren kam letzten Endes auch durch Tools wie BlurXTerminator, StarNet++ und NoiseXTerminator.

Tatsächlich habe ich bereits die Dokumentation vom PixInisght SubframeSelector genutzt um selbst Metriken wie Eccentricity zu berechnen, da ich im Rahmen der Bachelorarbeit auch evaluieren werde, wie gut unterschiedliche Modelle performen. Allerdings ist die Dokumentation vom SubframeSelector bei weitem nicht so ausführlich, was die genaue wissenschaftliche Methodik dahinter betrifft. Deswegen vielen Dank für den Link!

Unterschiedliche Inputs in das Neuronale Netz (so aktuell der Plan):

• Bilder
• Bilder + Metadaten
• Bilder + Metadaten + berechnete Metriken (Mean, Median, Background level, SNR, Eccentricity, HFR, FWHM, Anzahl Sterne)
• Metadaten + berechnete Metriken
• berechnete Metriken

Beste Grüße

Oliver

Hallo Alex,

vielen Dank für die Daten! Bisher scheinen jedoch nur die Daten von NGC7789 angekommen zu sein.

Allerdings brauchen 1058 Bilder, wie es bei NGC 891 der Fall ist, natürlich auch einige Zeit zum hochladen Und schlechte Frames sind natürlich sehr willkommen für meine KI, wäre also wohl ein perfektes Datenset für mich.

Verwendest du zufällig den SubframeSelector von PixInsight um die Bilder entsprechend zu auszusortieren? Wenn ja, könnte es ganz interessant für mich sein, welche Weighting Formel und welche Approval Formel du für den Datensatz verwendet hast (falls noch vorhanden).

Vielen Dank nochmal!

Beste Grüße

Oliver