Fehlerrechnung nach Davies / Levenson

  • Hallo,


    der Übersichtlichkeit halber eröffne ich ein neues Thema, die ursprüngliche Diskussion findet sich hier:
    http://www.astrotreff.de/topic.asp?TOPIC_ID=209275


    <b>Um was geht es?</b>


    In der ernsthaften Messtechnik bekommt jedes Messergebnis seine Fehlerschranken zugewiesen. Oder wenigstens eine Angabe zur Messunsicherheit.
    Bei der Vermessung von Optiken fehlt diese Angabe bisher, obwohl jeder Spiegelschleifer schon ein gutes "Gefühl" für die Genauigkeit des eigenen Prüflings entwickeln kann.


    Jetzt ist klar, dass ein Prüfling zB in Form eines Spiegels eine eindeutig definierte Oberfläche hat, der sogenannte "wahre Wert".
    Diese ändert sich kurzzeitig (Sekunde bis Minuten) nicht.
    Langzeitig kann es durchaus zu kleineren Schwankungen kommen (Thermik), dieser Einfluss soll jetzt unberücksicht bleiben.


    Sinn einer Messung ist es, die Form der Oberfläche von sämtlichen "Drecks-Effekten" wie Messfehler, Bildrauschen, Luftschlieren zu bereinigen. Das gelingt am besten mit statistischen Methoden und vielen Messwerten.


    Sinn der <b>Fehlerschranke</b> ist es, ein Intervall anzugeben, in dem sich der "wahre Wert" <b>sicher</b> befindet.
    Sinn der <b>Messunsicherheits-Angabe</b> ist es, ein Intervall anzugeben, in dem sich er "wahre Wert" <b>wahrscheinlich</b> befindet.



    <u>Beispiel: Durchmesser von Kugellagerkugeln</u>


    Wenn man Kugeln mit dem Durchmesser 10mm braucht, die maximal 0.1mm größer oder kleiner sein dürfen, kann man folgendes machen:
    Man bohrt zwei Löcher mit 9.9mm und 10.1mm.
    Wer durch das erste Loch fällt ist zu klein.
    Wer am zweiten Loch hängenbleibt ist zu groß.


    Diesen Luxus von festen Fehlerschranken hat man bei Optiken meistens nicht.
    Dazu müssen, wie im Kugelbeispiel, die Löcher <b>wesentlich</b> genauer gemessen werden, wie die benötigten Fehlerschranken.


    Deshalb behilft man sich statistischer Methoden und grenzt den Fehler "unscharf" ein.
    Die Angabe der <b>Messunsicherheit</b> (in Form von Sigma) bedeutet, dass sich der wahre Wert mit <b>68% Wahrscheinlichkeit</b> in dem Intervall +/- Sigma befindet. Im Intervall +/- 2*Sigma sind es 95%.



    <u>Beispiel: Spiegel mit RMS surface 8,5nm und Sigma 0.39nm</u>


    Umgerechnet auf Strehl bedeutet das, das 2-Sigma Intervall liegt zwischen Strehl 0,956 und 0,969.


    In einen von 20 Protokollen dieser Art würde man eine Optik vor sich haben, die in Wirklichkeit schlechter oder besser ist.
    Ja, auch besser kann passieren. Luftschlieren können theoretisch ein Protokoll mit Strehl 0,99 erzeugen, bei einen Spiegel mit "wahem Wert" von 0,80 Strehl!
    Doch dieses Ereignis ist <b>extrem selten</b> - selbstverständlich kann man mit der Kenntnis von Sigma auch diese Chance berechnen.


    Üblicherweise wird als Messunsicherheit das 1-Sigma-Intervall angegeben. In zwei von drei Protokollen würde der wahre Wert im +/-Sigma Intervall liegen.



    <b>Jetzt zur eigentlichen Rechnung</b>


    Vor zwei Jahren habe ich mir schon mal den Kopf über das Problem zerbrochen, zusammen mit einem Spiegelschleifer-Kollegen.
    Schnell wurde klar, dass die Suche nach "fertiger Arbeit" die bessere Alternative dastellt.
    Der beste Artikel zu dem Thema ist leider nur käuflich zu erwerben.
    Er trägt den Titel:


    <b>Estimating the root mean square of a wave front and its uncertainty</b>
    Angela Davies and Mark S. Levenson
    1 December 2001 / Vol. 40, No. 34 / APPLIED OPTICS 6209


    Leider sehe ich keine Möglichkeit, den Inhalt des Artikels frei zugänglich zu machen.
    Findet jemand einen Download?


    Jetzt habe ich mich um eine Umsetzung bemüht und will nicht arantieren, dass alles richtig ist.
    Ziel war es, mit den Möglichkeiten von OpenFringe auszukommen, ohne dass der Autor des Programms Dale Eason irgendwelche schnittstellen programieren muss.


    Um eine Datenbasis von 30 Messungen hat sich Kurt gekümmert - besten Dank Kurt!


    Das sind die Daten die Kurt geliefert hat:



    Aus den 30 Wavefronten sind <b>zufällig</b> Paare zu bilden.
    Von diesen 15 Paaren wird jeweil die Differenz und die Summe benötigt, und zwar <b>punktweise</b>


    Differenz ist in OpenFringe die Funktion "A-B".
    Summe gibt es nicht direkt, deshalb verwende ich "Average" und multiplizere mit zwei.


    Als <b>Input</b> braucht es also den <b>Wavefront-RMS</b> von <b>Differenz</b> und <b>Average</b>.

    Schema V2


    Die Umsetzung des Artikels verlangt weitere Hilfgrößen, u.a. wird zunächst im Quadrat des RMS (=Varianz) und in der Einheit "nm surface" gerechnet.
    Im linken oberen Kasten sind die Hilsrechnungen kommentiert.
    Nein, es sind keine komplizierten Operationen dabei.
    Die Umrechnung in Strehl als abgeleitete Größe erfolgt erst ganz am Ende.


    <b>Achtung:</b>
    Der angezeigte RMS bzw Strehl 0.963 ist <b>ausschließlich</b> aus den Summen und Differenzen errechnet!
    Wenn Kurt den "Average" aus den 30 Wavefronten gebildet hat, bin ich auf die Übereinstimmung schon sehr gespannt!
    Das würde die Richtigkeit des Verfahrens stützen.


    Im Moment ist mein Chart auf fixe 15 Paare limitiert.
    Das ergibt eine überraschend kleine Messunsicherheit.
    Liegt an Kurt's hochwertigen Interferogrammen - natürlich ist es Messunsicherheit, welche die Qualität einer Messung wiederspiegelt, und nicht das Messergebnis selbst [;)]


    Man kann die Messunsicherheit noch weiter senken, wenn man die Anzahl der Paare erhöht.
    <b>Viermal</b> mehr Messungen, 60 Paare statt 15, würden die Messunsicherheit von 0.386nm auf 0.193 <b>halbieren</b>.


    Für die mittlerweile übliche Rotation des Prüflings wird sicher noch eine Lösung gefunden.
    Für kleinere Optiken, an die zu recht besondere Anforderungen gestellt werden, sollte es erst einmal reichen.


    Fragen, Hinweise, Kritik immer gern.
    Für einen Review des Artikels durch interessiertes Fachpersonal wird sicher noch eine Lösung gefunden werden.[;)]


    Viele Grüße
    Kai


    edit: Schema V2 korrigiert

  • Kai,
    ohne den Inhalt und die Herleitung aus dem Artikel zu kennen, lässt es sich nur schwerlich darüber diskutieren. Insoweit "muss" man Dir vertrauen, dass Du die Umsetzung korrekt betreibst.


    Soweit ich mich mit Statistik auskenne, ist die Genauigkeit der Fehlerschranken davon abhängig, wie groß die "Sicherheit" sein soll (Konfidenzniveau), dass man nicht daneben liegt. Darüber hinaus gilt: Doppelte Genauigkeit führt zur 4-fachen Anzahl an Messungen (Stichprobenumfang).


    Für Nichtmathematiker:
    Es handelt sich prinzipiell um das gleiche Problem, das Politumfragen auch haben. Man befragt eine Stichprobe und wertet die Parteien-Prozente aus. Im Kleingedruckten findet man dann, dass die Prozentzahl für eine "große" Partei bei +/- x,x Prozent ist. Noch kleiner gedruckt ist, dass das Stichprobenergebnis und die +/--Grenzen nur mit einer "Sicherheit" von 95% (sog. 2-Sigma-Grenze) eingehalten werden (beim Gand-Sasso-Experiment für die Überlichtgeschwindigkeit von Neutrinos gaben sie sogar ein Konfidenzniveau von - ich glaube - fünf Sigma an (99,999... Prozent und lagen trotzdem daneben [;)]). Es verbleibt also ein Restrisiko, dass die Ergebnisse der Sonntagsfrage nicht im +/--Interall liegen. Allg. gilt, man muss den Umfang der Stichprobe quadratisch ausweiten um das +/--Intervall halbieren zu können (bei gleichem Konfidenzniveau).


    Last but not least:
    Je besser das Interferometer arbeitet, desto weniger streuen die Messergebnisse, desto kleiner die Standardabweichung (das 'Sigma) und damit das Fehlerintervall (bei gleichem Konfidenzniveau und bei gleichem Stichprobemumfang).



    Und das Grand-Sasso-Beispiel (siehe oben) zeigt auch, dass andere Fehlerquellen deshalb nicht ausgeschlossen werden können.


    PS:
    Dein Kugellager-Sortiersieb-Beispiel hat z.B. das Problem, dass der Sieb vermessen und überwacht werden muss, ob die Lochmaße stimmen und nicht z.B. durch Verschleiß größer werden. [;)]

  • Hallo Kalle,


    ja, im Moment kann niemand die Richtigkeit meiner Umsetzung überprüfen. Wir sicher noch.


    Zu den anderen angesprochenen Problemen:
    Wahlumfragen sind das denkbar schlechteste Beispiel, undurchsichtig, manipuliert, suggestiv... mir fallen auch noch andere Atribute ein, die wegen Selbstzensur nicht veröffentlicht werden[;)]


    Systematische und gar "grobe" Fehler sind nicht gedeckt, logisch, wie auch?
    Nicht umsonst sind Messungen immer auch eine Art "Kunst".
    Es braucht das Vertrauen in die Person, die Prozesse im Griff zu haben. Nicht zuletzt kann man alles und jedes auch fälschen, siehe oben.


    <blockquote id="quote"><font size="1" face="Verdana, Arial, Helvetica" id="quote">Zitat:<hr height="1" noshade id="quote">PS:
    Dein Kugellager-Sortiersieb-Beispiel hat z.B. das Problem,...<hr height="1" noshade id="quote"></blockquote id="quote"></font id="quote">


    Ja sicher, es gibt Leute die sehen überall Probleme und andere die finden Lösungen, gel[;)]


    Viele Grüße
    Kai

  • Kai,
    über die Fehler bei Umfragen oder gar deren Manipulation wollte ich nicht diskutieren. [:D] Es geht lediglich um das Prinzip.


    Ich kenne den Artikel halt nicht. Was mich etwas stutzig macht ist das paarweise Verknüpfen von Messergebnissen. Meines Wissens verbessert dies nicht die Genauigkeit. Ist das der Preis dafür, dass man die Rohdaten nicht aus OF exportieren kann - sprich der Work-Around?

  • Hallo Kalle,


    wie gesagt, ich möchte den Artikel nicht offiziell zur "Fernleihe" freigeben.
    So gesehen macht es keinen Sinn, über die Herleitung zu diskutieren, die nach meiner Einschätzung sehr fundiert ist.
    Vielleicht findest Du den Artikel irgendwo.


    Die OF Rohdaten würden mir im Moment nichts nützen weil ich nicht weiß wie ich alles verknüpfen sollte.
    Das vorgestellet Schema überlässt ja genau diese Verknüpfung den OF Routinenen und nutzt die Summen und Differenzen.


    Viele Grüße
    Kai

  • Kai,
    Deine Paarbildung ist zufällig (in der Annahme, dass die einzelnen Messungen unabhängig sind). Aber es ist eine Paarbildung "ohne Zurücklegen" und somit nur eine Untergruppe der möglichen Paare.


    Vielleicht habe ich Deine Vorgehensweise nicht richtig verstanden. Aber eine Varianzbestimmung per paarweisen Vergleich kann so nicht funktionieren. Man müsste paarweise die Einzelmessungen mit dem Gesamtdurchschnitt vergleichen, oder?

  • Hallo Kalle,


    die Summen und Differenzen werden in einen statistischen Gleichungssystem "verwurstet" um Unbekannte zu eliminieren. Passt schon so.
    Aber das bringt uns so nicht weiter.


    Eine gute Möglichkeit, das Schema zu prüfen wären synthetische Profile (exakt bekannt!) mit zufälligen Fehlern drauf.
    Das umgeht das Problem, dass man bei echter Optik den wahren Wert nicht kennt.
    Ich lasse mir da was einfallen. Aber nicht heute.
    Du darfst natürlich gern selbst Datensätze beisteuern[;)]


    Viele Grüße
    Kai

  • Hallo Kai und Kurt,


    vielen Dank für Eure Mühe! Erstaunliches Ergebnis - ich hätte die Schwankungsbreite gefühlsmäßig erheblich höher angesetzt - im angesprochenen Bereich so +-0,02 Strehl . Eine zweite voll gültige Stelle im Strehl ist erstaunlich.


    Clear skies


    Tassilo

  • Hallo Kai,


    ich verstehe die Spalte A-B in der ersten Tabelle nicht. Das kann ja nicht das "richtige" A-B sein, dann würden wir in der ersten Zeile mit A=0,043 und B=0,037 einen Wert A_B von 0,006 bekommen. Es steht aber 0,038 drin.


    Clear skies


    Tassilo
    P.S: Ich habe gelesen,dass das die "Open-Fringe Subtraktion" ist, aber was steht dahinter?

  • Guten Morgen,


    das kleine Sigma hat mich auch überrascht.[8D]
    Kurt kann ja ein paar Muster-Igramme hochladen, das ist schon erste Qualität.
    Und ich vermute, Kurt wird den Versuch mit künstlichen Luftschlieren wiederholen (mit dem Zaunspfahl wink' [:D])


    Um den Testaufwand geing zu halten, habe ich gestern Nacht noch eine kleine Simulation in OpenOffice geschrieben.
    Damit wird das Auswerten von 60 "Mess-Serien" zu je 30 "Interferogrammen" erheblich beschleunigt.
    Mit dem zusätzlichen Bonus, dass die Oberfläche exakt genau bekannt ist - ein echter Test meines Fehler-Schemas!


    Ausgangspunkt ist so eine Waschbrett-Oberfläche aus blauen Stützstellen.
    Den Fehlergrad kann man beliebig einstellen, ich habe 10nm RMS surface gewählt.
    Also etwas schlechter als Kurt's Spiegel, soviel Respekt muss ein[;)]
    Diese Oberfläche bleibt für alle 60 Serien <b>fix</b>, der RMS ist der "wahre Wert" den man in der Realität nicht kennt.



    Zur Simulation von <b>Messfehlern</b> wird ein zufälliger Offset addiert, der <b>normalverteilt</b> ist.
    Der Mittelwert dieser Fehler geht gegen Null, d.h. es gibt keine systematischen Fehler.
    In den realisierten Serien ist der "gemessene" Mittelwert natürlich nicht exakt Null, sondern schwankt.


    Die Summe aus blauer Oberfläche und Messfehler ist jeweils als roter Balken dargestellt.
    Pro Mess-Serie gibt es 30 solcher zufälligen Aufaddierungen, also 30 solche Datenreihen/Diagramme welche immer anders aussehen.


    Jetzt wird in 15 Paare gruppiert, der RMS der punktweisen Differenzen und Summen gebildet und das ganze als "Rohdaten" in mein Fehler-Schema kopiert.


    Das ganze 60x wiederholen und jeweils den "wahren Wert" von 10nm RMS surface mit dem Ergebnis vergleichen.
    Strichliste führen, in welchem Sigma-Intervall die 10nm liegen.


    <b>Beispiel einer einzelnen 30-Igramm-Auswertung:</b>


    <i>Messergebnis: 10,784nm +/- 0.640 ergibt 1-Sigma Intervall 11,432 / 10,144
    Das "wahre Wert" liegt ausserhalb von 1-Sigma des angezeigten Messergebnisses, der Spiegel wäre hier besser als gemessen.</i>



    Wenn man die 60 Serien grafisch darstellt (= entspricht 60 Messprotokollen desselben Spiegels!), dann ist die Übereinstimmung mit der Theorie schon fast unheimlich. [8D]



    Die Theorie sagt, dass 68% der Serien-Messwerte innherhalb 1-Sigma liegen und 95% innerhalb 2-Sigma.
    Damit steht meine Umsetzung des Schemas von Davies/Levenson noch nicht auf einen festen Fundament, aber auch nicht ganz auf tönernen Füßen[:D]


    Viele Grüße
    Kai<b></b><i></i>

  • Hallo Tassilo,


    die Funktion "A-B" steht in OF oberhalb des Buttons "Simulations und Graphs" direkt über dem "ph" von Graphs.
    Das ist die "punktweise" Subtraktion zweier Wavefronts.


    "A-B" wird u.a. dringend für bestimmen von Teststandfehlern gebraucht.
    Wie gesagt, die Funktion "A+B" gibt es in OF nicht. Deshalb nehme ich den "Average", was letztlich (A+B)/2 ist.


    Viele Grüße
    Kai

  • Hallo Kai,


    kannst du den Algorithmus bitte mal an einem einfachen Beispiel beschreiben, z.B. mit 4 oder 8 Messungen. Das wäre einfacher als wenn sich jetzt jeder von uns durch den Artikel durcharbeitet. Übrigens, wer den Artikel sucht wird ihn finden.


    Gruß
    Michael

  • Hallo Tassilo,<blockquote id="quote"><font size="1" face="Verdana, Arial, Helvetica" id="quote">Zitat:<hr height="1" noshade id="quote">ich verstehe die Spalte A-B in der ersten Tabelle nicht. Das kann ja nicht das "richtige" A-B sein, dann würden wir in der ersten Zeile mit A=0,043 und B=0,037 einen Wert A-B von 0,006 bekommen. Es steht aber 0,038 drin.
    <hr height="1" noshade id="quote"></blockquote id="quote"></font id="quote">Denk noch mal genau nach. Die angegebenen Werte sind "RMS Wavefront" jeweils von Messung A und von Messung B. A-B bedeutet die Differenz der beiden Oberflächentopografien, von der dann wiederum der RMS-Wert gebildet und in der Tabelle eingetragen wird. Also nicht einfach die Differenz der RMS-Werte - das würde gar keinen Sinn ergeben.


    Gruß,
    Martin

  • Guten Morgen,


    Michael hat mich auf einen Fehler im Kommentarbereich des Schemas aufmerksam gemacht, besten Dank, ist jetzt oben korrigiert.


    Weiterhin wurde der Artikel im PDF Format zum Download gefunden.
    Bei Interesse bitte PM an mich, dann schicke ich den Link und mein OpenOffice Schema in der aktuellen Version.



    Der Test des Schemas habe ich soweit automatisiert, dass ein Tastedruck reicht um eine Serie auszuwerten, die Ergebnisse zu sortieren und die Zähler für die Statistik hochzusetzen.


    Eine Serie mit 1000 "Protokollen" sieht so aus:




    Wieder eine mustergültige Übereinstimmung mit den Definitionen, hier zB der Bereich ausserhalb 3-Sigma mit theoretisch 3 von 1000 Fällen (Definition: 99,7% innerhalb). Hier sind es 4 Fälle.


    Die anderen Bereiche ebenfalls perfekt. Das innere 1-Sigma-Intervall mit theoretisch 68,3% hat real 67,9% - passt!


    Viele Grüße
    Kai

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!