CCD/CMOS-Sensor ist dies in Richtung der optischen Achse die untere ... und
die Transformation vom Kamera- zum „Datenarray“ als inneres Kameramodell.
3. Kameramodell
3 Kameramodell Das Kameramodell umfasst ein geometrisches Modell und ein Signalverarbeitungsmodell der CCD/CMOS-Kamera unter Berücksichtung der Signalschnittstelle, der Bildverarbeitungskarte und der Beleuchtungs- und Reflexionsverhältnisse der aufgenommenen Objekte.
Analoges Objektiv BAS-Signal A/DWandler Sensor
Rechner und Software Systembus
Bildspeicher
Bildverarbeitungskarte
Abb. 3-1: Videometrisches Bildverarbeitungssystem
Ein typisches videometrisches Bildverarbeitungssystem (siehe Abb. 3-1) besteht aus fünf Komponenten: • einem Objektiv, • einem optoelektronischen CCD/CMOSSensor, • einem Analog/Digital-Wandler (A/D) zur Transformation der Daten in eine werte diskrete Repräsentation, • einem Halbleiterspeicher zur Speicherung
der Bilddaten und • einem Digitalrechner zur Auswertung der Daten und der Interaktion mit der Peripherie.
3.1 Geometrisches Kameramodell Das geometrische Kameramodell in Abb. 3-2 mit vierzehn Parametern basiert auf den Arbeiten von Tsai und Lenz. Hierbei befindet sich der Ursprung des Kamerakoordinatensystems im Linsenzentrum und die z-Achse verläuft in Richtung der optischen Achse. Die Szene, in dem hier diskutierten Zusammenhang das Messmerkmal, wird über das Objektiv auf den CCD/CMOS-Sensor projiziert. Der Abstand Abb. 3-2: Geometrisches Kameramodell zwischen dem Linsenzentrum und dem CCD/CMOS-Sensor entspricht der Bildweite b. Der Hauptpunkt H ergibt sich als Schnittpunkt der optischen Achse mit der CCD/CMOSSensorebene und er ist zugleich Ursprung des Sensorkoordinatensystems. Das Bildsignal wird vom CCD-Sensor ausgelesen, übertragen und über eine Bildverarbeitungskarte (FrameGrabber) als diskrete Datenrepräsentation im Bildspeicher des Rechners abgelegt. Bei modernen Kamerasystem mit Fire-Wire-Interface werden die Daten direkt digital übertragen. Bei ihnen treten die mit der Zeilen- und Bildsynchronisation verbundenen systematischen Positionsmessfehler in der Größenordnung von 1/5 bis 2 Pixel nicht auf. Bei dem Stand der Technik ist eine Verwendung dieser Systeme sowohl technisch als auch wirtschaftlich geboten. Frame-GrabberBildspeicher CCD-Sensor Sensor-Normalenvektor r ηS(αx,αy) y v’ z KKS optische xr xv’ C z Achse xC v’ H y Kontur W yC W v x Datenarray: W W idealer Pixel[m][n] y z b CCD-Sensor WKS
Der Ursprung des rechnerinternen Koordinatensystems liegt üblicherweise in der linken oberen Ecke des Bildes. Die linke obere Ecke bezieht sich auf das Original. Auf dem CCD/CMOS-Sensor ist dies in Richtung der optischen Achse die untere rechte Ecke. Man bezeichnet die Transformation vom Welt- zum Kamerakoordinatensystem als äußeres und die Transformation vom Kamera- zum „Datenarray“ als inneres Kameramodell.
- 3-1 -
3. Kameramodell Die Abbildungsvorschrift eines Punktes im 3D-Weltkoordinatensystem auf die 2D-Koordinaten des abgetasteten Bildes im Arbeitsspeicher des Rechners lässt sich in fünf Elementartransformationen zerlegen: 1. Transformation eines Objektpunkts vom Welt- in das Kamerakoordinatensystem mit sechs äußeren Kameraparametern der Translation und Rotation (siehe auch [114] Kap. Homogene Transformationen und Posen): v C = TCW v W ,
mit
v W = ( x W y W z W 1) t v C = ( x C y C z C 1) t
Objektpunkt in homogenen Weltkoordinaten und Objektpunkt in homogenen Kamerakoordinaten.
(3-1)
2. Zentralprojektion der idealen Lochkamera in die unverzerrten idealen Sensorkoordinaten: −b / g 0 u C v = Z v , mit Z = 0 0
0 −b / g 0 0
0 0 0 und g = z C . 0 −b 0 1 0
(3-2)
Die unverzerrten idealen Sensorkoordinaten v u enthalten keine absoluten Informationen über die Kamerakoordinaten. Die Entfernung des abgebildeten Gegenstandes und die Größe des Objekts sind ohne weitere Informationen nicht bestimmbar. 3. Linsenverzerrungen: Die geometrischen Verzerrungen realer Linsensysteme können aufgrund der Zylindersymmetrie der Linsensysteme mit einem eindimensionalen, radialen Ansatz modelliert werden. Der unverzerrte Bildpunkt ( x u y u ) t auf der idealen Sensorebene wird hierbei in einen verzerrten Bildpunkt ( x v y v ) t über die Gleichung xv xu 2 v= u u 2 y 1 + 1 − 4 χ (r ) y
1
(3-3.1)
bzw. der Inversen
xu xv 1 = , mit r ε = ( xε ) 2 + ( y ε )2 , ε ∈ {u, v} u v 2 v χ + 1 ( r ) y y
(3-3.2)
transformiert. Bei diesem Ansatz werden nur radiale Verzerrungsfehler χ erster Ordnung berücksichtigt. 4. Kippwinkel der realen Sensorebene:
Einbaufehler des CCD/CMOS-Sensors führen dazu, dass die ideale Sensorlage senkrecht zur optischen Achse nicht exakt eingehalten wird. Dieser Fehler kann durch zwei Rotationswinkel αx und αy beschrieben werden. Der Bildpunkt ( xS y S ) t auf dem realen Sensor ergibt sich dann als Schnittpunkt des Projektionsstrahls, der durch die verzerrten Koordinaten in Glei-
1
v u 2 Funktion der Datenblattkennlinie des Objektivherstellers Pentax: r − r = − 1 (siehe auch u r 1 + 1 − 4 χ (r u ) 2
Kap. 10 Abb. 10-6; χ ≈ -4113; Weitwinkelobjektive weisen relativ große Linsenverzerrungen auf.).
- 3-2 -
3. Kameramodell chung (3) auf der idealen Sensorebene verläuft, mit der realen Sensorebene entsprechend den Gleichungen
( xS y S ) t = ( ySv'x ySv'y ) t , mit y Sv' = p1v' +
(p1v' e v'z ) (p1v' − p 2v' ) , (p v'2 − p1v' ) e v'z
piv' = D y (α y ) D x (α x ) p iI , i ∈ {1, 2} , p1I = ( x v , y v , 0 ) und p I2 = ( 0, 0,b ) t
t
(3-4)
bzw. mit der Inversen (x y ) = ( y v
v t
I Sx
(p1I eIz ) (p1I − p 2I ) , y ) , mit y = p + (p I2 − p1I ) e Iz I t Sy
I S
I 1
p1I = D x (−α x ) D y (−α y ) y Sv' , y Sv' = ( xS , yS , 0) t und p 2I = (0, 0, b) t .
(3-5)
Aufgrund der Fertigungstoleranzen existieren neben den Drehwinkelfehlern αx und αy ferner Positionsfehler des CCD/CMOS-Sensors, die über die Hauptkoordinaten erfasst werden. 5. Skalierungsfaktoren und Hauptkoordinaten: Das früher gebräuchliche Prinzip der Signalübertragung vom CCD-Sensor in den Bildspeicher der Bildverarbeitungskarte beruht auf der orts- und wertediskretisierenden Abtastung eines analogen Videosignals mit der Abtastfrequenz fp. Das Videosignal selbst wird durch das Auslesen der ortsdiskreten und quasi wertekontinuierlichen Ladungen des CCD-Sensors mit dem Sensortakt fs und anschließender Tiefpassfilterung gewonnen. Die Ladung ist im mikroskopischen Sinne gequantelt, so dass jede Ladung nur ein ganzzahliges Vielfaches der Elementarladung repräsentieren kann. Unter einem kontinuierlichen Signal wird hier die klassische analoge Repräsentation verstanden. Diskrete Signale repräsentieren in diesem Zusammenhang Signale, die aufgrund der Datenverarbeitung und nicht wegen elementarer physikalischer Prozesse diskretisiert sind. Infolge dieser Signalverarbeitung hat der Bildpunkt ( xS , yS ) im skalierten Sensorkoordinat
tensystem des Bildspeichers die Pixelkoordinaten: x r − xS / S x H x 2 + , r = S H − y S / y y y
(3-6.1)
mit den horizontalen und vertikalen Skalierungsfaktoren3 Sx = d x ⋅
fs , Sy = dy fp
(3-6.2-3)
und dem Hauptpunkt (H x
H y )t
(3-6.4)
Der Hauptpunkt gibt die Koordinaten der optischen Achse in Pixelkoordinaten an, dx;y definiert die CCD/CMOS-Sensorzellenabstände in x-bzw. y-Richtung und der Vorzeichenwechsel in x- und y-Richtung berücksichtigt die Zuordnung der Achsrichtungen der rechnerinternen Darstellung.
2 3
Je nach Definition des RAM-Koordinatensystems ist hier eine Vorzeichenumkehr oder nicht zu beachten. Für eine digitale Signalübertragung ist fs/fp = 1 zu setzen (Fire-Wire-Interface).
- 3-3 -
3. Kameramodell Das Modell ist trotz der Einbeziehung der Linsenverzerrungen und des Kippwinkels der realen Sensorebene einfach und hat ein Minimum an physikalisch sinnvollen Parametern. Es ist jedoch nicht notwendigerweise minimal. Die in der Realität vorkommenden Abweichungen vom geometrischen Modell sind in Tab. 1 zusammengefasst. Die Hauptquellen der o.g. strukturell nicht erfassten Fehler, die letzten vier Fehlerursachen, lassen sich eliminieren, wenn man anstatt der BAS-Videosignalschnittstelle eine digitale Videoschnittstelle verwendet, bei der eine CCD/CMOS-zellensynchrone A/DWandlung in der Kamera oder auf der Bildverarbeitungskarte erfolgt. Der thermische Einfluss auf die Messgenauigkeit einer CCD/CMOS-Kamera wird bei gebräuchlichen Bildverarbeitungskarten mit PLL-A/D-Wandler-Takterzeugung und bei digitaler Datenübertragung im wesentlichen durch die Expansion des CCD/CMOS-Sensors bestimmt. Wird eine Messung grundsätzlich erst nach dem Erreichen der Betriebstemperatur (Zeitkonstante: τ = 1 - 3 Stunden) von Kamera und Bildverarbeitungssystem durchgeführt, so lassen sich diese Einflüsse bei üblichen Raumtemperaturschwankungen gegenüber den räumlichen Verformungen der zu vermessenden Objekte vernachlässigen. Anderenfalls ist eine sensorinterne lineare Temperaturkompensation sowohl der Kamera- als auch der Sensorparameter angeraten. • • • • • • • •
Linsenfehler, die nicht mit radialsymmetrischen Termen erfasst werden können (meist kleiner als 1/50 Bildpunkt) Mechanische Instabilitäten der Sensormontage und des Objektivs Geometriefehler des Sensors (unter 20 nm) Thermische Expansion des Sensors (≈ 2 ppm/K) Zeilenjitter durch ungenaue Zeilensynchronisation zwischen Kamera und A/D-Wandler der Bildverarbeitungskarte (unter einem halben Bildpunkt, nicht bei digitalem Interface) Thermische Drift der Oszillatoren in der Kamera und auf der Bildverarbeitungskarte (für A/D-Wandler ohne PLL unter fünf Bildpunkte am rechten Rand des Bildes, nicht bei digitalem Interface) Regelschwingungen der PLL bei geregelter Abtastfrequenz des A/D-Wandlers (unter einem achtel Bildpunkt, nicht bei digitalem Interface) Unsymmetrisches Punktbild aufgrund nicht phasenkorrigierter Filter (nicht bei digitalem Interface) Tab. 3-1: Modellfehler des geometrischen Kameramodells
Kamerakalibration Die für eine Kamerakalibrierung von 1/50 bis zu 1/100 Pixel erforderlichen Kameraparameter sind die Modellparameter des o.g. geometrischen Kameramodells. Es handelt sich hierbei um 14 Parameter •
6 Freiheitsgrade der äußeren Kameraorientierung t x , t y , t x , θ x , θ y , θ z ,
•
Bildweite b,
•
Rotationssymmetrische Linsenverzerrungen χ ,
•
Kippwinkel der realen Sensorebene α x , α y ,
•
Skalierungsfaktoren S x , S y und
•
Hauptpunkt H x , H y
Die Parameter des Kameramodells ohne die äußere Kameraorientierung werden auch als innere Kameraparameter bezeichnet. - 3-4 -
3. Kameramodell Nach unten hin wird die erreichbare Genauigkeit auf 1/200 bis 1/100 Pixel begrenzt. Hierbei kommen dann mehr und mehr die Inhomogenitäten der Beleuchtungsquellen und Reflexionseigenschaften der Materialen im Zusammenhang mit den in der Tab. 3-1 strukturell nicht erfassten Fehlereinflüssen des Kameramodells zum Tragen. Die Einflüsse der Beleuchtungsquellen und Reflexionseigenschaften können zusammen mit dem Kamerarauschen und Quantisierungsrauschen als statistische Störungen interpretiert werden (siehe auch Abb. 3-3). Die Abb. 3-3 zeigt die Situation für ein Messmerkmal im Durchlichtverfahren. Für eine genauere Analyse dieser Grenzen müssen die eingesetzten Messmerkmale und Algorithmen in der Anwendungssituation herangezogen werden. • Photonenrauschen und Thermisches Rauschen (vernachlässigbar) • Thermisches Rauschen im CCD-Sensor (σ ≈ 0,1 LSB, 8-bit A/D-Wandler) • Schrotrauschen an PN- und Schottky-Übergängen (σ ≈ 2 bis 3 LSB) • Elektronikrauschen (0,2 LSB) • Quantisierungsrauschen (σ 2 = 1/12 (xMax / N)2, N = 256) 12%
Bohrloch
Rauschen + Inhomogenität der Beleuchtung + Reflexionseigenschaften der Materialienbei Durchlichtbeleuchtung
p (g ) 8%
4%
240
216
192
168
144
120
96
72
48
24
0
0%
g
Abb. 3-3: Rauschen bei der Positionsmessung (N := Quantisierungsstufenzahl)
Bis zu 1/10 Pixel kann man bei nicht minderwertigen Objektiven und Kamerasystemen im allgemeinen auf die Erfassung der Linsenverzerrungen und Sensorkippwinkelfehler verzichten, so dass das lineare Kameramodell zum Einsatz kommen kann.
3.2 Linsenverzerrungen höher Ordnung und Orthogonalreihenentwicklung Die Herstellungsprozesse der optischen Systeme lassen es erwarten, dass die Linsenverzerrungen dominierend durch rotationssymmetrische Terme zu beschreiben sind. Liegt eine Anisotropie der Linsenverzerrungen vor, so sind zweidimensionale Taylor-Reihen oder zweidimensionale Orthogonalreihen zur Fehlermodellierung heranzuziehen. Bei steigenden Genauigkeitsanforderungen treten je nach Güte der optischen Systeme mehr und mehr anisotrope, nicht rotationssymmetrische Effekte zu Tage. Die Verzerrungsfunktionen sind überwiegend von der Blendenöffnung und Brennweite des optischen Systems anhängig. Deshalb ist darauf zu achten, dass man bei der Kamerakalibration die im Einsatzfall vorliegenden Werte einstellt. Anderenfalls müsste man die Verzerrungsfunktionen nach der Brennweite und Blendenzahl parametrisieren. Dies würde vierdimensionale Potenz- oder Orthogonalreihenansätze zur Folge habe. Im Hinblick auf eine vollautomatische Sensorkalibration mit motorisch verstellbaren Brennweiten und Blendeneinstellungen der Objektive ist dies keineswegs mehr wirtschaftlich uninteressant.
- 3-5 -
3. Kameramodell Definiert man eine multiplikative Verzerrungsfunktion, die die Fehler von der idealen Übertragungsgeraden beschreibt, so erhält man als allgemeine Linsenverzerrungsfunktion: 1 f (r u ) ∂f ∂f r v = + x u r u , mit f x ; y (0) = x; y (0) = x; y (0) = 0 . ∂x ∂y 1 f y (r )
(3-7)
Im Falle der Rotationssymmetrie vereinfacht sich diese zu:
(
rv = 1+ f
( r )) r u
u
, mit f (0) = f ′(0) = 0 .
(3-8)
Durch eine zweidimensionale Taylorreihen-Entwicklung erhält man für den allgemeinen Fall k K ∂ ∂ u u ∑ x + y f x (0) ∂y 1 k = 2 ∂ x u rv = + r k 1 K ∂ u ∂ u ∑ ∂ x x + ∂ y y f y (0) k =2
4
(3-9)
bzw. für rotationssymmetrische Verzerrungen mit einer eindimensionalen Reihenentwicklung: K ∂k f r v = 1 + ∑ k ( 0 ) r u k =2 ∂ r
( )
k
u r .
(3-10)
Für die Linsenverzerrungen erster Ordnung der multiplikativen Verzerrungsfunktion gilt:
χ=
∂2 f (0) . ∂ r2
(3-11)
Im Hinblick auf die dreidimensionale videometrische Messtechnik ist die inverse Verzerrungsfunktion zu bestimmen, da man die RAM-Koordinaten in ideale, unverzerrte Sensorkoordinaten überführen muss. Kommen hierbei anisotrope und rotationssymmetrische Linsenverzerrungsmodelle (K-1)-ter Ordnung zum Einsatz, so sollten die inversen Verzerrungsfunktionen über inverse Verzerrungsmodelle h entwickelt werden. Dies kann man analog mit k K ∂ ∂ v v ∑ x + y hx (0) x y ∂ ∂ 1 v = k 2 ru = + r k 1 K ∂ v ∂ v ∑ ∂ x x + ∂ y y hy (0) k =2
(3-12)
bzw. für rotationssymmetrische Verzerrungen mit der eindimensionalen Reihenentwicklung K ∂k h r u = 1 + ∑ k ( 0 ) r v k =2 ∂ r
( )
4
∂ ∂x
k
v r .
(3-13)
k
xu +
k k ∂ u k ! ∂ k −i ∂ i f u k −i ui u k −i y f ( 0) = ∑ ( ) x y = yu i 0 ∑ ak i x k −i i i !( k i )! x y ∂y − ∂ ∂ i =0 i =0
- 3-6 -
3. Kameramodell vollziehen. Für die Sensorkalibration bedeutet dies, dass man die inverse Kameraabbildung kalibrieren muss. Für die dreidimensionale videometrische Messtechnik ist dies ohnehin geboten und realisierbar. Dies gilt jedoch nicht für die Einkamerakalibration. Die Potenzreihen können gleichwohl durch ein- und zweidimensionale Orthogonalreihen ersetzt werden. Hierbei ist darauf zu achten, dass man bereits mit wenigen Termen eine möglichst gute bzw. glatte Approximation der Verzerrungsfunktion erreicht. Dies lässt sich mit Splinefunktionen erreichen. Die Splinefunktionen sind durch ein Modell dünner Latten motiviert, die man an gegebene Stützpunkte ohne äußere Krafteinwirkung schmiegt. Dieses Konzept sollte jedoch erst zum Einsatz kommen, wenn die angestrebten Genauigkeiten durch die Potenzreihenansätze bis zur Ordnung 4 nicht mehr ausreichen. Erfahrungsgemäß haben die verbleibenden Einflussgrößen gegenüber den Linsenverzerrungen einen höheren Rang. Fehlerabschätzungen der Linsenverzerrungsmodelle
Die eigentliche Problematik der Fehlerabschätzung liegt in der Tatsache, dass die Verzerrungsfunktion eines Linsensystems empirisch ermittelt werden muss. Diese hierfür notwendigen Informationen sollten vom Objektivhersteller beschafft werden. Zur Charakterisierung der typischen Linsenverzerrungen wäre eine Schar von Objektiven auf einem hierfür speziell konzipierten Messplatz zu untersuchen. In einem typischen „Kalibrationsmessplatz“ lassen sich die Linsenverzerrungen allein nicht erfassen (Separationsproblem). Mit dem Messplatz kann man nach Kamerakalibration durch Ein- und Ausschalten der Linsenverzerrungskorrektur exemplarisch den Einfluss indirekt messen. Die Fehlerdifferenzfunktion charakterisiert den Gewinn, dem man durch die Linsenverzerrungsmodelle erreicht, sofern diese im Sinne der numerischen Rang- bzw. Identifizierbarkeitsuntersuchung als identifizierbar eingestuft werden können. Fehlerabschätzungen der Potenzreihenmodelle könnten prinzipiell über das Restglied (n = K) Rn (r0 , r ) =
1 t ⋅ ( r − r0 ) ⋅∇ 2 f n ( z n ) ⋅ ( r − r0 ) , r0 = 0 , mit 2
(3-14)
r m = (1 − υm ) r0 + υm r , mit υm ∈ ] 0 , 1[
(3-15)
vollzogen werden. Für die rotationssymmetrische Korrekturen ist die Integralform Rn (r0 , r ) =
( r − r0 ) n!
n +1 1
∫ (1 − t )
n
f ( n +1) ( r0 + ( r − r0 ) t ) d t , mit
(3-16)
0
vorzuziehen. Es lässt sich jedoch tendenziell sagen, dass die Linsenverzerrungsfehler mit der Modellordnung nach dem Gesetz Rn
(r − r ) ~ Max 0
n +1
n!
bzw.
(3-17.1)
Rn +1 ( rMax − r0 ) ~ Rn n +1
(3-17.2)
abnehmen.
- 3-7 -
3. Kameramodell
3.3 Lineares Kameramodell Unter Vernachlässigung der Linsenverzerrungen und Sensorkippwinkelfehler lässt sich ein lineares Kameramodell (LDT5-Kameramodell) x u z b t11 t12 C v = T ⋅ v ≡ y = v z b = t21 t22 z zC t 31 t32 C
C
W C
t13 t14 t23 t24 t33 t34
C
W
x y z 1
W
(3-18)
heranziehen. Hierbei sind ( u v ) die idealen unverzerrten Sensorkoordinaten. Dieses Modell kann sowohl zur Schätzung der äußeren Orientierung als auch zur 3D-Positionsmessung herangezogen werden. Diese Gleichungen sind einfach jedoch in ihrer Genauigkeit beschränkt, wenn keine hochwertigen Kamera- und Linsensysteme zum Einsatz kommen. t
Beim Einsatz des LDT-Modells können für die Linsenverzerrungen und Sensorkippwinkelfehler keine physikalisch motivierten Modelle genutzt werden. Es werden hierbei typischerweise mehr mathematisch motivierte Entzerrungsmodelle auf der Ebene der RAM-Koordinaten eingesetzt: •
Sensorkippwinkel-RAM-Entzerrungsmodell (Größen auf b normiert) r
x (p IN1 eIz ) (p IN1 − p IN 2 ) I I , mit y p = + NS N1 (p IN 2 − p IN1 ) eIz y r'
p
I N1
1 x = D x (−α x ) D y (−α y ) , p IN 2 = eIz = (0, 0,1) t b y
( (
r r' x S x H x − x = y Sy H y − yr
•
) )
und
(3-19)
Linsen-RAM-Entzerrungsmodell für rotationssymmetrische Linsenverzerrungen erster Ordnung rv
y
I NS
rI
x x 1 = = 1 + χ r v (r r v ) 2 y y
x y
rv
, mit r rv = x rv 2 + y rv 2
(3-20)
Bemerkungen: Die 3D-Positionsmessung in Kap. 6.3 und die Parameteridentifikation in Kap. 7.2.6 LDT-Modells erfolgt ohne Beschränkung der Allgemeinheit für b = t34 = 1. Die äußeren Parameter, Bildweiten, Maßstabsfaktoren und Hauptpunkte sind beim LDT-Modell nicht explizit bekannt, weshalb die Epipolare in Kap. 6.6 nicht herangezogen werden kann. Diese Einschränkung ist bei der Suche von Korrespondenzen bei relativ großen Markerzahlen von Nachteil.
5
Linear Dependence Transform
- 3-8 -
3. Kameramodell
3.4 Videometrisches Kameramodell Das Modell der Bildsignalverarbeitung des Aufnahmevorganges beschreibt die Abbildung eines Raumpunktes durch die Optik einschließlich der anschließenden Signalverarbeitung bis hin zum Signalwert im Bildspeicher des Rechnersystems (siehe Abb. 4). Man unterscheidet hierbei ortsinvariante und ortsvariante sowie punkt- und flächenbezogene Operatoren, die auch in Kombination auftreten können: • Die ortsunabhängigen Einflüsse der Blende, der DefoFokusfehler kussierung, die lokale räumliche Integration der LadunLinsenfehler gen des CCD/CMOS-Sensors und die linienhafte, horiBeugung zontale Tiefpassfilterung im Verstärker können zu einer Vignettierung Kamera-Gamma örtliche entsprechenden Unschärfe der Abbildung führen. PhotonenIntegration rauschen Abtastung • Die Tiefpasswirkung der Ortsintegration der Verstärker- und Quantisierungsrauschen CCD/CMOS-Zellen überwiegt bei einer Auflösung mit BildA/D speicher z.B. 512 x 512 Elementen und ca. 10 µm Zellengröße, Filter Abtastung also typischer Fernsehqualität, selbst bei kleiner BlenAbb. 3-4: Modell des Signaldenöffnung und verschiebt die optimale Blendenstellung übertragungsverhaltens des zu größeren Blendenzahlen. Erst bei höheren AufBildverarbeitungssystems lösungen ist für ein optimales Abbildungsverhalten der Optik die Wahl der optimalen Blendenöffnung des Objektivs sinnvoll. Dabei gilt es, die Konkurrenz mit dem Schärfentiefeverhalten zu beachten. • Der Einfluss von Ladungstransferverlusten im CCD-Sensor ist ortsvariant, weil er von der Anzahl der zu durchlaufenden CCD-Speicherketten abhängt. Aufgrund der hohen Ladungstransfereffektivität von ca. 99,99999% lässt sich in erster Näherung eine Ortsinvarianz annehmen. Die Ladungstransferverluste betragen z.B. bei 1024 Transfertakten ca. 0,0102% (Nicht bei CMOS-Sensoren). • Die Ortsdiskretisierung in den CCD/CMOS-Zellen des Sensors führt bei einer nicht ausreichenden Bandbegrenzung zu einem Aliasingeffekt. Dies hat eine periodisch ortsvariante Impulsantwort zur Folge, wodurch die Trennung von Geometrie- und Signalverarbeitungsmerkmalen des Bildverarbeitungssystems erschwert wird. • Ortsunabhängige, jedoch teilweise vom Signalwert abhängige Einflüsse stellen das Photonenrauschen, das thermische Rauschen und das Quantisierungsrauschen des A/DWandlers dar. • Ortsabhängige Einflüsse aufgrund der Vignettierung und der individuellen nichtlinearen Kennlinien der einzelnen CCD/CMOS-Zellen sowie der individuellen Nichtlinearitäten und Offsetfehler der dem CCD/CMOS-Element zugeordneten Elektronik, die punktbezogene Einflüsse auf den Signalwert darstellen, werden bei der Modellbildung im allgemeinen vernachlässigt. Bei CMOS-Sensoren können die individuellen Nichtlinearitäten und Offsetfehler auch in Pixelgruppen von im allgemeinen quadratischen Blöcken variieren. • CMOS-Sensoren sind nicht frei von Pixeldefekten bzw. das Auftreten von Pixeldefekten ist gegenüber CCD-Sensoren zu beachten. Es können Pixeldefekte auftreten, bei denen die Grauwerte gegenüber Leuchtdichteänderungen konstant sind. Dieses Verhalten kann durch Wahrscheinlichkeitsmaße, die das Auftreten der Fehlerereignisse in den jeweiligen Fehlerklassen charakterisieren, beschrieben werden.
- 3-9 -
3. Kameramodell
3.4.1 Photo-Sensor Die heute dominierende Festkörper-Sensortechnologie, CCD (Charge-Coupled Device; Ladungsgekoppelte Schaltung) und CMOS (Complementary Metal Oxide Semiconductor; Komplementärer Metall-Oxid-Halbleiter), wird auf Siliziumbasis hergestellt. Die CCD-Sensoren gibt es in drei Ausführungen. Full Frame Transfer, Interline Transfer und Frame Interline Transfer. Beim Full Frame Transfer wird das komplette Bild in einen lichtgeschützten Bereich verschoben und dort verarbeitet. Beim Interline Transfer alternieren fotosensitive und Auslesezeilen. Jede Fotozelle wird direkt über eine lichtgeschützte Zeile ausgelesen. Full-Frame-Interline-Transfer-Sensoren sind eine Kombination der beiden Designs. Full-Frame-Transfer-Sensoren erreichen einen Füllfaktor von nahezu 100%. Sie sind anfällig gegenüber Zweitbelichtungen im Auslesezeitraum. Interline Transfer und Full-FrameInterline-Transfer-Sensoren weisen einen reduzierten Füllfaktor auf, sie sind in der Auslesephase nicht so empfindlich. Bei den CMOS-Sensoren wird der von den Photonen generierte Photostrom kontinuierlich gemessen. Ein Passiv-Pixel-Sensor funktioniert ähnlich einem CCD-Interline-TransferSensor. Ein Active-Pixel-Sensor arbeitet quasi nach dem indirekten Prinzip eines CCDSensors. Die in einer Photodiode oder einem Phototransistor von den Photonen generierten Ladungsträger steuern einen CMOS-Transistor, der zugleich als Signalverstärker fungiert. Die Haupteigenschaften der CMOS-Sensoren lassen wie folgt zusammenfassen:
•
Das Signalrauschen fällt stärker aus und es können defekte Pixel auftreten.
•
Der Füllfaktor liegt unterhalb von 50%, weshalb diese Sensoren prinzipiell weniger lichtempfindlich sind.
•
Activ-Pixel-Sensoren sind prinzipbedingt nahezu unempfindlich gegen Überstrahlung. Passiv-Pixel-Sensoren sind kritischer zu bewerten.
•
Die spektrale Empfindlichkeit entspricht dem Verlauf der hell-adaptierten Augenkurve.
•
Keine komplexen Versorgungsspannungen bei relativ geringer Leistungsaufnahme.
•
Bei entsprechenden Stückzahlen sind preiswerte Lösungen möglich.
•
Das Auslesen der Sensordaten erfolgt auf separaten Leitungen, so dass ein defekter Pixel durch die Nachbarpixel interpoliert werden kann (In der vorliegenden Anwendung nicht zwingend bzw. sinnvoll, siehe auch Kap. 5.2).
•
Die CMOS-Technologie bietet die Möglichkeit, weitere Schaltungen oder eine Signalvorverarbeitung auf dem Sensor-Chip zu integrieren.
•
Der wahlfreie Zugriff auf die einzelnen Sensorzellen ermöglicht die Auswahl eines Fensters (Region of Interest; Nur relevante Daten werden übertragen;).
•
Bild-Triggerereignisse können ausgewertet werden.
- 3-10 -
3. Kameramodell 3.4.2 Maßstabsfaktoren In den Grauwertsignalen sind bedingt durch die Ortsdiskretisierung im Sensor Informationen enthalten, die zur einer hochpräzisen Messung der Maßstabsfaktoren geeignet sind. Die Fourier-Analyse hinter dem A/D-Wandler der Kamera ermöglicht unter Nutzung des Aliasingeffekts eine genaue messtechnische Bestimmung des horizontalen Maßstabsfaktors über das Fourier-Spektrum [49]. Mit diesem Verfahren lässt sich nach Lenz [47] der Maßstabsfaktor mit einer Genauigkeit in der Größenordnung von 0,005% bzw. auf einen Nanometer genau bestimmen. Dies kann als eine alternative Methode zur Separation des horizontalen Maßstabsfaktors betrachtet werden. 3.4.3 Signalrauschen Die zufälligen Fehler des Bildsignalaufnahmevorgangs stellen in erster Näherung vom Ort unabhängige, teilweise vom Signalwert abhängige Einflüsse dar. Sie umfassen das Photonenrauschen, das thermische Rauschen, Schrotrauschen, das Elektronikrauschen und das Quantisierungsrauschen des A/D-Wandlers. Die angegebenen Kenngrößen beziehen sich auf einen 8-bit A/D-Wandler (LSB). Diese Rauschprozesse beeinflussen das digitale Bildsignal. Sie lassen sich in der Regel hinsichtlich ihrer Amplituden- und Spektralverteilung charakterisieren und sind zumeist mittelwertfrei, weshalb man eine wesentliche Rauschminderung durch mittelwertbildende Berechnungen oder Filterverfahren erreichen kann.
• Photonenrauschen und Thermisches Rauschen Das Photonenrauschen ist unabhängig von inneren Rauschquellen des CCD/CMOS-Sensors und wirkt auf einen Strahlungsempfänger von außen als ein Signalrauschen, was auf die Photonenstatistik zurückzuführen ist. Diesem Rauschsignal wird die Temperaturstrahlung log10( W(f) / Hz ) nach dem Planckschen Strahlungsgesetz -20,0 500 überlagert (Photonenstatistik des idealen 300 T / K° schwarzen Strahlers): 77 -20,5
0
1 W ( f , T ) = hP f 1 + hP f e kB T
-21,0 -21,5 0
10
20
Abb. 3-5: Photonenrauschen
f / GHz
.
(3-21)
Hierbei stellt f die Frequenz der elektromagnetischen Welle, hP das Planksche Wirkungsquantum, kB die Boltzmannkonstante und T die Temperatur des Strahlers dar.
Der Einfluss der Temperaturstrahlung wird bei den gebräuchlichen CCD/CMOS-Kamerasystemen durch Infrarotfilter, die sich in der Regel aus dem Strahlengang der Optik entfernen lassen, reduziert. Diese Rauschanteile können zumeist gegenüber den verbleibenden Rauscheinflüssen vernachlässigt werden. Im vorliegenden Fall wird im Infrarotbereich gemessen, so dass der Einfluss der Temperaturstrahlung nicht mehr vernachlässigbar ist.
- 3-11 -
3. Kameramodell
• Thermisches Rauschen im CCD/CMOS-Sensor Das thermische Rauschen der inneren Rauschquellen des CCD/CMOS-Sensors beruht auf zufällige Ladungsträgerbewegungen im thermodynamischen Gleichgewicht. Dieses Rauschen tritt ohne eine äußere Spannung bzw. ohne einen gerichteten Stromfluss auf. Die Rauschleistung wird hauptsächlich von den Bahnwiderständen R der Strahlungsempfänger bestimmt: iR th = 4
kB T f B . R
(3-22)
Hierbei stellt fB die Bandbreite und T die Temperatur des Strahlungsempfängers dar. Dieses Rauschen tritt insbesondere als sogenanntes Dunkelrauschen in Erscheinung und liegt in der Größenordnung von σ ≈ 0,1 LSB.
• Schrotrauschen an PN- und Schottky-Übergängen Das Schrotrauschen entsteht durch die statistische Ladungsträgerbewegung eines gerichteten Stromflusses. Dieses Rauschen tritt besonders bei Sättigungsströmen in PN- und SchottkyÜbergängen am Ende des Linearitätsbereiches auf und ist deshalb signalabhängig und liegt in der Größenordnung von σ ≈ 2 bis 3 LSB. • Elektronikrauschen Das Elektronikrauschen in den Verstärkerstufen umfasst sowohl thermisches Rauschen, Schrotrauschen, Generations- und Rekombinationsrauschen und weitere mit dem Transistor oder Feldeffekttransistor zusammenhängende Rauschprozesse und liegt in der Größenordnung von 0,2 LSB. • Quantisierungsrauschen Im allgemeinen Fall wird durch den A/D-Wandler ein kontinuierliches Signal x mit dem Wertevorrat 0, xMax ] in N äquidistante Quantisierungsintervalle ∆ x0 , n ∈ {1,..., N } unterteilt. Die im Quantisierungsintervall ∆ x0 liegenden Werte x werden auf den Quantisierungswert Q( x) = q0 abgebildet. Unter Annahme einer konstanten Wahrscheinlichkeitsdichte p X ( x) = 1/ xMax der Signalamplitude x über den Wertebereich [0, xMax ] erhält man den mittleren quadratischen Fehler des wertediskreten Signals Q( x) zu:
σ = E{Q } = 2 q
2
∞
∫ ( x − Q( x))
−∞
N xn+1
2
⋅ p X ( x) dx = ∑
∫ (x − q )
n =1 xn
n
2
⋅ p X ( x) dx
(3-23)
bzw. N qn + ∆ x / 2
σ =∑ 2 q
∫
n =1 qn − ∆ x / 2
=
∆x
2
12
( x − qn ) / xMax 2
( x − qn )3 1 ⋅ dx = N ⋅ xMax 3
qn + ∆ x / 2
qn − ∆ x / 2
2
=
1 xMax ⋅ . 12 N
(3-24)
Infolgedessen steht bei wertebegrenzten, gleichverteilten Signalamplituden der mittlere quadratische Fehler oder das Quantisierungsrauschen in einer umgekehrt proportionalen Beziehung zum Quadrat der Stufenzahl des Quantisierers. Man spricht in diesem Zusammenhang auch von Rauschleistungen, weil die Signalleistung von physikalischen Systemen zumeist proportional zum Quadrat der Signalamplitude x ist: P∼ x2. - 3-12 -
3. Kameramodell Ein typischer B-Bit Wandler (B = 8) erreicht somit eine über die Rauschamplitude definierte Dynamik von:
DdB = 20 log
(
12 ⋅ 2 B
)
B =8
dB = 59 dB
.
(3-25)
In der Praxis können aufgrund des Sensor- und Verstärkerrauschens der Kamera häufig nur 6 bis 7 Bit des A/D-Wandlers ausgenutzt werden. Lediglich sorgfältig dimensionierte CCD/CMOS-Kamerasysteme erreichen eine Dynamik, die eine vollständige Nutzung der A/D-Wandlerdynamik ermöglicht.
- 3-13 -
3. Kameramodell
- 3-14 -
3. Kameramodell Inhaltsverzeichnis 3
Kameramodell .............................................................................................................1 3.1
Geometrisches Kameramodell .................................................................................1
3.2
Linsenverzerrungen höher Ordnung und Orthogonalreihenentwicklung ................5
3.3
Lineares Kameramodell ...........................................................................................8
3.4 Videometrisches Kameramodell ..............................................................................9 3.4.1 Photo-Sensor ...................................................................................................10 3.4.2 Maßstabsfaktoren ............................................................................................11 3.4.3 Signalrauschen ................................................................................................11
- 3-15 -
