Astronomie en Visuel Assisté / Electronically-Assisted Astronomy

Je galère depuis un certain avec mes Darks qui ne suppriment pas les pixels chaud et dont je n'ai jamais vérifié le réel intérêt (on m'a dit de faire des Darks, j'ai fait des Darks ).

Du coup j'ai essayé de comparer des stacks :
- Bruts (sans Dark ni flat),
- Avec Dark
- Avec le Hot and Cold Pixel Removal de SC (avec plusieurs réglages)

J'ai travaillé sur une prise d'1 heure sur M33 (60x60 sec)

J'ai mis tout ça dans une animation : les captures d'écran du stack sous SC (histos en tout auto ; il y a un bon gros pixel rouge écarlate dans le bas de l'image) et, en fin d'animation, les copies d'écran de Siril après une simple extraction du gradient en affichage auto-ajustement (Brut, Dark, Hot Pixel).

J'en déduit que :
- L'intérêt du Dark n'a rien d'évident avec un capteur comme l'IMX585 : il ne vire pas les pixels chaud (contrairement au HP Removal) et son impact sur le bruit n'est pas très perceptible (je ne sais pas si j'ai un moyen de le mesurer ?)
- Pas la peine de pousser les curseurs du HP Removal. Au mini, il fait déjà très bien le job

ouiouiblog a écrit : ↑

22 oct. 2023, 15:58

(je ne sais pas si j'ai un moyen de le mesurer ?)

En toute logique, le bruit retiré par le dark correspond au bruit que tu peux lire ou ouvrant ton dark.

Mais oui, le capteur imx585 est tellement propre que même sans dark, ben c'est déjà très propre.

Merci, mais j'aurais aimé le quantifier. Il me semble que le sigma sous Siril donne une indication sur le bruit.

J'ai pris une petite zone sombre (100x100) identique pour les 3 images (brut, avec Dark et avec HP Removal)
L'application du Dark ne change pas le sigma. Il réduit juste la luminosité moyenne de 900 ADU, ce qui correspond effectivement à la luminosité moyenne du fichier Dark. On obtient la même chose en poussant à droite le curseur Black de l'histo de Sharpcap (enfin, je crois ). Si je me base sur ces seules statistiques, j'aurais tendance à penser que le Dark n'offre aucun avantage

Statistiques du fichier Dark et sa visualisaion sous Siril en auto-ajustement

@ouiouiblog tu es dans le vrai. De façon générale, le bruit, c'est la variation d'un signal alors que son niveau devrait être uniforme. Tu le trouve sous la valeur Sigma dans Siril.
Le niveau de signal par contre, c'est plus "mean" si tu prends la moyenne ou "median" si tu prends la médianne. ( Ca ne change pas grand chose. )

ouiouiblog a écrit : ↑

22 oct. 2023, 16:26

L'application du Dark ne change pas le sigma. Il réduit juste la luminosité moyenne de 900 ADU, ce qui correspond effectivement à la luminosité moyenne du fichier Dark.

Tu viens de découvrir le pot aux roses. Bravo, c'est bien vu.

En fait pour être très rigoureux, il faudrait toujours faire la distinction entre signal et bruit ( ce n'est pas parce que c'est non souhaité ou néfaste que c'est forcément du bruit ). Malheureusement, la confusion est régulièrement faite (meme dans de très bonne doc), et comme je ne suis pas expert, j'ai tendance à me vautrer aussi. De ce que j'ai retenu, un "vrai bruit", c'est un truc aléatoire, non répétable, typiquement la neige des vieilles TV. Et comme c'est totalement aléatoire, essayer de le soustraire est peine perdu. On ne saura pas le faire.
Par exemple, typiquement tu as le bruit photonique. Un truc bien aléatoire même si globalement il peut être représenté par des lois statistiques. Mais c'est une autre histoire, dans un dark pas de bruit de photons puisqu' idéalement pas de photons

Par contre dans un dark, il y a l'ampglow et les pixels chaud. Ça c'est régulier, répété et répétable. Le pixel chaud est toujours au même endroit. Facile de le soustraire. L'ampglow est toujours dans le meme coin, sur le meme coté, avec un halo bien typique et fixe. Facile encore de le soustraire. Ca c'est donc du signal. Du signal thermique concernant l'ampglow.

Reste d'autre petits amis qu'on retrouve aussi dans un dark.
Le bruit de lecture. Lui il peut être considéré comme la marge d'erreur de lecture connu du capteur. De la même façon qu'un thermomètre qui t'indique 20°C n'est peu être pas super précis et en fait c'était 19.9°C. Sur nos caméra CMOS, le bruit de lecture est vraiment vraiment faible et pas vraiment un problème.

Et enfin, tu as le bruit "noir" ou d'obscurité, qui provient du courant d'obscurité qui est le courant électrique résiduel d'un photodétecteur en l'absence d'éclairement lumineux.

Ces bruits, non répétable, tu ne peux que les mesurer et les moyenner sur un grand nombre, c'est pour cette raison qu'on fait un masterDark qui est le résultat d'un empilement de plusieurs dark. Donc oui, tu soustrait un niveau de "bruit" moyen, mais tu ne retire pas le bruit lui même.

@clouzot si tu passes par la, n’hésite pas à rectifier les bêtises que j'ai pu semer.

Hello,
je passe rapidement, je te donne quelques pistes @ouiouiblog

D'une manière générale, un des objectifs du pré-traitements est de corriger des pixels "aberrants"
Tu enchaines des processus qui vont y aller "au fur et à mesure"
Là où ton analyse est bonne c'est que correction de darks et hot pixel removal vont faire la même chose, la grande différence est que la correction par les darks est déterministe => tu es certain que ces pixels doivent être corrigés alors que HotPixel Removal va avoir une approche purement statistique, avec le risque de supprimer du bon signal si tu vas trop fort ou de manquer des pixel à corriger si tu es trop laxiste

La correction de darks est "certaine", il faut donc la faire systématiquement et ensuite tu appliques Hot Pixel removal avec des paramètres ad-hoc

l'autre action de la soustraction de dark est qu'elle doit corriger l'offset que tu introduis sur les acquisitions (du moins de nos jours, avec les capteurs CMOS où on fait les deux en même temps en faisant des darks avec la même valeur d'offset que les unitaires), si tu ne fais pas de soustraction de dark, il faut a minima corriger l'offset de tes unitaires


Mais, la soustraction de dark est déterministe et trés facile à faire, il ne faut donc pas s'en priver

a++

@soulearth non c'est bien ça.

Dans le cas de notre ami, comme dans ses brutes le bruit du capteur est noyé dans le bruit du fond de ciel (ce qu'il faudrait toujours faire, en théorie, règle des 3 sigmas etc), l'application du dark ne va pas changer du tout la dispersion (le sigma) du bruit de l'image. Donc rien d'étonnant ici. L'existence de quelques pixels chauds ou froids, ou l'ampglow, ne va pas changer cette dispersion, par ailleurs, sauf s'il y en a partout sur le capteur (ce qui n'est pas le cas ici avec le 585 déjà réputé pour sa propreté).

Par la soustraction du dark, le niveau d'offset est retiré comme on s'y attendait (900 et quelques ADU, cf niveau moyen/médian du dark), et ça c'est important pour qu'ensuite les flats fassent bien leur boulot (aller voir le sujet sur les offsets synthétiques et surtout l'excellentissime article de @cissou8 sur le site de Siril). S'il faut retenir un truc, c'est ça : le dark ne sert pas qu'à retirer les pixels chauds, et il reste indispensable pour la suite du traitement. On peut le remplacer par une "correction cosmétique" comme l'appellent les auteur de Siril, ce que fait Sharpcap quand il détecte les pixels chauds et froids, mais il faut aussi virer ce niveau d'offset.

Avec ma P1 Neptune-CII (IMX464) il y a énormément de pixels chauds; je ne sais pas si c'est lié à la température souvent élevée chez moi.
Je suis obligé de soustraire systématiquement les darks; mais il reste toujours quelques pixels irréductibles

Merci, c'est intéressant.

Je comprends que l'intérêt des Darks au final, c'est : la suppression des pixels chaud + la correction de l'offset (+l'ampglow, ... sur les capteurs qui en souffrent)

Le problème que je rencontre est que mes Darks suppriment mal les pixels chaud (ils sont peut-être trop vieux et à refaire ceci dit). La méthode Dark + HP Removal serait top, mais SC ne permet pas de faire les deux dans ses stacks (c'est l'un ou l'autre). J'imagine qu'en post-traitement, par contre, ça doit être envisageable.

Pour l'offset, effectivement, mes Darks avec Offset à zéro ont un ADU proche de zéro ; ceux à 15 ont un ADU proche de 900. Je pense que c'est un défaut que je peux corriger en VA avec les histos de Sharpcap (je comprends que ce sont les noirs qui ne sont pas assez noirs).

Je me demande si, au final, la bonne méthode avec un capteur IMX585 non refroidi (> un peu galère à monter et maintenir une bibliothèque de Darks) ne serait pas :
- VA avec Hot Pixel Removal (+ histos pour corriger l'offset) > la qualité sera suffisante pour du VA et je n'aurai plus de pixels chauds sur mes save as seen
- Utilisation des Darks en post traitement, sous Siril.

Le post de @clouzot sur son impact sur les flats me fait toutefois réfléchir. Je vais me renseigner là-dessus

@pejive c'est peut-être un défaut des P1 (ou alors c'est lié à la proximité de l'océan atlantique ... ; en tout cas ce n'est pas lié à la situation par rapport à la Loire puisque je suis au nord et toi au sud )

Edit : je pense que c'est la première fois en 57 ans qu'on m'appelle "notre ami". Je ne sais pas trop comment je dois le prendre