Jupiter du 10 novembre dans la brume

[ms55]

Hier soir, j'ai testé cela en ligne puis la buée a envahi la lame de fermeture (cliquer sur l'image pour voir l'animation) :

J'ai quand même réussi à faire une vidéo de 2h30.

[ms55]

La petite vidéo jusqu'à l'apparition de Io :

jup_mdd.gif (7.89 Mio) Consulté 2560 fois

[Ubuntu]

Qu'est ce que tu utilises au niveau du post-traitement des images ?

[ms55]

Qu'est ce que tu utilises au niveau du post-traitement des images ?

On va suivre la formation de l'image n°41 qui est dans la moyenne en terme de qualité.

Je cumule 6000 images brutes triées pour obtenir en moins de 1 minute l'image suivante :

41.png (183.15 Kio) Consulté 2536 fois

Puis un traitement me permet d'obtenir l'image de la VA en moins de 1/100e de seconde :

41.png (497.12 Kio) Consulté 2536 fois

Puis en cours de soirée, je peux récupérer le résultat de n images VA avant et n image VA après (n fonction de la turbulence) ... c'est équivalent à une dé-rotation mais avec des satellites bien ronds, non percés en leur milieu, avec des ombres bien tranchées, des limbes bien résolus jusqu'au bord ... bref tout le contraire de WinJupos :

41.png (286.28 Kio) Consulté 2536 fois

L'image précédente va être traitée par un algorithme qui prend en compte un modèle de dégradation des données (MDD) et qui s'appuie sur les transformers :

41.png (228.81 Kio) Consulté 2536 fois

Voilà, tout cela se fait aujourd'hui en live et quand je ferme l'ordinateur toutes les observations de la soirées sont conservées et traitées.
Ici le modèle de dégradation (MDD) de la dernière étape intègre le brouillard en plus de la turbulence atmosphérique.

Nous sommes loin de la version 0.1 de "turbu" de janvier 2022 qui était basée sur le "lucky imaging" comme la plupart des logiciels actuels.
Ici avec la version 0.6, j'utilise un modèle de dégradation (MDD) basé sur des transformers et cela me permet d'utiliser le télescope bien plus souvent.

La dernière étape n'est pas encore parfaite mais j'ai tout mon temps, à la retraite, pour la peaufiner.

Quand, il n'y a pas de brouillard ou des nuages d'altitude comme lors de la soirée du 7 novembre alors je peux espérer faire cela :

9_2.png (293.93 Kio) Consulté 2536 fois

[Ubuntu]

Intéressant et ça donne un beau résultat, tu as des articles a lire sur le MDD ?

[ms55]

Intéressant et ça donne un beau résultat, tu as des articles a lire sur le MDD ?

Un exemple de modèle de dégradation correspondant à la turbulence atmosphérique (TurbNet).
C'est très intéressant mais 100 fois plus lent que le modèle que j'utilise dans turbu donc inapplicable pour du live.
https://arxiv.org/pdf/2207.10040.pdf

[soulearth]

Sympa ce sujet de modèles de dégradation. @ms55 , a ta connaissance, y'a t'il d'autre études qui soient publiquement publiées et un peu plus applicable à l'astro en live ?

[ms55]

Sympa ce sujet de modèles de dégradation. @ms55 , a ta connaissance, y'a t'il d'autre études qui soient publiquement publiées et un peu plus applicable à l'astro en live ?

Ce site semble intéressant si les vidéos sont effectivement obtenues en temps-réel.
https://xg416.github.io/TMT/
Ceci dit les systèmes à base de grilles ne sont en général pas très rapides mais il faut essayer :

[ms55]

C'est toujours instructif de comparer avec ce qui s'est fait ailleurs dans la soirée du 10 novembre 2022 (cliquer sur l'image pour la voir en taille réelle) :

Les détails semblent correspondre.
C'est toute la différence entre le lucky imaging et les nouvelles approches qui permettent d'aller chercher les informations plus profondément. La différence est encore plus importante quand les conditions se dégradent.

A gauche : 6000 x 50% x 8 = 24000 frames
A droite : 6000 x (8+1+8) = 102000 frames

[Ubuntu]

Donc si je comprends bien tu as entrainé un réseau de neurone sur Jupiter ?

[ms55]

Donc si je comprends bien tu as entrainé un réseau de neurone sur Jupiter ?

Non rien à voir avec de l'entraînement de réseaux de neurones.
Le processus est expliqué plus haut donc je ne vais pas reprendre mes explications ... il faut faire un petit effort pour essayer de comprendre.
Ceci dit entre le traitement d'images au petit bonheur la chance (lucky imaging avec AS3 et WinJupos) et le traitement de la turbulence par le logiciel "turbu", il n'y a pas photo :

Et je ne parle même pas de la méthode traditionnelle qui massacre les limbes, les pôles, les satellites et leurs ombres.

[soulearth]

faut faire un petit effort pour essayer de comprendre.

On fait justement des efforts pour comprendre.
Tu parles de traitement, d'algorithmes et de modèles... Mais ce sont des termes très génériques de l'informatique. Ces traitements auraient très bien pu s'appuier sur de l'apprentissage d'IA. Beaucoup de soft d'amélioration d'images ont adopté cette approche ces dernières années.

[ms55]

On fait justement des efforts pour comprendre.
Tu parles de traitement, d'algorithmes et de modèles... Mais ce sont des termes très génériques de l'informatique. Ces traitements auraient très bien pu s'appuier sur de l'apprentissage d'IA. Beaucoup de soft d'amélioration d'images ont adopté cette approche ces dernières années.

Tout le problème réside dans l'utilisation que l'on fait de l'IA.
La question que je me pose c'est comment aller chercher l'information, sans perdre d'informations, le plus loin possible.
Dans ce cas particulier, je peux remonter 8 images VA avant et 8 images VA après.
Quand je cumule au départ 6000 images brutes, je ne perd aucune information mais les informations doivent être révélées.
L'image VA révèle les informations bruitées et floutées.
C'est les étapes suivantes qui grâce à l'IA vont permettre d'extraire les informations.
Passer de la n°25 VA :

25.png (519.6 Kio) Consulté 2418 fois

à la n°25 finale :

25.png (338.26 Kio) Consulté 2418 fois

Tout le travail qu'il me reste à faire c'est réaliser cette dernière étape en live ... c'est l'objectif de 2023.

[clouzot]

Du coup, ça s’embrouille dans ma petite tête : il y a de l’IA (quelque soit la technique de ML utilisée) dans certaines images ou animations que tu postes… ou pas ?

Edit : si tu comptes commercialiser ce soft dans le futur (et c’est tout a fait respectable) je comprendrais que tu ne souhaites pas en dire plus. Mais dans ce cas, il serait bien que ce soit clairement énoncé : tes posts sont une démonstration des capacités techniques de ta future solution. Sinon on va forcément te bombarder de questions techniques auxquelles tu ne pourras/voudras pas répondre. La seule chose sera à la limite d’indiquer s’il y a, ou pas, du ML, car tu connais la réticence des astrams à la création de données ex-nihilo (cf l’exemple des softs de Topaz)

[Ubuntu]

Non rien à voir avec de l'entraînement de réseaux de neurones.

Ben excuse moi mais c'est ce que j'ai compris de l'article que tu as mis en référence...
Je cite : "Turbulence Degradation Block: In TurbNet, the turbulence degradation module learns the physical turbulence degradation operator T from the input synthetic training data"
Autre citation: "Training a deep neural network requires data, but the real clean-noisy pair of turbulence is nearly impossible to collect. A more feasible approach here is to leverage a powerful turbulence simulator to synthesize the turbulence effects."

Voili

[ms55]

Du coup, ça s’embrouille dans ma petite tête : il y a de l’IA (quelque soit la technique de ML utilisée) dans certaines images ou animations que tu postes… ou pas ?

Edit : si tu comptes commercialiser ce soft dans le futur (et c’est tout a fait respectable) je comprendrais que tu ne souhaites pas en dire plus. Mais dans ce cas, il serait bien que ce soit clairement énoncé : tes posts sont une démonstration des capacités techniques de ta future solution. Sinon on va forcément te bombarder de questions techniques auxquelles tu ne pourras/voudras pas répondre. La seule chose sera à la limite d’indiquer s’il y a, ou pas, du ML, car tu connais la réticence des astrams à la création de données ex-nihilo (cf l’exemple des softs de Topaz)

Pour comprendre, il faut dissocier Le Quoi du Comment.
Le Quoi ... Le Comment
1) trouver le moyen de cumuler des images brutes sans perdre d'information, c'est la première étape qui va demander un alignement précis et rapide ... pas d'apprentissage dans ce processus.
2) trouver le moyen de révéler les informations contenues dans les images de l'étape précédente, cette étape conduit aux images VA ... pas d'apprentissage dans ce processus.
3) trouver le moyen de révéler les informations contenues dans les images VA, cette dernière étape conduit aux images HR ... toutes les approches sont ouvertes dans cette étape y compris les transformers.

Ce logiciel sert à montrer qu'il y a une alternative au lucky imaging.
Je n'envisage pas de commercialiser le logiciel mais plutôt de mettre en live en 2023 sur internet mes différentes sessions (Lune, Mars, Jupiter, Saturne, ...) quand la dernière étape sera complètement finalisée.

Topaz c'est un soft qui dé-bruite et qui dé-floute, il peut convenir à tous les astrams qui empilent des logiciels pour résoudre leurs problèmes.

[ms55]

Ben excuse moi mais c'est ce que j'ai compris de l'article que tu as mis en référence...
Je cite : "Turbulence Degradation Block: In TurbNet, the turbulence degradation module learns the physical turbulence degradation operator T from the input synthetic training data"
Autre citation: "Training a deep neural network requires data, but the real clean-noisy pair of turbulence is nearly impossible to collect. A more feasible approach here is to leverage a powerful turbulence simulator to synthesize the turbulence effects."

Voili

Oui mais je n'ai pas la même approche que ces logiciels pour un question de performance que j'ai signalé dans mon post.

[ms55]

La dernière version qui utilise les transformers dans la dernière étape est plus fidèle aux images VA :

jup_derot.gif (12.24 Mio) Consulté 2380 fois

Cette version sera vérifiée sur toutes les VA prises depuis un an.

[soulearth]

Je n'envisage pas de commercialiser le logiciel

Ah bon ? Il y a eu un changement de plan ? Tu n'avais pas parlé d'une version bêta de turbu qui serait gratuite mais ensuite d'une version associée a une carte jetson qui serait sous licence ?

[ms55]

Ah bon ? Il y a eu un changement de plan ? Tu n'avais parlé d'une version bêta de turbu qui serait gratuite mais ensuite d'une version associée a une carte jetson qui serait sous licence ?

La version 0.1 gratuite est toujours sur le site www.gpu-vision.fr depuis janvier 2022 mais elle n'a pas rencontré un franc succès à ce jour.
Dès la disponibilité de la carte Jetson Orin Nano 8GB, je porterai la dernière version pour la tester durant la saison 2023.
Cela me permettra de mettre les vidéos en ligne sur les sites www.gpu-vision.fr (en français) et www.gpu-vision.com (en anglais) dans le but de faire la promotion d'une méthode qui ne fait plus appel au lucky imaging.
Ce projet turbu avance lentement mais sûrement depuis 2008 et de plus en plus j'ai comme l'impression d'avoir un petit morceau de Lune sur ma terrasse au cœur de Schiltigheim.

[ms55]

Il manquait un petit morceau de code à la dernière étape :

25.png (302.99 Kio) Consulté 2349 fois

Là c'est quasiment terminé et toute la vidéo est du même tonneau.
Reste à vérifier que tous les détails présents dans les image VA se retrouvent dans les images HR (c'est déjà le cas pour la n°25) :

jup_25.gif (264.71 Kio) Consulté 2349 fois

Compte tenu des conditions médiocres de la soirée du 10 novembre en Alsace (turbulence, nuages d'altitude, brouillard, humidité), je trouve que le logiciel turbu s'en sort plutôt bien.
Finalement, quelles que soient les conditions météo, les photons finissent toujours par arriver, encore faut-il prendre la peine d'aller les débusquer en profondeur plutôt que de compter sur la chance.

[ms55]

La vidéo finale qui reste fidèle à la VA :

jup_hr.gif (10.78 Mio) Consulté 2335 fois

[soulearth]

La dernière version qui utilise les transformers

Les transformers ca me parle pas trop alors j'ai cherché . Peux tu juste me confirmer que ça correspond grosso modo à cette article wikipedia : https://fr.wikipedia.org/wiki/Transformeur
Merci à toi

[ms55]

La dernière version qui utilise les transformers

Les transformers ca me parle pas trop alors j'ai cherché . Peux tu juste me confirmer que ça correspond grosso modo à cette article wikipedia : https://fr.wikipedia.org/wiki/Transformeur
Merci à toi

Une lecture plus détaillée des transformers avec des exemples :
https://github.com/cmhungsteve/Awesome- ... -Attention
Lire en particulier tout ce qui concerne les images, les vidéos et la vision.

[ms55]

Aller chercher l'information en profondeur :

19.png (40.43 Kio) Consulté 2294 fois

8000 x (8+1+8) = 136000 images brutes pour former l'image précédente.

La vidéo correspondante :

mars_derot.gif (842.85 Kio) Consulté 2294 fois

Après Jupiter et Mars, objectif Lune avec la même méthode.