Mon soft pour le VA JetsonSky

[lordzurp]

Je n’ai plus d’excuse : il me FAUT un PC avec une carte Nvidia.

image.png

Gen11, Core i7-1165G7, RTX 2060
suffit de rajeunir un peu
(non, j'ai pas mis le prix, c'est normal)

[clouzot]

(non, j'ai pas mis le prix, c'est normal)

Pas la peine, je le connaissais déjà

[Icetoff]

Voici la photo du mien, je pense qu'une petite nvidia comme celle-ci devrait suffire, par contre il n'est pas très transportable

IMG_20220731_1433271.jpg

[Easybob95]

Salut,

Pour info, je vends mon Jetson Xavier NX qui ne me sers plus a rien. Si ça intéresse quelqu'un.

Alain

[Easybob95]

J'ai mis sur github une nouvelle version de JetsonSky (Windows et Linux). Version V14_19.

Le filtre AADF pour supprimer le bruit fonctionne très bien mais il y a du ghosting. J'ai ajouté une checkbox pour réduire (ou pas) ce ghosting.

Ajout du support des ASI533MM/MC et ASI533MM/MC Pro. J'ai pas testé (j'en ai pas). La résolution max est fixée à 3008*2260 pour avoir le ratio de ma fenêtre d'affichage. Toutes les résolutions inférieures pré réglées respectent ce ratio de 1.33.


Alain

[lordzurp]

hey

@Easybob95, j'ai une question à propos de la partie acquisition
pour l'instant tu vas chercher les données dans le SDK ZWO
on a vu que le SDK de P1 est moisi, l'option est morte

mais si on passe par les lignes MIPI-CSI internes du jetson, ça devrait être assez simple, si NVidia a bien fait son boulot

je pense particulièrement à la caméra Rpi HQ :
Sony IMX477R stacked, back-illuminated sensor
12.3 megapixels, 7.9 mm sensor diagonal, 1.55 μm × 1.55 μm pixel size.
Ouput: RAW12/10/8, COMP8

ça peut faire une alternative pas chère pour un projet dans le genre du Micro Scope ( rPI, camera HQ + 300mm samyang catadioptrique) pour une mini-machine à VA traité aux stéroïds avec ton soft et une orin (par exemple !)

image.png

j'ai trouvé le howto d'install par ici, je ne sais pas ce que ça vaut (pas de jetson à la maison) https://github.com/RidgeRun/NVIDIA-Jetson-IMX477-RPIV3
j'ai une camera qui ne me sert à rien pour l'instant, je peux te la preter si tu veux essayer

c'est bien sur uniquement une proposition et pas du tout une requète

[Easybob95]

Salut lordzurp,

sacré réalisation ce micro scope ! Je connaissais pas.

J'ai fait il y a pas al de temps une version de JetsonSky avec la caméra RPi V2 mais le soucis, c'est que la gestion des caméras pour RPi par les Jetson est pourrie. Pas possible de gérer réellement l'exposition. NVidia se focalise sur une utilisation des caméras dans un flux vidéo classique (de jour, bonnes conditions d'éclairage) pour de la robotique. Pour l'astro, on va se focaliser sur le réglage du temps d'exposition et le gain et on se fiche du frame rate qui est par contre un paramètre important pour Nvidia.

Donc c'est difficile et pas particulièrement satisfaisant.

J'avais fait une version rapsberry Pi de mon soft (mais beaucoup plus simple et finalement pas trop pertinente et assez asthmatique quand même). Les essais que j'avais fait avec les petits pixels étaient assez catastrophiques et de mémoire, il n'y avait pas de BIN2.

Donc, en gros, j'avais perdu pas mal de temps à explorer cette solution. J'avais appris des trucs (mon apprentissage Python de début de projet) mais c'était vraiment pas top au niveau des résultats.

Je préfère rester sur des solutions éprouvées. J'ai pas trop de temps libre pour tout ça mais j'essaye de le consacrer à l'optimisation de mon soft avec les caméras ZWO qui donnent de bons résultats (utilisation de librairies type Pytorch, TorchVision et VPI qui est spécifique aux Jetson pour cette dernière). C'est un peu long car ce qu'on gagne sur certaines fonctions, on le perd avec d'autres contraintes.

Mais merci pour cette proposition. C'est sympa.

Alain

[lordzurp]

@Easybob95
ok, c'est clair au moins comme argumentation

bon, reste la solution du bourrin que je voulais éviter (mais qui aurait fini par arriver au final ...) : refaire le projet micro scope avec une cam ZWO dedans !

[Easybob95]

Sacré boulot en perspective. Mais c'est du beau boulot. Quand je compare avec ma monture en bois (qui n'existe plus), j'ai un peu honte.

[Easybob95]

Salut,

j'ai uploadé sur GithHub une nouvelle version de JetsonSky (V15_01) qui est plus rapide pour les traitements en live.

Cette version fonctionne pour Linux et Windows.

Un seul répertoire est maintenant utile : JetsonSky

J'ai laissé les anciens répertoires le temps de vérifier que tout va bien.



Voilà, c'est tout.

Alain

[soulearth]

@Easybob95 tout ce travail est vertigineux. J'en ai presque honte pour les questions qui viennent. Bon j'ai pigé que ça tirait parti de la puissance du gpu. J'ai aussi vu passer des traitements en live pour atténuer la turbulence et le bruit rehausser le contraste etc ... Mais est-ce que ça stack ( a la vue du télescope qui bouge j'ai l'impression que ça utilise d'autres approches )? C'est plutôt orienté CP, planétaire ou les deux ? J'ai été voir le github mais c'est surtout une présentation technique mais pas trop fonctionnelle ( ou alors j'ai raté un truc ). Merci a toi et bravo pour tout ce boulot

[lordzurp]

@Easybob95 tout ce travail est vertigineux. J'en ai presque honte pour les questions qui viennent. Bon j'ai pigé que ça tirait parti de la puissance du gpu. J'ai aussi vu passer des traitements en live pour atténuer la turbulence et le bruit rehausser le contraste etc ... Mais est-ce que ça stack ( a la vue du télescope qui bouge j'ai l'impression que ça utilise d'autres approches )? C'est plutôt orienté CP, planétaire ou les deux ? J'ai été voir le github mais c'est surtout une présentation technique mais pas trop fonctionnelle ( ou alors j'ai raté un truc ). Merci a toi et bravo pour tout ce boulot

je passe par là (trop tôt) donc je mets quelqeus réponses en attendant que alain se reveille

non, ça ne stack pas, c'est du traitement live de vidéo, en exploitant CUDA (principalement sur GPU en effet, NVidia only)
l'archi du soft n'est pas faite pour traiter de l'image fixe, mais les algos pourraient (en théorie) s'appliquer dessus. c'est pas la voie suivie par alain

les traitements sont en effet autour de l'amélioration de l'image, bruit, signal ... ça reste des traitements "standards" pour de la vidéo (on va pas réinventer la roue) mais optimisé pour notre pratique

un test que je voudrais faire, c'est sur une vidéo à 0,1fps (pour avoir du signal), au moins avec ma 224 pour essayer, avant de trouver une asi585 qui envoie du bois
et là, on n'aurait même plus besoin de stacker !

[soulearth]

En tout cas c'est super prometteur et ça permet de rêver a tout un tas d'approche. Quand je vois les vidéo live, je ne peux pas m'empêcher de me demander ce que donnerai le stack des 10 dernières frames par exemple.
Bon j'ai toujours pas de pc avec carte Nvidia mais ça viendra.

[Ubuntu]

En tout cas c'est super prometteur et ça permet de rêver a tout un tas d'approche. Quand je vois les vidéo live, je ne peux pas m'empêcher de me demander ce que donnerai le stack des 10 dernières frames par exemple.
Bon j'ai toujours pas de pc avec carte Nvidia mais ça viendra.

Tu sais que tu as une option sur SC avec 5 frames

[soulearth]

Tu sais que tu as une option sur SC avec 5 frames

Oui je sais. Mais la l'idée ( peut etre farfelue ), c'est de cumuler tous les atouts de ce soft avec une touche de stack.

[Easybob95]

@Easybob95 tout ce travail est vertigineux. J'en ai presque honte pour les questions qui viennent. Bon j'ai pigé que ça tirait parti de la puissance du gpu. J'ai aussi vu passer des traitements en live pour atténuer la turbulence et le bruit rehausser le contraste etc ... Mais est-ce que ça stack ( a la vue du télescope qui bouge j'ai l'impression que ça utilise d'autres approches )? C'est plutôt orienté CP, planétaire ou les deux ? J'ai été voir le github mais c'est surtout une présentation technique mais pas trop fonctionnelle ( ou alors j'ai raté un truc ). Merci a toi et bravo pour tout ce boulot

Salut,

effectivement, pas de stacking pour l'instant. On peut additionner jusqu'à 5 images mais bon, c'est pas du stacking. L'idée du soft est de faire de la vidéo mais je ne dis pas qu'un jour, je ne verrai pas pour du stacking (encore faudrait-il que je sache comment). Il est aussi possible de faire des sauvegardes d'images plutôt que faire une vidéo et d'empiler tout ça avec DSS. Bon, c'est plus lourdingue.

Pour l'instant, je cherche à accélérer les traitements. Je fais des tests avec d'autres librairies comme Pytorch, TorchVision, Cupy, VPI mais ça ne donne pas grand chose. Elles sont soit trop lentes, soit incompatibles avec Pycuda que je dois garder absolument. Pour quelques filtres, il va falloir que je réécrive les algorithmes avec Pycuda. Pas d'autres solutions.

J'ai mis sur Github une nouvelle version stabilisée et un peu plus rapide (V15_03). Il n'y a plus qu'un seul programme pour Linux et Windows et tout ça se trouve dans le répertoire JetsonSky.

J'ai laissé les 2 anciens répertoires (Windows et Linux) mais je les virerai un peu plus tard.

Alain

[Ubuntu]

Super, je vais regarder ça

[Easybob95]

Salut,

Pour info, je vends mon Jetson Xavier NX qui ne me sert plus à grand chose. Passé avec succès au Jetpack 5.0.2

Vendu 350€

Si ça intéresse quelqu'un.

Alain

[Easybob95]

Salut tout le monde,

j'ai pas mal cogité et je vais réorienter un peu le développement de JetsonSky.

Je vais me concentrer sur la plateforme Windows en gardant une validation soft sur le Jetson Xavier NX que je garde. Il fait le job.

Le Jetson AGX Orin est par contre mal positionné entre mon PC gamer et le Xavier NX. De plus, me baser sur l'AGX Orin si on considère son prix d'achat (entre 2500€ et 4500€), les gens risquent de penser qu'il faut payer plus de 2500€ pour faire tourner JetsonSky ce qui bien sur faux.

Donc, je ne vends plus le Xavier NX mais je vends le AGX Orin.

Je ne pense pas que ça vous intéressera car c'est du matériel assez spécial et il faut l'utilisation et la motivation pour vouloir en acheter un.

Précision importante : comme NVIDIA me l'a donné en juillet, si vente, aucune garantie ne sera associée au Jetson. Je sais, c'est con mais je préfère être clair.

Voilà, c'est tout.

Alain

[lordzurp]

@Easybob95 une idée si ça va tourner sur le jetson orin nano ?
niveau perf j'ai peu de doutes, mais est-ce que ça demanderait une compilation dédiée ?

c'est (quand il sortira ...) la machine la plus accessible de la gamme, et comme c'est la dernière gen elle devrait tourner assez vite
(je l'attends en premier pour le CPU, mais la partie gpu ne se tournera pas longtemps les pouces )

[Easybob95]

Ça devrait tourner sans problème sur Orin Nano. Y a pas de raison que ça le fasse pas. Ça devrait même bien tourner.

L'installation sera identique pour le Orin Nano, donc une vraie purge quand on n'a pas l'habitude !

[lordzurp]

L'installation sera identique pour le Orin Nano, donc une vraie purge quand on n'a pas l'habitude !

miam, j'en rève déjà ...

[Easybob95]

Petit test hier soir. Transparence vraiment mauvaise mais bon, faut faire avec.



Alain

[Easybob95]

Erreur corrigée.

[Easybob95]

La suite uniquement sur le forum NVidia.