[astro-photo] stratégies d'archivage

[lordzurp]

Salut les copains !

disclaimer : je sais, c'est moche, ça parle de traitement, d'archivage de brutes, de retouche post-shoot ... tous ces trucs qui n'ont rien à voir avec notre noble discipline du VA
mais je sais qu'il y a des gens ici qui le font, alors pourquoi pas moi ? (si un jour je me mets à l'astro, bien sur. chose hautement hypothétique on est d'accord)

contexte :
j'ai une 533 couleur comme cam principale, ça sort des FITs de 18Mo
j'ai une monture en mousse qui bouge, pour shooter net je pars sur des poses sous la seconde. certains appellent ça du lucky imaging ... chez moi, lucky c'est quand ça marche tout court
j'ai un mac pour gerer tout ce merdier, sur lequel j'ai réussi à avoir 180Go de libre (au prix du stockage chez la pomme, c'est le modèle de base avec 256Go)

en mélangeant les 2 points précédents, avec des poses de 0.25s ça fait un débit de 72Mo/s (grossièrement hein, on néglige les latences d'enregistrements etc.)
ce qui fait que j'explose mon disque en 2500s, soit à peine 42min de shoot

pour rester dans l'esprit du VA (et surtout parce que j'ai la grosse flemme de passer des heures à post-traiter), je pense limiter à 2000 images par cible (une grosse demi-heure)

la question (enfin)
comment archivez-vous vos brutes ?

- vous gardez tout, et vous vous promenez avec uen brouette de disques durs ?
- vous faites jsute un pré-traitement + empilement, et gardez juste le FIT résultant ?
- vous jetez tout et gardez juste un screenshot save-as-seen ?

mon idée préliminaire (potentiellement débile, mais ça surprendra personne)
à la fin de chaque session sur un objet, lancer un script siril pour empiler le tas de pixels récolté (nettoyé à coup de DOF bien sur ) et sauver uniquement le résultat

à vot bon coeur, n'hésitez pas à dire que c'est pas comme ça qu'on fait surtout

[soulearth]

Perso au départ je garde tout. Puis dès que j'ai un peu le temps, je regarde ce que je peux tirer de ces brutes. Entre le bruit excessif, les reflets, les flats raté, ca me fait plein de bonnes raisons d'envoyer le stack directement à la corbeille et je garde que les sessions propres.

Pour aller plus loin, je creuse actuellement siril qui sait compresser les fits avec plus ou moins de perte. Je réfléchis aussi au choix du 16bits ou 32bits. Le 16 étant évidemment plus léger.

Enfin pour les images finales je mise tout sur le format de fichier webp, méconnu du plus grand nombre, mais issue des travaux de Google et fichetrement efficace en compression, que ce soit avec ou sans perte.

2023-03-19_15h30_34.png (25.08 Kio) Consulté 3331 fois

[Fabiolat74]

Pour ma part y as pas longtemps que je garde les fits unitaires. Mais je les conserve jusqu'à traitement de la photo puis corbeille ensuite si vraiment je souhaite cumuler pour faire des expo de 5h00 je conserve sur un dd externe. Enfin si pas le temps pour traitement je passe le tout sur dd externe également.

[clouzot]

Depuis l’année dernière, tout finit sur le NAS après que j’ai joué avec : brutes, masterflats qui vont avec, et je rajoute les masterdarks du moment (puisque ça se refait régulièrement). Et si c’était à l’occasion d’un livestack, je mets le save as seen ou la stack linéaire en FITS dans le même répertoire.
Au prix du stockage SSD, j’ai préféré garder le NAS avec de bons vieux disques mécaniques type serveur, en RAID simple : avec 8To, il y a quand même de quoi voir venir.

[pejive]

La question à se poser c'est de savoir s'il est vraiment utile de conserver un live stack que l'on a fait il y a 3 ans , sauf travaux de recherche particuliers.
Au début je conservais tout; et hier justement j'ai jeté un coup d'oeil sur mon dossier Sharpcap 2019 .....que d'horreurs
direction poubelle
Si vraiment on a fait l'image du siècle, alors traitement et archivage.
Tout çà c'est un peu comme les bouquins auxquels on tient, mais que l'on n'a pas ouverts depuis 25 ans
Sinon il faut stocker sur le Cloud

[SBRCoach]

Perso je Stock aussi sur mon NAS (3 HDD de 4TO chacuns) comme j'y ai beaucoup de place ... Les brutes et DOF se rapportant à l'acquisition ... ça pourra me servir si un jour je me décide à faire du traitement

Et sur mon PC J'y met juste quelques captures des Stacks, l'empillement final et des images de mon traitement basique (Tout ces fichiers sont également en copie sur mon NAS)

Ensuite comme je suis fainéant, tout est géré automatiquement via mon soft (copies, deplacements fichiers, création dossiers, imports des fichiers de l'AsiAIR etc...) - donc je m'y retrouve très facilement.

[ouiouiblog]

Je garde les bruts dans un répertoire dédié qui regroupe toutes les unitaires (pas sous le répertoire du Livestack). Je fais le ménage à la serpe quand j'en ai besoin/envie/le temps

[lordzurp]

merci bien pour les réponses

bien sur, j'ai aussi un nas à coté avec 5x4To pour les "films de vacances" et 6x2To pour les docs perso, en raid 5 et 6
mais j'aimerai éviter de le remplir en 2 semaines
on va partir sur garder les empilements DOFés, et poubelle les To de brutes, et je verrais bien ce que ça donne

j'ai jamais été aussi prêt de faire de l'astro !

[lordzurp]

Mais au fait @lordzurp, pourquoi est-ce que tu n’envoie pas tes brutes vers un disque dur externe rapide ?

Un ssd en Thunderbolt par exemple ?

Voir un 7200 externe de 4To ?

réponse courte : j'ai pas le budget pour un ssd de 4To

[lordzurp]

réponse longue : la stratégie dite "du gros bourrin", à tester à la prochaine trouée

j'ai pas envie de rentrer de soirée avec 12To de brutes, je les traiterais jamais ça va me gonfler très vite

30min de shoot avec des poses de 0.25s : 7200 images de 18Mo -> 130Go de brutes par cible
(et pas 2000 images comme écrit dans le premier post ... c'était plutot 2000s d'acquisition)

vu que je suis un gros bourrin, je lance le pré-traitement DOF + alignement + empilement dans siril directement sur le mac du scope
d'après les quelques essais fait ce soir, ça prend environ 6x le volume des brutes, je vais lui coller un "petit" ssd de 1To derrière juste pour faire tampon, et à la fin je garde uniquement le "master" fit empilé, prêt à être traité
en gérant bien les ressources le traitement peut se faire en parallèle de la capture de la cible suivante, il faut encore que j'optimise un peu pour réussir à traiter le lot en 30min, pour être pret à recommencer avec la cible suivante

le ssd tampon va prendre cher sa mère par contre

[lordzurp]

Pas un ssd, reste sur un mécanique.

Je pige pas. Au lieu de faire disons 6000 vues de 0,5 sec, pourquoi est ce que tu ne pose pas plus longtemps ?

Une dizaine de poses de 50sec ou une trentaine de 8sec ?

M’étonne pas que tu blinde tes disques durs.

Après ça dépend de ta monture.

monture en mousse, suivi à la minute, bougé monstrueux
au dela de 3s c'est pas propre, au dela de 6 ya plus rien à en tirer

par contre, le setup complet fait moins de 7kg et est installé en 5min chrono
on peut pas tout avoir mon objectif depuis le début est d'avoir un stellina (stellina, stalline, tu l'as ? )... autant sur le format (transportable) que l'utilisation (pret super vite et qui sort des images tout seul)
bon, depuis le temps j'ai mis bien + de brouzoufs dans le projet que si j'avais acheté la tourelle portal

et un hdd, c'est mort ya pas le débit
en séquentiel les derniers dépassent bien les 200Mo/s, mais en IOPS c'est ridicule

[clouzot]

Conclusion : beurre, argent du beurre etc ? Pas tout en même temps. Tu croppes ta 533 lors de la capture et ça va bien se passer

[soulearth]

Hardware attitude, mais je les connais. Je leur ai acheté pas mal de matos.
Mais honnêtement, a part "arrangement du siècle", pour un particulier un bon vieux qnap fourré de disques fera aussi bien.

[soulearth]

Ils sont vraiment bons ou faut éviter ?

Jamais eu de soucis. Ils sont bons et proposent du reconditionné avec garantie, ce qui permet de toucher du matos à pas trop cher. Mais honnêtement, je doute vraiment de la pertinence d'utiliser ce genre de matos chez un particulier. C'est bruyant, ca consomme affreusement et ca chauffe en proportion. Les carte pour du fiber channel sont pas données non plus... L'ISCSI requière un réseau adapté, pour faire simple qui bourrine au delà de ce que propose nativement le protocol Ethernet ( jumbo frame ). Donc de l'ISCSI sur du wifi ou un switch a 30 balles, je ne le ferai pas. Et une fois que t'a réuni l'ensemble des pré-requis matériels pour avoir une chance que ca fonctionne, la conf n'est pas non plus triviale.

C'est simple, des baies de disques, j'en ai déjà récupéré et je pourrais en récupérer encore... Je ne le fais plus, je ne m'en sers pas pour toutes ses raisons. J'ai un qnap en raid 1 fourré avec 2 disques de 4To en sata. Fin du jeu.

140€ la nas 2 disques. C'est meme pas le prix des 2 disques SATA.
https://www.amazon.fr/QNAP-2-Bay-NAS-TR ... 570&sr=8-4

[lordzurp]

coté NAS c'est bon, j'ai un xeon bourré de ram, des cartes 8xSAS 6G, les disques c'est du RED pro 7200 en raid 5 et 6, du SPF+ (10G fibre) avec le switch kivabien au bout ... ça tient le 600Mo/s, en lecture ou en écriture. de ce coté ya rien à retoucher

@Zibou pour la monture, ya pas vraiment d'engrenage à resserer ...
c'est surtout qu'à la base, elle a pas vraiment du tout été pensé pour faire de la photo
donc, je compense comme je peux :concours_de_kiki:

[lordzurp]

@Zibou ya rien à améliorer, elle est au top !