Il deep learning consente la consultazione

Nature Communications volume 13, numero articolo: 3297 (2022) Citare questo articolo

7567 accessi

5 citazioni

37 Altmetrico

Dettagli sulle metriche

L'imaging volumetrico mediante microscopia a fluorescenza è spesso limitato dalla risoluzione spaziale anisotropa, in cui la risoluzione assiale è inferiore alla risoluzione laterale. Per affrontare questo problema, presentiamo una tecnica di super-risoluzione senza supervisione abilitata al deep learning che migliora le immagini anisotrope nella microscopia volumetrica a fluorescenza. In contrasto con gli approcci esistenti di deep learning che richiedono immagini target ad alta risoluzione abbinate, il nostro metodo riduce notevolmente lo sforzo di messa in pratica poiché l’addestramento di una rete richiede solo un singolo stack di immagini 3D, senza una conoscenza a priori della formazione dell’immagine processo, registrazione dei dati di addestramento o acquisizione separata dei dati target. Ciò si ottiene sulla base della rete generativa generativa coerente con il ciclo guidata dal trasporto ottimale che apprende da una corrispondenza non accoppiata tra immagini 2D ad alta risoluzione nel piano dell'immagine laterale e immagini 2D a bassa risoluzione in altri piani. Utilizzando la microscopia confocale a fluorescenza e la microscopia a foglio di luce, dimostriamo che la rete addestrata non solo migliora la risoluzione assiale, ma ripristina anche i dettagli visivi soppressi tra i piani di imaging e rimuove gli artefatti di imaging.

L'imaging a fluorescenza tridimensionale (3D) rivela importanti informazioni strutturali su un campione biologico che in genere non sono ottenibili da un'immagine bidimensionale (2D). I recenti progressi nei metodi di rimozione dei tessuti1,2,3,4,5 e nella microscopia a fluorescenza a foglio luminoso (LSFM)6,7,8,9 hanno consentito la visualizzazione 3D semplificata del tessuto biologico su una scala e una velocità senza precedenti, a volte anche in modo più fine dettagli. Tuttavia, la risoluzione spaziale nella microscopia a fluorescenza 3D è ancora lontana dalla perfezione; una risoluzione isotropa rimane difficile da ottenere.

L'anisotropia nella microscopia a fluorescenza si riferisce tipicamente a una maggiore sfocatura nel piano di imaging assiale. Tale squilibrio spaziale nelle risoluzioni può essere attribuito a molti fattori, tra cui la diffrazione della luce, il sottocampionamento assiale e il grado di correzione dell'aberrazione. Anche per la microscopia a super risoluzione10, che sostanzialmente supera i limiti di diffrazione della luce, come la microscopia a illuminazione strutturale 3D (3D-SIM)11,12 o la microscopia a deplezione di emissione stimolata (STED)13, far corrispondere la risoluzione assiale alla risoluzione laterale rimane un problema sfida14. Mentre l'LSFM, in cui il percorso di eccitazione della fluorescenza non si allinea necessariamente con il percorso di rilevamento, fornisce un sostanziale miglioramento della risoluzione assiale9, una funzione di diffusione del punto (PSF) veramente isotropica è difficile da ottenere per la maggior parte delle tecniche contemporanee di microscopia a foglio luminoso e la risoluzione assiale è solitamente 2 o 3 volte peggiore della risoluzione laterale15,16,17.

Negli ultimi anni di restauro delle immagini nella microscopia a fluorescenza, l’apprendimento profondo è emerso come un approccio alternativo basato sui dati per sostituire i classici algoritmi di deconvoluzione. Il deep learning ha il vantaggio di catturare la complessità statistica di una mappatura di immagini e di consentire la trasformazione end-to-end dell’immagine senza dover mettere a punto manualmente i parametri. Alcuni esempi includono il miglioramento della risoluzione tra diverse modalità di imaging e dimensioni dell'apertura numerica18, verso l'isotropia19,20 o una riduzione del rumore19. Sebbene questi metodi forniscano un certo livello di flessibilità nel funzionamento della microscopia, questi metodi basati sull’apprendimento profondo devono presupporre una certa conoscenza di un dominio di dati di destinazione per l’addestramento della rete. Ad esempio, per la ricostruzione isotropa, Weigert et al19,20. hanno utilizzato una strategia di apprendimento supervisionato accoppiando immagini laterali ad alta risoluzione con immagini assiali a bassa risoluzione che erano sfocate con un modello PSF esplicito. Zhang et al21. ha implementato una tecnica di super-risoluzione basata su GAN con un modello di degradazione dell'immagine preso dal microscopio. In entrambi i casi, il processo di degrado dell'immagine non è apprendibile in modo dinamico e tale presupposto di un processo di degrado dell'immagine fisso richiede che il successo del ripristino dell'immagine faccia affidamento sull'accuratezza dei dati a priori e aggiunge un altro livello di operazione ai microscopisti. Inoltre, se l'ipotesi iniziale del degrado dell'immagine non è corretta, le prestazioni in un set di dati reali potrebbero essere limitate. Soprattutto per l'imaging a fluorescenza volumetrica ad alto rendimento, le condizioni di imaging sono spesso soggette a fluttuazioni e le caratteristiche visive dei campioni sono considerate diverse. Di conseguenza, l'assunzione uniforme di informazioni precedenti in un'immagine di volume su larga scala potrebbe comportare un adattamento eccessivo del modello addestrato ed esacerbare le prestazioni e l'affidabilità del ripristino dell'immagine.