Implementazione e Valutazione di Algoritmi di 6DOF Pose Estimation per il Tracciamento Ottico di Strumenti Chirurgici

Computer-Assisted Surgery (CAS) has revolutionized the surgical landscape in recent decades, offering surgeons innovative tools to enhance the precision, efficiency, and safety of procedures. A fundamental aspect of CAS is the precise localization and tracking of surgical instruments to ensure the effectiveness and safety of operations. This research focuses on the implementation of marker-based optical tracking algorithms for six degrees of freedom (6DOF) pose estimation of surgical instruments, the creation of a modular software pipeline for the integration of the developed methods, and the performance evaluation of these solutions through the definition of evaluation metrics and rigorous experimental tests. The initial analysis explored optical tracking systems and their surgical applications, highlighting the need for precise and reliable solutions for instrument localization. In particular, the 6DOF pose estimation was performed for surgical instruments equipped with a tip used for digitizing real anatomical points in the operative field. We employed various types of markers, including active and passive spherical markers and pattern-based markers (with ArUco and Vuforia). The markers and instruments were custom designed to evaluate a wide range of tracking solutions. We developed several tracking methods based on computer vision algorithms, both monocular and stereo, for marker extraction and localization, employing several acquisition modalities such as RGB, IR, and RGB+Depth. The experimental evaluation was conducted using both traditional metrics commonly used in the optical tracking systems literature and specifically defined metrics. In particular, these metrics were employed to measure various aspects of tracking performance, including instrument positioning and orientation errors, as well as tracking stability under both static and dynamic conditions. Additionally, we defined three types of tests to evaluate both the absolute and relative performance of the implemented tracking methods. The tests were conducted on a specially designed and constructed test platform, which included a robotic arm with 3DOF for controlled and repeatable positioning and movement of the tracked instruments, an Intel RealSense D435i camera equipped with RGB, IR, and Depth sensors used as a vision system for optical tracking, and a structured light 3D scanner to obtain accurate ground truth data on the position and orientation of the instruments. For the absolute error tests, we selected several positions and orientations of the instruments and calculated the errors against the ground truth. For the dynamic tests, we performed translational and rotational movements of the instruments, evaluating the stability of tracking and the ability to follow the movement. For the relative error tests, we evaluated the ability of the tracking methods to maintain the spatial relationship of the instrument tip in various predefined positions.

La Computer-Assisted Surgery (CAS) ha rivoluzionato il panorama chirurgico negli ultimi decenni, offrendo ai chirurghi strumenti innovativi per migliorare la precisione, l'efficienza e la sicurezza degli interventi. Un aspetto fondamentale della CAS è la precisa localizzazione e il tracciamento degli strumenti chirurgici al fine di garantire l'efficacia e la sicurezza delle operazioni. La presente ricerca si concentra sull'implementazione di vari algoritmi di tracciamento ottico marker-based per la pose estimation a sei gradi di libertà (6DOF) degli strumenti chirurgici, la creazione di una pipeline software modulare per l'integrazione dei diversi metodi sviluppati e la valutazione delle prestazioni di tali soluzioni attraverso la definizione di metriche di valutazione e l'esecuzione di test sperimentali rigorosi. L'analisi iniziale ha esplorato i sistemi di tracciamento ottico e le loro applicazioni chirurgiche, evidenziando la necessità di soluzioni precise e affidabili per la localizzazione degli strumenti. In particolare, è stata effettuata la 6DOF pose estimation di strumenti chirurgici dotati di punta, usati per la digitalizzazione di punti anatomici reali del campo operatorio. Sono stati utilizzati diversi tipi di marker: sia sferici attivi e passivi che basati su pattern (con ArUco e Vuforia). I marker e gli strumenti sono stati creati ad hoc per valutare una vasta gamma di soluzioni di tracciamento. Sono stati sviluppati diversi metodi di tracciamento basati su algoritmi di visione artificiale, sia mono che stereo, per l'estrazione e la localizzazione dei marker, utilizzando diverse modalità di acquisizione, come RGB, IR e RGB+Depth. La valutazione sperimentale è stata eseguita sia tramite metriche tradizionalmente utilizzate nella letteratura dei sistemi di tracciamento ottico, sia tramite metriche appositamente definite. In particolare, queste metriche sono state impiegate per misurare vari aspetti delle prestazioni di tracciamento, tra cui errori di posizionamento e orientamento dello strumento, e stabilità del tracciamento, sia in condizioni statiche che dinamiche. Sono inoltre stati definiti diversi tipi di test per valutare sia le prestazioni in termini assoluti che relativi dei metodi di tracciamento implementati. Le prove sono state eseguite su una piattaforma di test appositamente progettata e costruita, che comprende un braccio robotizzato con 3DOF per il posizionamento e la movimentazione degli strumenti tracciati in modo controllato e ripetibile, una telecamera Intel RealSense D435i, dotata di sensori RGB, IR e Depth e utilizzata come sistema di visione per il tracciamento ottico, e uno scanner 3D a luce strutturata per ottenere una ground truth accurata della posizione e orientamento degli strumenti. Per le prove di errore assoluto, sono state selezionate diverse posizioni e orientamenti degli strumenti e gli errori sono stati calcolati rispetto alla ground truth. Per i test dinamici, sono stati eseguiti movimenti di traslazione e rotazione degli strumenti, valutando la stabilità del tracciamento e la capacità di seguire il movimento. Per i test di errore relativo, è stata valutata la capacità dei metodi di tracciamento di mantenere la relazione spaziale della loro punta in varie posizioni predefinite.