Σχήμα από Στερεοσκοπική Φωτογράφηση (Στερεοφωτογράφηση)

Η ιδέα απόκτησης τρισδιάστατων μοντέλων από φωτογραφίες υπάρχει εδώ και πολλές δεκαετίες. Βασικός στόχος της μεθόδου είναι η εξαγωγή όσο το δυνατό περισσότερης γεωμετρικής πληροφορίας από ένα ζεύγος φωτογραφιών με γνωστή τοποθέτηση στο χώρο. Η εξαγόμενη πληροφορία θα χρησιμοποιηθεί για την τρισδιάστατη ανακατασκευή του περιεχομένου των εικόνων.

Η στερεοσκοπική φωτογράφηση έχει μεγάλη εφαρμογή στο χώρο της όρασης υπολογιστών. Αποτελεί μια υλικοτεχνική προσπάθεια εξομοίωσης του τρόπου λειτουργίας του ανθρώπινου συστήματος όρασης. Πράγματι, η συγκεκριμένη τεχνική βασίζεται σε ζεύγος φωτογραφιών που παρουσιάζουν ένα αντικείμενο από διαφορετικές οπτικές γωνίες, προσεγγίζοντας τις εικόνες που λαμβάνονται από τα ανθρώπινα μάτια. Συγκεκριμένα τμήματα του αντικειμένου είναι εμφανή και στις δύο φωτογραφίες. Οι εσωτερικές και εξωτερικές παράμετροι των οπτικών συστημάτων χρησιμοποιούνται για την διαδικασία βαθμονόμησης. Η βαθμονόμηση επιτρέπει την ανάκτηση της τρίτης διάστασης ενός σημείου που είναι κοινό ανάμεσα στις δύο φωτογραφίες. Η αναγνώριση των κοινών σημείων πάνω στις εικόνες πραγματοποιείται με μεθόδους αυτόματες ή χειροκίνητες. Η ανάκτηση του βάθους γίνεται με μαθηματικούς αλγορίθμους που χρησιμοποιούν παραμέτρους από τη βαθμονόμηση και τη διαφορά θέσης των κοινών σημείων ανάμεσα στις δύο εικόνες. Μια απλοποιημένη μορφή της διαδικασίας, σε μορφή διαγράμματος ροής, που ακολουθείται για την ανακατασκευή γεωμετρίας από στερεοφωτογράφηση φαίνεται στην Εικόνα 42.

Εικόνα 42

 

Οι μαθηματικές αρχές που διέπουν τη διαδικασία προέρχονται από το χώρο της προβολικής γεωμετρίας. Η λύση του προβλήματος απεικονίζει απλοποιημένα στην Εικόνα 43. Τα τρία σημεία COP1, COP2 και P σχηματίζουν ένα επιπολικό πεδίο. Τα κέντρα προβολής των σημείων (COP1 και COP2) συνδέονται από μία νοητή γραμμή που τέμνει τα επίπεδα πάνω στα οποία βρίσκονται οι φωτογραφίες. Τα συζυγή σημεία τομής είναι τα e1 και e2, τα οποία ονομάζονται επιπολικά. Το σημείο P υπολογίζεται από την εύρεση του σημείου όπου τέμνονται, στον τρισδιάστατο χώρο, οι προβολές των P1 και P2.

Εικόνα 43

 

Το πιο δύσκολο πρόβλημα της στερεοσκοπικής ανάλυσης είναι η εξακρίβωση των εικονοστοιχείων ανάμεσα στις δύο εικόνες που αντιστοιχούν στο ίδιο σημείο στο χώρο. Αυτό το πρόβλημα είναι γνωστό και ως πρόβλημα αντιστοιχίας. Διάφοροι αλγόριθμοι αναλαμβάνουν να αντιστοιχήσουν την πληροφορία που προσφέρουν οι εικόνες, ώστε να κατασκευάσουν τους χάρτες ανομοιότητας, από όπου θα υπολογισθεί, με τη μέθοδο της τριγωνοποίησης, η γεωμετρία της επιφάνειας του αντικειμένου. Στην Εικόνα 44 δείχνονται τα κύρια βήματα μιας γενικευμένης διαδικασίας αντιστοίχησης.

Εικόνα 44

 

Το τελικό αποτέλεσμα είναι ένας χάρτης βάθους (depth map). Κάθε εικονοστοιχείο του χάρτη περιγράφει την απόσταση (σε κάποια μετρική μονάδα) από την επιφάνεια του αντικειμένου έως το κέντρο του φακού της ψηφιακής φωτογραφικής μηχανής. Στην Εικόνα 45 εξηγούνται τα βήματα ανακατασκευής ενός αγάλματος. Η αριστερή και η δεξιά εικόνα χρησιμοποιούνται ως πηγές πληροφορίας για τη δημιουργία του χάρτη βάθους, από όπου θα προκύψει το πολυγωνικό πλέγμα πάνω στο οποίο θα προβληθεί η πληροφορία υφής.

Το ερευνητικό ενδιαφέρον στο συγκεκριμένο χώρο είναι μεγάλο και αυτό φαίνεται από το πλήθος των αλγορίθμων που επιτρέπουν την αυτοματοποιημένη διαδικασία αναγνώρισης κοινών σημείων ανάμεσα σε δύο φωτογραφίες. Ένας από τους ποιο διαδεδομένους αλγορίθμους χρησιμοποιεί χαρακτηριστικά που αναγνωρίζει πάνω στο ζεύγος φωτογραφιών (feature-based stereo matching). Ο αλγόριθμος αναλαμβάνει να ανακαλύψει όλα εκείνα τα ευδιάκριτα χαρακτηριστικά του αντικειμένου που εμφανίζονται και στις εικόνες και μπορεί να είναι γωνίες, πλευρές, ευθείες ή ακόμα και καμπύλες. Η επιπολική γεωμετρία εφαρμόζεται για την εύρεση των καλύτερων αντιστοιχιών ανάμεσα σε αυτά σημεία. Η τεχνική αυτή είναι εύρωστη στην εκτίμηση του βάθους αλλά η ανάκτηση του βάθους πραγματοποιείται μόνο για τα σημεία της εικόνας που έχουν αναγνωριστεί ως κοινά.

 

Από την άλλη, υπάρχουν αλγόριθμοι που βασίζονται στην ιδέα του διαχωρισμού της εικόνας σε τμήματα. Ο διαχωρισμός αυτός επιτρέπει στον αλγόριθμο να ελέγξει μικρές γειτονιές εικονοστοιχείων για να εντοπίσει τις αντιστοιχίες ανάμεσα στις δύο φωτογραφίες. Η βέλτιστη αντιστοιχίας των τμημάτων βασίζεται στην επιπολική γεωμετρία και σε μεγέθη όπως το μέσο τετραγωνικό σφάλμα και το σφάλμα απόλυτης διαφοράς. Οι αλγόριθμοι τμηματικού διαχωρισμού αποφέρουν πολύ πυκνό χάρτη βάθους. Το μέγεθος των τμημάτων που χωρίζεται η εικόνα αποτελεί κριτήριο στην ποιότητα της ανακατασκευής και στο χρόνο επεξεργασίας που απαιτείται.

Πλεονεκτήματα και μειονεκτήματα της τεχνικής

Δύο είναι τα πλεονεκτήματα της τεχνικής Σχήμα-Από-Στερεοφωτογράφηση:

• Ανήκει στην κατηγορία των παθητικών τεχνικών τρισδιάστατης αποτύπωσης.
• Βασίζεται σε φτηνό εξοπλισμό που μπορεί να περιορισθεί σε δύο μόνο ψηφιακές φωτογραφικές μηχανές.

Από την άλλη, σημαντικά μειονεκτήματα της τεχνικής είναι:

• Το βάθος υπολογίζεται μόνο σε σημεία που περιέχουν αναγνωρίσιμα χαρακτηριστικά και,
• Οι χάρτες βάθους περιέχουν συχνά θόρυβο αφού η ποικιλία της πληροφορίας των φωτογραφιών κάνει την διαδικασία αντιστοίχησης πολύ δύσκολη.

Τα αποτελέσματα της μεθόδου γύρω από πιθανές σιλουέτες που εμφανίζουν τα αντικείμενα δεν είναι ενθαρρυντικά. Εκτός από αυτό αντιμετωπίζει και προβλήματα σε επιφάνειες όπου η διάχυση του φωτός δεν είναι ομαλή. Η πληροφορία βάθους που εξάγεται από τα ζεύγη φωτογραφιών χαρακτηρίζεται 2½D (διάστασης 2,5) αντί για 3D και αυτό γιατί το αντικείμενο χαρτογραφείται τρισδιάστατα σε σχέση με το επίπεδο αναφοράς που είναι σχεδόν κάθετο στους δύο οπτικούς άξονες των εικόνων. Για μια πλήρως τρισδιάστατη απεικόνιση ενός αντικειμένου απαιτούνται πολλά ζεύγη φωτογραφιών [42]. Οι Bertozzi et al. [43] πρότειναν έναν αλγόριθμο για την ανάλυση των επιδόσεων των συστημάτων που βασίζονται στη στερεοφωτογράφηση.

Οι Scharstein και Szeliski [44] σε μια πρόσφατη μελέτη τους κατάφεραν να οργανώσουν σε ένα συγκριτικό πίνακα τους διάφορους αλγορίθμους στερεοφωτογράφησης. Ως κακής ποιότητας χαρακτηρίζονται όλα εκείνα τα εικονοστοιχεία όπου η απόλυτη τιμή σφάλματος ανομοιότητας ανάμεσα στα ζεύγη των φωτογραφιών είναι μεγαλύτερη από τη μονάδα. Για κάθε ζεύγος εικόνων που χρησιμοποιήθηκαν τα αποτελέσματα χωρίζονται σε τρεις κατηγορίες:

1. Επεξεργασία με όλα τα εικονοστοιχεία των φωτογραφιών.
2. Όλα τα εικονοστοιχεία σε περιοχές χωρίς πληροφορία υφής (εκτός από το τέταρτο ζεύγος εικόνων που σχεδόν όλες οι περιοχές τους έχουν πληροφορία υφής).
3. Εικονοστοιχεία κοντά σε σημεία ασυνέχειας βάθους.

Τα στατιστικά έχουν υπολογιστεί αγνοώντας ένα περιθώριο 10 εικονοστοιχείων (18 για το πρώτο ζεύγος εικόνων) από όλες τις εικόνες. Η βαθμολογία του κάθε αλγορίθμου παρουσιάζεται με κόκκινο χρώμα ακριβώς δίπλα από το ποσοστό εσφαλμένων εικονοστοιχείων. Με έντονα γράμματα έχουν αποτυπωθεί οι μέγιστες και ελάχιστες τιμές. Τέλος, για κάθε μέθοδο περιλαμβάνεται και η αντίστοιχη αναφορά από τη βιβλιογραφία [44].