Το «βαθύ» Web και όσα δεν ξέρετε για αυτό

By: John Tsipas 0 comments

Όσο μανιακοί χρήστες του διαδικτύου κι αν είμαστε, κινούμαστε μόλις στο 1% του περιεχομένου του. Τι συμβαίνει στο υπόλοιπο 99%;



Αυτό που εμείς αποκαλούμε Internet είναι απλώς η επιφάνεια. Κάτω από αυτή υπάρχει ένας τεράστιος αχαρτογράφητος ωκεανός δεδομένων και σελίδων που ονομάζεται Deep Web. Δεκάδες τρισεκατομμύρια σελίδες που μπορεί να περιλαμβάνουν από «αόρατες» πανεπιστημιακές βάσεις στατιστικών στοιχείων μέχρι παράνομο εμπόριο όπλων και ανθρώπινων οργάνων.

Η ιδέα έχει ως εξής: για να μας δώσει το Google ή το Bing τα αποτελέσματα της αναζήτησής μας δεν ψάχνουν κάθε φορά όλες τις σελίδες του Internet. Καθημερινά «εξαπολύουν» προγραμματάκια (crawlers) που κινούνται από σελίδα σε σελίδα ακολουθώντας τα links της και φτιάχνουν έναν «πίνακα περιεχομένων» στον οποίο ανατρέχουν όταν εμείς ζητήσουμε κάτι. Αν το Internet είναι μια τεράστια βιβλιοθήκη, το Google είναι ο βιβλιοθηκάριος.

Όμως η αναζήτηση βρίσκει μόνο στατικές σελίδες -σαν αυτή που διαβάζετε τώρα- και είναι αδύνατον να καταγράψει εκείνες που δημιουργούνται on demand. Για παράδειγμα, η σελίδα που βγαίνει όταν ψάξετε ένα όνομα στις whitepages του ΟΤΕ. Τα crawlers, επίσης, δεν μπορούν να μπουν σε ιδιωτικές databases (εφόσον δεν υπάρχουν links που οδηγούν εκεί) ούτε στο εσωτερικό της ιστοσελίδας της εφορίας· σταματούν στη homepage. Όλες αυτές οι σελίδες είναι μέρος του Deep Web.

Σύμφωνα με πανεπιστημιακούς ερευνητές, η μεγάλη πλειονότητα του Deep Web αφορά σε σελίδες με χρήσιμα στοιχεία (databases). Οι μεγαλύτερες είναι της NASA, της αμερικανικής National Oceanic and Atmospheric Administration, του γραφείου ευρεσιτεχνιών και της επιτροπής κεφαλαιαγοράς. Μετά είναι οι σελίδες που φαίνονται μόνο σε συνδρομητές επί πληρωμή (εφημερίδες, LexisNexis κ.λπ). Ένα άλλο 13% αντιπροσωπεύει τα εσωτερικά intranets των εταιρειών.

Αλλά υπάρχει και η «σκοτεινή πλευρά». To Tor είναι ένα δίκτυο που απαιτεί ειδικό λογισμικό για να έχει κανείς πρόσβαση και το οποίο εξασφαλίζει στο χρήστη την ανωνυμία, καθώς και ότι οι αρχές δεν θα μπορέσουν ποτέ να βρουν τα online ίχνη του.

Ξεκίνησε ως πρόγραμμα ασφαλούς επικοινωνίας και σε αυτό βρήκαν καταφύγιο τόσο οι πολιτικοί ακτιβιστές σε χώρες που είναι επικίνδυνο να είσαι αντιφρονούντας, όσο και οι «μαυραγορίτες» και οι χάκερς. Οι «σκοτεινοί χρήστες» το χρησιμοποιούν για να διακινήσουν τα πάντα: από κλεμμένα νούμερα πιστωτικών καρτών και πειρατικό software, μέχρι παιδική πορνογραφία.

Αν και το Deep Web παραμένει κρυμμένο από το ευρύ κοινό, δεν είναι λίγοι εκείνοι που προσπαθούν να αποκτήσουν πρόσβαση στο χρήσιμο κομμάτι του με την ελπίδα να χρησιμοποιήσουν τα στοιχεία του -σε σχέση με το κλίμα, την οικονομία κ.λπ.- για την εξαγωγή χρήσιμων συμπερασμάτων μέσω της ανάλυσης των Big Data. To πανεπιστήμιο Stanford έχει φτιάξει μια πειραματική μηχανή αναζήτησης με το όνομα HiWE (Hidden Web Exposer).

Αντίστοιχες προσπάθειες που μπορείτε να δοκιμάσετε είναι το InfoPlease, το PubMed και το InfoMine. Εκτός αν νιώθετε αρκετά τολμηροί για να χρησιμοποιήσετε το Tor (αν και δεν θα σας το συνιστούσαμε αν δεν γνωρίζετε τι κάνετε!).

ΚΕΙΜΕΝΟ: ΚΩΣΤΑΣ ΦΑΡΜΑΚΗΣ