Internet profunda (del inglés, deep web), internet invisible o internet oculta es el contenido de internet que no está indexado por los motores de búsqueda convencionales, debido a diversos factores. El término se atribuye al informático Mike Bergman.
La principal causa de la existencia de la internet profunda es la imposibilidad de los motores de búsqueda (ejemplo: Google, Yahoo y Bing, y otros) de encontrar o indexar gran parte de la información existente en Internet. Si los buscadores tuvieran la capacidad para acceder a toda la información entonces la magnitud de la «internet profunda» se reduciría casi en su totalidad. No obstante, aunque los motores de búsqueda pudieran indexar la información de la internet profunda esto no significaría que esta dejara de existir, ya que siempre existirán las páginas privadas. Los motores de búsqueda no pueden acceder a la información de estas páginas y solo determinados usuarios, aquellos con contraseñas o códigos especiales, pueden hacerlo.
En la Deep Web pueden establecerse contactos que no son monitoreados, nadie está allí observando. Además las transferencias tanto de mercancía como de pagos son prácticamente imposibles de rastrear. La web está dividida en dos partes, la web superficial y la web profunda. Esta última es la que se conoce como Deep Web, donde se ubica todo contenido que no es indexable por los buscadores, o al que los usuarios no pueden acceder mediante un buscador web como DuckDuckGo, Startpage, Yandex, Ecosia, Yahoo!, Google o Bing.
La internet profunda no es una región prohibida o mística de internet ni la tecnología relacionada con ella es necesariamente conspirativa, peligrosa o ilegal. En ella se alberga todo tipo de recursos a los que es difícil de acceder mediante métodos comunes como los motores de búsqueda populares.
Una parte de la "internet profunda" consiste en redes internas de instituciones científicas y académicas que forman la denominada Academic Invisible Web: («Internet académica invisible»), la cual se refiere a las bases de datos que contienen avances tecnológicos, publicaciones científicas y material académico en general a los cuales no se pueden acceder fácilmente.
Tamaño
La internet profunda es un conjunto de sitios web y bases de datos que buscadores comunes no pueden encontrar ya que no están indexadas. El contenido que se puede hallar dentro de la internet profunda es muy amplio.
El internet se ve dividido en dos ramas, la internet profunda y la superficial. La internet superficial se compone de páginas indexadas en servidores DNS con una alfabetización y codificación de página perfectamente entendible por los motores de búsqueda, mientras que la internet profunda está compuesta de páginas cuyos dominios están registrados con extensiones .onion y los nombres de los dominios están codificados en una trama hash. Estas páginas se sirven de forma ad hoc, y no necesitan registrarse, basta con que tu ordenador tenga funcionando un servicio onion, que hará las veces de un servicio dns, pero especial para las páginas del internet profundo. Mediante una red P2P, se replican las bases de datos que contienen la resolución de nombres hash.
Mientras que las páginas normales son identificadas mediante el protocolo UDP/IP, las páginas .onion son repetidas por el ramal al que se ha conectado el navegador especializado para tal sistema de navegación segura. El sistema de búsqueda es el mismo que usa BitTorrent. El contenido se coloca en una base de datos y se proporciona solamente cuando lo solicite el usuario.
En 2010 se estimó que la información que se encuentra en la internet profunda es de 7500 terabytes, lo que equivale a aproximadamente 550 billones de documentos individuales. En comparación, se estima que la internet superficial contiene solo 19 terabytes de contenido y un billón de documentos individuales.
También en 2010 se estimó que existían más de 200 000 sitios en la internet profunda.
Estimaciones basadas en la extrapolación de un estudio de la Universidad de California en Berkeley especula que actualmente la internet profunda debe tener unos 91 000 terabytes.
La Association for Computing Machinery (ACM) publicó en 2007 que Google y Yahoo indexaban el 32 % de los objetos de la internet profunda, y MSN tenía la cobertura más pequeña con el 11 %. Sin embargo, la cobertura de los tres motores era de 37 %, lo que indicaba que estaban indexando casi los mismos objetos.
Motivos por los que los motores de búsqueda no pueden indexar algunas páginas:
- Documentos o información oculta: Archivos pdf que no se encuentran en las páginas indexadas, listas de datos no públicas (sobre todo los ciber-criminales).
- Web contextual: páginas cuyo contenido varía dependiendo del contexto (por ejemplo, la dirección IP del cliente, de las visitas anteriores, etc).
- Contenido dinámico: páginas dinámicas obtenidas como respuesta a parámetros, por ejemplo, datos enviados a través de un formulario.
- Contenido de acceso restringido: páginas protegidas con contraseña, contenido protegido por un Captcha, etc.
- Contenido no HTML: contenido textual en archivos multimedia, otras extensiones como exe, rar, zip, etc.
- Software: Contenido oculto intencionadamente, que requiere un programa o protocolo específico para poder acceder (ejemplos: Tor, I2P, Freenet)
- Páginas no enlazadas: páginas de cuya existencia no tienen referencia los buscadores; por ejemplo, páginas que no tienen enlaces desde otras páginas.
Denominación
La Web profunda se refiere a la colección de sitios o bases de datos que un buscador común, como Google o Bing no pueden o no quieren indexar. Es un lugar específico del internet que se distingue por el anonimato. Nada que se haga en esta zona puede ser asociado con la identidad de uno, a menos que uno lo desee.
Bergman, en un artículo semanal sobre la Web profunda publicado en el Journal of Electronic Publishing, mencionó que Jill Ellsworth utilizó el término «Web invisible» en 1994 para referirse a los sitios web que no están registrados por ningún motor de búsqueda.
En su artículo, Bergman citó la entrevista que Frank García hizo a Ellsworth en 1996:
Sería un sitio que, posiblemente, esté diseñado razonablemente, pero no se molestaron en registrarlo en alguno de los motores de búsqueda. ¡Por lo tanto, nadie puede encontrarlos! Estás oculto. Yo llamo a esto la Web invisible.
Otro uso temprano del término Web Invisible o web profunda fue por Bruce Monte y Mateo B. Koll de Personal Library Software, en una descripción de la herramienta @ 1 de web profunda, en un comunicado de prensa de diciembre de 1996.
La importancia potencial de las bases de datos de búsqueda también se reflejó en el primer sitio de búsqueda dedicado a ellos, el motor AT1 que se anunció a bombo y platillo a principios de 1997. Sin embargo, PLS, propietario de AT1, fue adquirida por AOL en 1998, y poco después el servicio AT1 fue abandonado.
El primer uso del término específico de web profunda, ahora generalmente aceptada, ocurrió en el estudio de Bergman de 2001 mencionado anteriormente.
Por otra parte, el término web invisible se dice que es inexacto porque:
- Muchos usuarios asumen que la única forma de acceder a la web es consultando un buscador.
- Alguna información puede ser encontrada más fácilmente que otra, pero esto no quiere decir que esté invisible.
- La web contiene información de diversos tipos que es almacenada y recuperada en diferentes formas.
- El contenido indexado por los buscadores de la web es almacenado también en bases de datos y disponible solamente a través de las peticiones o consultas del usuario, por tanto no es correcto decir que la información almacenada en bases de datos es invisible.