Principales instrucciones que contiene un archivo robots.txt

robots txtEn varios capítulos he destacado la importancia de tener un buen archivo robots.txt con el objeto de mejorar nuestro posicionamiento con los buscadores. A continuación analizaremos los elementos más importantes  que aparecen. De esta forma cada uno verá lo que le pueda ser más conveniente. Hay que tener en cuenta que no vamos a poder obligar a nadie por lo que se va a tratar sólo de proponer recomendaciones.
dot Preliminar: En primer lugar deberemos crear un archivo con el bloc de notas y tendrá que tener necesariamente el nombre robots y la extensión txt. Quedará como robots.txt. Una vez terminado lo subiremos al servidor de la web. Tiene que ir instalado en el directorio raíz o principal.
dot Primer bloque de instrucciones importantes: User-agent, allow y disallow.
En User-agent debemos introducir el nombre del robot y a continuación las rutas que queramos permitir o prohibir que se acceda. Si ponemos un asterisco se trata de instrucciones generales para todos los robots. Ejemplos: User-agent: * o User-agent: Googlebot
Con la instrucción allow le indicamos a los buscadores los directorios y subdirectorios que deseamos que escaneen. Por ejemplo: Allow: /wp-content/uploads/
Con la instrucción disallow le indicamos a los buscadores lo que no queremos que escaneen. Como esta web está realizada con wordpress es bueno desactivar una serie de directorios con el objeto de no crear muchos contenidos duplicados. Ejemplos: Disallow: /wp-content/plugins/ (va bien que los buscadores no sepan los plugins que usamos) o Disallow: /wp-admin/ (va bien que los buscadores no sepan que se cuece en nuestra zona de administración).
dot Segundo bloque de instrucciones: Crawl-delay.
Si analizamos la frecuencia de rastreo enseguida podemos llegar a la conclusión que muchos robots se pasan un huevo. Parece que no tienen nada más que hacer que andar escanea que te escanea nuestra web. Lo mejor para ello es frenarlos un poco. Por ejemplo: Crawl-delay: 50 (el número son los segundos).
dot Tercer bloque de instrucciones: Sitemap.
Es una buena ocasión para dejar constancia de nuestro sitemap. Por ejemplo: Sitemap: http://www.compraventa-dominios.com/sitemap.xml
robotsdot Cuarto bloque de instrucciones: Instrucciones para las arañas no deseadas.
Internet es peor que la selva. A muchos buscadores se les va la olla y lo único que hacen es tocarnos las narices para acabar no mandando nada de visitas. En estos casos lo mejor es bloquearlos directamente. Es verdad que los hay que ni bloqueándolos se consigue nada con el robots. En los casos extremos hay que echar mano del archivo .htaccess. Ejemplo de arañita a bloquear: User-agent: HTTrack Disallow: /.
dot En la web RobotsTXT hay toda la documentación necesaria para configurar un buen archivo bien optimizado.

 

¿Cómo conseguir tráfico de los buscadores?
Ebook: ¿Cómo conseguir tráfico de los buscadores?

Posted in Buscadores, Conceptos generales, Conseguir más tráfico, Promoción de la web, Servicios de Internet, Software | Tagged , , , , , | 1 Comment

¿Cómo darse de alta en los directorios web?

directoriosLos directorios web son portales de Internet diseñados con la idea de realizar una clasificación por temas mas que por palabras como sería el caso de los buscadores. Los directorios también pueden indexar sitios que vayan encontrando. La clasificación suele ser jerárquica en categorías y subcategorías. El trabajo de clasificación casi siempre es realizada por editores humanos. En los primeros años de existencia de Internet estos directorios eran uno de los métodos más utilizados por los internautas para buscar información. Ahora las cosas han cambiado. Estos directorios se las ven y las desean para formar algo mínimamente coherente dado la absoluta gran cantidad de webs existentes. Queda muy evidente que un equipo humano es realmente poco eficaz a la hora de tratar tanta información.
dot Tipos de directorios web: Directorios gratuitos que valgan la pena ya quedan realmente pocos. Dmoz es quizás el que sobrevive pero hay que tener una web realmente buena para que te listen. Haber directorios los hay y muchos. El problema suele ser que o son de pago o te obligan a poner un banner o enlace recíproco. Uno puede aceptar realizar el trabajo de poner la reciprocidad pero en la mayoría de las ocasiones suele ser un trabajo en balde porque no se suele recibir ni una sola visita aunque fuera por casualidad. Los directorios pueden ser generales, que abarcan todos los temas, o pueden ser directorios especializados sobre algún tema en concreto. Lo que siempre nos va a convenir más es estar en los directorios web de nuestra misma temática y zona geográfica.
dot Los directorios web dentro de la estrategia de posicionamiento en buscadores: Darse de alta en varios directorios es algo que puede ser interesante de cara a incrementar la popularidad de la web. Ya hemos comentado antes que nos interesa mucho la cantidad y calidad de enlaces externos. Si damos de alta nuestro portal en varios directorios obtendremos en un muy corto plazo una gran cantidad de enlaces que nos mejorarán el posicionamiento.
dot ¿Cómo buscar directorios?: Lo primero será hacer una lista de directorios de calidad. Para encontrarlos se pueden seguir estos dos caminos:
- Buscar directamente en los buscadores. Usando frases como: “directorios web”, “añadir sitio”, “agregar sitio web”, “añadir web”, “sugerir sitio web” o lo que buenamente se nos ocurra.
- Buscar listados de directorios en los foros o blogs de posicionamiento en buscadores. Generalmente los webmasters publican listados de directorios y su opinión al respecto.
dot Escoger la categoría relevante en el directorio: La mayoría poseen varias categorías y subcategorías  para que podamos dar de alta nuestra página web. Es interesante escoger bien la categoría que se relaciona más con la temática de nuestra web. Una vez hayamos seleccionado la categoría apropiada donde darnos de alta el siguiente paso será facilitar el resto de datos que nos pidan de nuestra página. Si no nos situamos correctamente lo más seguro es que hagamos el trabajo en balde.
directorios webdot Escribir el título correcto en las altas en directorios: El primer y más importante campo a tomar en cuenta en una inclusión en directorios es el campo del título. Y lo es porque se convertirá en el anchor text del enlace que apuntará hacia nuestra web. El texto del enlace es lo más importante que se toma en cuenta por parte de los buscadores para posicionarnos. Cuantos más enlaces en diferentes directorios consigamos con un mismo texto mejor nos posicionaremos con ese texto específico.
dot Escribir la descripción y las palabras clave: Después de facilitar un buen título se suele requerir una breve descripción seguida de un listado de palabras clave. Para esta información deberemos redactar algo pensando en el visitante del directorio. Hay que tener cuidado en cuanto al número de caracteres y palabras clave que se estipulen como máximo.
dot Consejos a tener en cuenta a la hora de darse de alta en los directorios:
- No darse de alta en los directorios cuando tenemos el sitio informando que está en construcción.
- La mayoría de los directorios sólo admiten dar de alta un enlace como mucho. No incurrir en spam al tratar de dar de alta un mismo sitio web varias veces con enlaces que apuntan a varias páginas internas diferentes.
- Tratar de hacer las altas en los directorios poco a poco. Los buscadores desconfían de los sitios que obtienen muchos enlaces de forma muy rápida en poco tiempo.
- Los directorios no permiten hacer altas de webs que sean redirecciones a otro sitio.
- Hay que ser pacientes para que los webmasters lo revisen todo y nos acepten la solicitud de inclusión.

 

¿Cómo conseguir tráfico de los buscadores?
Ebook: ¿Cómo conseguir tráfico de los buscadores?

Posted in Buscadores, Conceptos generales, Conseguir más tráfico, Promoción de la web, Servicios de Internet | Tagged , , , , , , , | 1 Comment

¿Cómo ser indexado por los buscadores?

indexarseA menudo se confunde el concepto de darse de alta en los buscadores con el de ser indexado ya que uno es consecuencia del otro.
Darse de alta en los buscadores se limita a realizar una solicitud para que un buscador indexe una URL. Esta petición se suele poder hacer a través de un formulario que poseen todos los buscadores en algún que otro lugar de su página. En estos casos, hay que aplicar bien el dicho que dice: “ante el vicio de pedir está la virtud del no dar” muy acorde con la actitud de los buscadores. Porque pedir el alta es solamente eso una petición para ser indexado en su base de datos. Dicha petición será atendida o no en el momento y forma que les venga en gana.
Ser indexado por los buscadores se refiere a que nuestra web esté realmente insertada en los registros de su base de datos. El proceso de darse de alta es un camino para llegar a un buen fin que es la indexación.
Características principales a tener en cuenta a la hora de ser indexados:
dot ¿Cómo la ley de Pareto se aplica a las visitas obtenidas por los buscadores?.
La ley dice algo así como que el 20% va a ser el que nos proporcione el 80% de los resultados. En el caso de las visitas que recibiremos de los buscadores realmente procederán hoy, en 2013, de los tres principales motores de búsqueda. Lo más seguro es que entre los tres acaparen el 95% del tráfico de los visitantes que recibirá la web. Estos tres buscadores son: Google, Bing y Yahoo!.
Hay que tener en cuenta que muchos buscadores pequeños utilizan la base de datos de alguno de estos tres buscadores líderes para generar sus resultados. Y es que una de las fuentes de ingresos de los buscadores grandes es precisamente prestar su base de datos a otros portales más pequeños. Por este motivo si uno está indexado en los tres grandes ya se tiene el 95% del trabajo realizado en cuanto a lo que respecta a la indexación de los buscadores.
dot ¿Pedimos que nos indexen o tratamos de obligar a que nos indexen?
Los motores de búsqueda para indexar una página utilizan un robot que se encarga de rastrear la red constantemente con el objeto de encontrar nuevas páginas o páginas modificadas. El objeto es poder insertarlas en su base de datos. Nuestra meta, en este caso, será que el crawler nos encuentre lo más rápido posible para que comencemos a escalar posiciones.
Los robots llegan a una web básicamente por dos caminos: uno largo o uno corto.
El camino largo es a través de la petición que hagamos en la página de los buscadores destinada a dar de alta nuestra web. Los buscadores reciben miles de peticiones constantemente por lo que atenderán la nuestra en cuanto les da la real gana, es decir, en unas semanas, meses o años. En pocas palabras, si damos de alta nuestra web en un buscador, tardará si tenemos suerte.
El camino corto es a través de la ayuda de terceros. El robot de los buscadores viaja a gracias a los enlaces que hay entre los diferentes sites que están en la red. Un spider encontrará más rápido nuestra web si está enlazada con otra página web que recibe frecuentemente la visita del famoso robot. Por ejemplo, yo un dominio nuevo lo anuncio en mi página de Facebook y la indexan casi al instante. Para elegir una página que nos traerá la visita del robotito debemos considerar aquellas páginas que se actualizan frecuentemente, que ya estén indexadas en la base de datos de los buscadores y que permitan dejar un enlace hacia la web.
dot Por la ley de probabilidad: a mayor número de páginas indexadas mayor posibilidad de mejorar el posicionamiento.
Todas las webs sufren modificaciones a lo largo del tiempo. Nos interesa que cada página nueva que publiquemos sea indexada lo más rápido posible. Lo más sencillo es tener un enlace desde otra página que ya sepamos que está indexada en la base de datos de los buscadores. Con este sencillo procedimiento cuando nos visiten de nuevo las arañitas registrarán las nuevas páginas a través del respectivo link.
Otro punto que nos interesa es que todas las nuevas páginas sean indexadas rápidamente. Para lograr eso debemos acostumbrar a los buscadores a visitarnos frecuentemente. Si queremos acostumbrarlo a que nos visite una vez a la semana debemos dar muestras de que nuestro sitio se actualiza con cierta frecuencia. Es por este motivo, que cuanto más actualicemos obtendremos una mayor frecuencia de visitas de los robots.
seo-crawlyticsPrincipales robots:
- Googlebot: Google.
- Bingbot: Bing.
- Slurp: Yahoo!
- ScoutJet: Blekko (Dmoz).
- Scooter: Altavista.
- Fast: webs privadas.
- Teoma: Ask Jeeves.
Si nos gusta tener un buen control de las paranoias de los buscadores hay en WordPress un buen plugin que nos facilitará de forma muy completa toda su actividad de visitas es el SEO Crawlytics.
Conclusión: Leído lo expuesto uno se puede concienciar de la importancia que tiene tener un buen archivo robots.txt en su web. Con este archivo podremos tener bajo nuestro control la revisión de nuestros contenidos. Y es que algunas arañitas si son deseables mientras que a otras muchas se les va un poco la olla. No valen la pena porque seguro que nunca nos van a mandar ni una miserable visita. Por ejemplo, una araña que va tocando los cataplines y no aporta ni una sola visita es la del gran buscador chino Baidu.

 

¿Cómo conseguir tráfico de los buscadores?
Ebook: ¿Cómo conseguir tráfico de los buscadores?

Posted in Buscadores, Conceptos generales, Promoción de la web, Recursos para la web | Tagged , , , , , , , , , , | 1 Comment

¿Qué son los enlaces para los buscadores?

como-funcionan-los-buscadores-en-internet-busquedasdot En cuanto a la cantidad de enlaces: todo suma.
Si una determinada página web recibe un enlace de otras los buscadores interpretan que las páginas le otorgan un voto. A estos votos también se los conoce como enlaces entrantes. En principio, la popularidad se puede estimar contando el número de votos que se reciben de otras webs. De esta forma, cada enlace se convierte en votos o, lo que es lo mismo, en recomendaciones.
Este sistema trata de establecer un sistema imparcial y mesurable. En consecuencia, se atribuye una mayor credibilidad a las recomendaciones de terceras personas que a las recomendaciones que nos hagamos nosotros mismos. Por lo tanto, cuantos más enlaces provengan de otros sitios web, más puntuación obtendremos de los buscadores para el posicionamiento. Es decir, aparecer en las listas de los resultados en una mejor posición que otros.
dot En cuanto a la calidad de los enlaces: no todos suman lo mismo.
Los buscadores no ponderan igual todos lo votos. Esto sucede cuando una página web posee un mayor índice de popularidad que otra. El voto se considera mejor o peor en función de la importancia de quien lo emita.
Un elemento que aparece para analizar la popularidad es la calidad de las páginas que nos dan su enlace. ¿Qué factores se toman en cuenta para determinar la calidad de una web?
Algunos de estos factores más significativos son:
- Recibir un enlace de una página web con una temática similar a la página que recibe los enlaces.
- Recibir un enlace de una página web con un elevado nivel de enlaces entrantes.
- Recibir un enlace de una página web que, a pesar de no tener un nivel tan alto de enlaces entrantes, nos ha otorgado muchos enlaces salientes por lo que los pocos enlaces que tienen son muy importantes para quien los reciba.
- Recibir un enlace de una página web que se actualice con mucha frecuencia (directorios, foros, bitácoras).
- Recibir un enlace de una página con dirección IP lo más diferente posible a la nuestra lo cual significará que son páginas de otros países o páginas alojadas en servidores diferentes.
- Recibir un enlace de una página web que no esté programada con prácticas prohibidas por los buscadores.
dot En cuanto al texto en los enlaces: ¿cómo me dijiste que te llamabas?
Los motores de búsqueda analizan cuál es el texto de los enlaces (anchor text) que apuntan hacia nuestra web. El posicionamiento en buscadores está basado en las palabras clave. Si vamos a invertir tiempo en optimizar nuestra web para que nuestras palabras clave estén presentes en los títulos, en el contenido, en las etiquetas meta, en los enlaces internos o lo que sea también tenemos que ampliar esa labor mejorando los enlaces externos.
El objetivo que deberemos conseguir es que las páginas que incluyan enlaces hacia la nuestra inserten en el texto del enlace la palabra clave con la cual queremos ser posicionados. Esta tarea es la más complicada de todas. Se trata de páginas web sobre las que no podemos ejercer, en principio, ningún control.

 

¿Cómo conseguir tráfico de los buscadores?
Ebook: ¿Cómo conseguir tráfico de los buscadores?

Posted in Buscadores, Conceptos generales, Contenidos para la web, Promoción de la web | Tagged , , , , , , , | 1 Comment

¿Cómo nos ven los buscadores?

cómo ve robotHagamos un ejercicio de reflexión y análisis sencillo de cómo funciona nuestra inteligencia humana. Después de años de experiencia ha aprendido muy bien a organizar inconscientemente la información.
Pongamos un ejemplo sencillo. Estamos en una librería con el objeto de comprar un libro cualquiera. Si cogemos uno y nos preguntan de qué trata lo primero que miraremos será, sin duda, el título, el subtítulo y cualquier otra cosa que haya en la portada. A continuación, le daremos la vuelta y buscaremos la sinopsis que suele haber en la contraportada. El tercer nivel de información lo encontramos hojeando el índice. Por último, y sin necesidad de leerlo en su totalidad, en algunos párrafos la mirada se detendría en los títulos de los capítulos, las entradillas o alguna que otra cita.
A la hora de considerar si compramos o no el libro lo más seguro es que se tengan en cuenta las recomendaciones sobre ese libro y autor en concreto. También tendremos presentes las recomendaciones o comentarios que se haya podido recibir de otras personas. Y dentro del conjunto de recomendaciones siempre estarán más bien consideradas las opiniones de las personas a las que consideramos expertas en el tema.
Pues bien. Los buscadores no son ya tan distintos. Intentan ajustarse a la misma forma de actuar humana aunque ellos no sean más que robots. A la hora de clasificar una web se fijarán en lo mismo que nosotros: el título, la descripción y en el contenido de la página. Si nuestra web está bien construida todo lo descrito debería ser un resumen de todo lo que el usuario va a encontrar. A continuación, los buscadores buscarán el índice y saltarán de enlace en enlace por las distintas secciones de los capítulos repitiendo el proceso de análisis: título, descripción, encabezamientos, contenido …
¿En qué otras cosas nos fijamos cuando hojeamos un capítulo específico de un libro?: pues los textos en negritas, textos en cursivas, textos subrayados, notas al pie de página, encabezados y en los párrafos superiores más que los párrafos inferiores. Pues un buscador establece, de forma parecida, la relevancia de la información que describe una página web. El texto en negritas, el texto en los primeros párrafos, el texto en etiquetas de mayor jerarquía son algunos de los factores que se toman más en cuenta para confeccionar la base de datos.
Así que es muy importante que la web tenga un buen título y que cada página tenga un título distinto específicamente relacionado con el contenido de la misma o es que a alguien le interesa un libro en el que todos los capítulos se titulen igual.

 

¿Cómo conseguir tráfico de los buscadores?
Ebook: ¿Cómo conseguir tráfico de los buscadores?

Posted in Buscadores, Conceptos generales, Promoción de la web, Publicidad y Marketing | Tagged , , , , , , | 1 Comment