Cómo hacer un robots.txt para WordPress (actualizado)
A raíz de este artículo de Sigt, se me ha ocurrido hablar sobre cómo debería ser un robots.txt para un blog de WordPress, analizando un poco cómo son los de algunos de los blogs de más éxito que leo asiduamente.
Al crear un archivo robots.txt, estamos indicando a los diferentes bots de los buscadores qué archivos o rutas deben seguir e indexar y cuales no. Por ejemplo, si tenermos una carpeta con información privada sobre nosotros, y no nos interesa que se pueda acceder a ella por medio de buscadores, debemos desabilitarla (“Disallow“) en el archivo robots.txt, ya que por defecto los buscadores recorren todo el sitio. En WordPress, por ejemplo, las carpetas wp-admin o wp-includes sólo contienen información sobre el panel de administración y el funcionamiento interno del CMS, por lo que podrían estar perfectamente “desabilitadas” para la indexación, como tienen hecho en AlexSeo de la siguiente manera:
Disallow: /wp-admin/
|
Disallow:
/wp-includes/
|
En Sigt van un paso más allá, y llegan a la conclusión de que todos los archivos o carpetas que empiecen por “wp-“, el problema de ésto es que haciéndolo así estás vetando también la entrada a wp-content, que podría contener elementos que queremos que sean indexados, como por ejemplo las imágenes. Para ello tenemos que permitir (“Allow“) la indexación de los archivos de un determinado tipo de ciertas carpetas (En este caso uploads):
Allow:
/wp-content/uploads/*.gif
|
Allow:
/wp-content/uploads/*.png
|
Allow:
/wp-content/uploads/*.jpg
|
El método de Sigt es bastante más restrictivo que el de AlexSeo, aunque la elección de uno u otro depende de lo que el blogger considere más cómodo.
Puede que quieras que el buscador de Google indexe tus imágenes (En LaMatePorUnYogur tienen desactivada la indexación, mientras que en otros sitios la tienen activada, por lo que depende de cada uno), por lo que sería recomendable que añadieras una línea para permitir la entrada al bot de Google Images:
User-agent:
Googlebot-Image
|
Allow: /
|
No se hasta qué punto es necesario o eficiente añadir un par de líneas para Google Images si ya tienes puesto “User-agent: *” (Que actúa para todos los bots de buscadores), así que si alguien me puede explicar este punto mejor que mejor.
Wordpres tiene un problema bastante considerable de cara al contenido duplicado, ya que por defecto se indexan todos los feeds y trackbacks. Para evitar ésto hay que añadir unas cuantas líneas al robots.txt, que tienen en común prácticamente todos los blogs (Inkilino, LaMatePorUnYogur o Sigt):
Disallow: /?s=
|
Disallow: /?ref=
|
Disallow: /feed
|
Disallow:
/comments/feed
|
Disallow: /feed/$
|
Disallow: /*/feed/$
|
Disallow:
/*/feed/rss/$
|
Disallow:
/*/trackback/$
|
Disallow: /*/*/feed/$
|
Disallow:
/*/*/feed/rss/$
|
Disallow:
/*/*/trackback/$
|
Disallow:
/*/*/*/feed/$
|
Disallow:
/*/*/*/feed/rss/$
|
Disallow:
/*/*/*/trackback/$
|
Por último lugar, pero no menos importante que lo anterior, es facilitar el acceso al Sitemap de nuestro blog (Deberíamos tener uno, sí), indicando la ruta del archivo de la siguiente forma:
Sitemap:
http://bocabit.elcomercio.es/sitemap.xml
|
De esta manera, juntando todo lo anterior, el resultado final que debería funcionar a todo el mundo podría ser como el siguiente:
User-agent: *
|
Disallow: /wp-
|
Allow:
/wp-content/uploads/
|
Disallow: /?s=
|
Disallow: /?ref=
|
Disallow: /feed
|
Disallow:
/comments/feed
|
Disallow: /feed/$
|
Disallow: /*/feed/$
|
Disallow:
/*/feed/rss/$
|
Disallow:
/*/trackback/$
|
Disallow: /*/*/feed/$
|
Disallow:
/*/*/feed/rss/$
|
Disallow:
/*/*/trackback/$
|
Disallow:
/*/*/*/feed/$
|
Disallow:
/*/*/*/feed/rss/$
|
Disallow:
/*/*/*/trackback/$
|
User-agent:
Googlebot-Image
|
Allow: /
|
Sitemap:
http://tuSitio.com/sitemap.xml
|
Algo que me ha llamado la atención es que algunos sitios como, como Inkilino, han añadido un par de líneas para permitir la entrada del bot de Adsense a todo el sitio:
User-agent:
Mediapartners-Google
|
Allow: /
|
Y hasta aquí llega la lección de hoy, aunque aún me quedan
algunas dudas, como por ejemplo si las etiquetas Allow tienen
más importancia que las Disallow en el sentido que anulen
algunos valores de estas últimas, y agradecería que si estoy
equivocado en algo, que se me corrija
PDTA: Me sorprende que Helektron no tenga un robots.txt
EDITADO: Si queremos que nuestro blog salga en Google Blog Search, deberemos añadir la siguiente línea, pero en este caso hay que tener en cuenta que Google lo podría considerar como contenido duplicado, por lo que sería recomendable añadirla un par de meses después de que el blog tenga ya cierto “prestigio” para que tenga un PageRank superior al del feed de las entradas:
Allow: /feed/$
|
Cómo dividir en partes un XML de WordPress
Una de las
características que tiene WordPress, es la capacidad de
exportar e importar en formato XML todo el contenido
de nuestro blog a modo de backup. Ésto es muy útil,
ya que cuando nos vemos obligados a cambiar de servidor por
alguna razón determinada, importar una base de datos se puede
convertir en una tarea que roza lo
imposible, sobretodo si no contamos con privilegios
suficientes en la misma o la versión de MySql del servidor en
el que estábamos alojados difiere de la del destino.
Por éstas razones, resulta muy importante la antes mencionada característica de WordPress. Sin embargo, cuando nuestro blog “crece”, el tamaño del archivo xml que genera WordPress también lo hace. El problema de ésto, es que WordPress sólo puede gestionar (en teoría) archivos de un tamaño máximo de 2MB, y ése es el límite que nos ponen muchos hosts a la hora de subir un archivo, por lo que resulta imprescindible dividir en partes el XML si queremos recuperar todos nuestros datos.
A continuación, explico brevemente cómo y por dónde dividir un archivo XML de WordPress, ya que no se debe hacer a ciegas debido a que éste contiene información estructurada sobre cada post, comentario, categorías, etc, de una manera ordenada.
Codificación del archivo
En primer lugar, debemos crear un archivo de texto ANSI codificado como UTF-8 sin BOM (ésto se puede hacer perfectamente en algún editor de texto completo como Notepad++ en Windows o Smultron en Mac). Es muy importante que la codificación se ésta, ya que en caso contrario no nos detectará caracteres como tildes, ñ, etc.
Estructura del archivo
La estructura de un archivo xml de WordPress es la siguiente:
<?xml version="1.0"
encoding="UTF-8"?>
|
<rss>
|
<channel>
|
/*
INICIO INTRODUCCIÓN */
|
<title>bocabit.elcomercio.es</title>
/* Título del blog */
|
<link></link>
/* Dirección del blog */
|
<description></description>
/* Descripción */
|
<pubDate>Thu,
05 Jun 2008 13:35:15
+0000</pubDate>
/* Última fecha de publicación */
|
<generator>http://wordpress.org/?v=2.5.1</generator>
/* Versión de WordPress */
|
<language>en</language>
/* Idioma */
|
<wp:wxr_version>1.0</wp:wxr_version>
|
<wp:base_site_url>http://bocabit.elcomercio.es</wp:base_site_url>
/* Dirección base */
|
<wp:base_blog_url>http://bocabit.elcomercio.es</wp:base_blog_url>
/* Dirección base del blog */
|
/*
FIN INTRODUCCIÓN */
|
/*
INICIO CATEGORÍAS */
|
<wp:category></wp:category>
|
/*
FIN CATEGORÍAS */
|
/*
INICIO TAGS */
|
<wp:tag></wp:tag>
|
/*
FIN TAGS */
|
/*
INICIO POSTS */
|
<item></item>
|
/*
FIN POSTS */
|
</channel>
|
</rss>
|
Puntos a tener en cuenta
- Debemos poner las etiquetas xml, channel y rss en todos los archivos
- No debemos dividir un dato etiquetado con “item” por la mitad. Cada elemento debe estar entero.
- 2MB vienen a ser unas 31.600 líneas de código (Éste deberá ser el tamaño máximo de cada fichero)
Ejemplo
Si queremos dividir un archivo XML que ocupe 4’3 MB (Por poner un ejemplo), deberemos crear 3 archivos xml distintos, cada uno de 31.600 líneas (más o menos) como máximo.
En el primer archivo, pondremos la introducción, las categorías y los tags. Además, también meteremos todos los posts que nos entren (cada item es un post).
En el segundo y tercer archivo respectivamente, partiremos de donde terminamos de copiar el anterior, cogiendo el siguiente post y rellenando hasta llegar a las 31.600 líneas.
Importación
Cuando decidamos importar los archivos, creo que podemos hacerlo en el orden que queramos, aunque yo recomiendo hacerlo en el orden que los hemos dividido (en el primero debe estar la introducción).
Y hasta aquí, cómo dividir un archivo XML de WordPress. Como veis, sólo hace falta analizar un poco la estructura del fichero y a partir de ahí no tiene ninguna dificultad, aunque es verdad que si tenemos un blog con muchas entradas, se puede convertir en una tarea muy pesada.
Meta herramienta gratuita de etiqueta
Meta herramienta gratuita de etiqueta
Por favor, ver los videos gratis y leer los consejos de uso libre abajo para sacar el máximo provecho de esta herramienta.
Vídeo sobre cómo hacer que los títulos Gran página
Consejos Título de la página
- Excepcionalmente importante: su título de la página es el enlace que aparecerá en los resultados de búsqueda. Ya que es lo que la gente haga clic en los resultados de búsqueda y es la gente lo primero que ven sobre sus motores de búsqueda en el sitio el lugar de peso significativa en él.
- Por lo general, mejor si es corto a la izquierda (5-9 palabras, con la mayoría de las piezas importantes en los primeros ~ 65 caracteres)
- Cada página debe tener su propio título de página única .
- Las palabras clave primaria debe ocurrir al principio de su título de la página (de la posición de la palabra 2 a 5 o menos).
- Palabras genéricas tales como "en casa página web" o "bienvenido a" por lo general no debe aparecer en el título de la página.
- No te olvides de utilizar los modificadores de palabras clave relevantes en su título de la página para ayudar a atraer más tráfico relevante.
- Los motores de búsqueda tales como Google puede mostrar los primeros ~ 65 a 70 caracteres de su título de la página en sus resultados de búsqueda.
- Asegúrese de que su título de la página que diferencia a su sitio web desde sitios de la competencia.
Vídeo sobre cómo hacer descripciones de Gran Meta
Consejos Meta Descripción
- Algo importante: Muchos motores de búsqueda utilizan la etiqueta meta descripción de sus resultados de búsqueda. Buenas etiquetas meta descripción puede ayudar a mejorar su tasa de clics.
- La descripción de su meta debe leer y muchos ojos humanos lo verá en los resultados de búsqueda muchos.
- Debe ser una frase de un par de oraciones largas.
- Cada página debe tener su propia descripción única meta .
- Deben reforzar las palabras clave en el título de la página, dirigido a versiones alternativas.
- Por lo general deben usar múltiples versiones de las palabras clave y los modificadores de frase de palabras clave, llegando a otras permutaciones que no están muy enfocados en en el título de la página.
- Su descripción de la meta también debe ayudar a diferenciar su sitio de la competencia sitios clasificados.
Palabras clave Consejos Meta:
- No es importante: No es utilizado por los motores de búsqueda más ya que es altamente susceptible al spam y los usuarios no lo ven.
- Debe consistir en un par de palabras clave principal se utiliza para describir esa página.
- El ex ingeniero de Yahoo! Search Jon Glick dijo que la etiqueta meta de palabras clave se utiliza para su inclusión dentro de un subconjunto de los resultados de búsqueda, y no tiene ningún efecto sobre la relevancia .
- Sólo se crea para las máquinas.
Otras etiquetas Meta:
- La mayoría de los meta tags otros en torno a una mayor optimización en el sentido clásico (Dublin Core, palabras clave meta, volver a, etc) son en general una pérdida de tiempo como la mayoría de los motores de búsqueda las ignoran.
-
Dicho esto, hay algunas excepciones a esta regla
general-de-oro:
- La etiqueta meta robots, que se utiliza para indicar a los motores de búsqueda para no indexar una página o de no seguir enlaces, pero si desea que la página de la indexación y seguido que no se usará la etiqueta meta robots de exclusión, como la indexación y los siguientes por defecto los estados.
- La etiqueta rel = canónica, que se utiliza para identificar el documento original en los casos en que varias versiones de un documento existe.
- Las etiquetas específicas para verificar el sitio web de ser verificados como propiedad de una entidad, para el acceso a las ofertas de herramienta para webmasters.
Personajes contar
Algunos motores de búsqueda sólo muestran hasta ~ 70 caracteres de un título de página en sus resultados de búsqueda (menos si excederse del límite y tienen que cortar en el medio con un ...). También limitan el número de caracteres que se muestran a partir de descripciones meta. Utilice el siguiente formulario para contar la cantidad de caracteres en el título de su página o etiqueta meta descripción.
Site Explorer transition to Bing Webmaster Tools
As we announced in July, Bing Webmaster Tools are supporting the Yahoo! Site Explorer community. Webmasters should now be using the Bing Webmaster Tools to ensure that their websites continue to get high quality organic search traffic from Bing and Yahoo!.
Since the middle of August 2011, the Bing Webmaster Tools have also been integrating traffic data from Yahoo! into its reports. Please check out the Bing Webmaster blog post for more information.
We have been making great progress in transitioning organic search results to the Microsoft search platform in various markets, as part of the Yahoo! and Microsoft Search Alliance. The Site Explorer website will continue to be available until organic results are completely transitioned to the Microsoft Search platform in all markets (expected to be completed by the end of the year). Webmasters may continue to use the Site Explorer website and all its services until then.
As previously announced, the SiteExplorer YDN API’s are no longer available as of September 15, 2011. We thank all the YDN developer community who used and supported the APIs.
For FAQ’s please refer to Microsoft Webmaster Tools to support Yahoo! Site Explorer Community
– Hemant Minocha, Product Manager, Yahoo! Site Explorer
Medir nuestros esfuerzos SEO de Seguimiento de nuestro ranking de palabras clave
A los pocos días un ir, un amigo me preguntó acerca de cómo
comprobar ranking de nuestro sitio para cada palabra clave que
nos dirigimos. Creo que esta es una pieza muy buena de la
información, y también me gustaría compartirlo con ustedes.
En realidad, hay muchas herramientas por ahí que podemos
utilizar, pero el siguiente es mis herramientas favoritas:
1. Rank Checker Firefox Add-on
Pro:
- Se trata de una libre Firefox.
- Se puede exportar los resultados a un archivo csv.
Desventajas:
- Tenemos que introducir manualmente todas las palabras clave que
desea realizar un seguimiento.
2. Tráfico Travis v4
Instalar, crear nuevo proyecto, y completar la configuración del
proyecto como la URL, palabras claves para realizar un
seguimiento, con qué frecuencia para comprobar la puntuación, y
el número de resultados que desea comprobar.
Ir a la página de SEO> puntuación. Entonces se comprobará
automáticamente la clasificación de cada palabra clave que usted
pone en la configuración del proyecto.
Pro:
- Es gratis,
- Tiene un montón de otras funciones muy útiles, como los números
de control de las advertencias y de retroceso de página (cuando
hay un error en nuestra página SEO) para cada página, y otras
características de la investigación de palabras clave.
- Se puede utilizar un servidor proxy.
Desventajas:
- Sólo se revisará la clasificación de las palabras clave que
poner manualmente en la configuración del proyecto.
3. Rank Tracker Plugin de WordPress
Usando el uso de palabras clave por los visitantes motor de
búsqueda, el plug-in hará un seguimiento de nuestros SERP para
esa palabra clave, se compara con la clasificación anterior, y
cuando hay un movimiento en nuestro ranking para esa palabra
clave particular, nos va a enviar una notificación por correo
electrónico al respecto.
Instalar el plugin, ir a la página de administración plug-in,
elegir la frecuencia de correo electrónico (con qué frecuencia
debe enviar una notificación de correo electrónico de las
clasificaciones de nuevos o modificados), ponga su dirección de
correo electrónico, seleccione la localidad de Google desea
realizar un seguimiento, y se hace.
Pro:
- No necesita introducir manualmente las palabras clave (de forma
automática utilizando las palabras clave el uso por los
visitantes).
- Notificación por correo electrónico para nueva palabra clave o
el movimiento en el ranking.
- Se puede saber qué palabras clave que nuestro sitio web en
realidad filas de.
Desventajas:
Solía ??usar Ranking Plugin SEO Reporter, pero yo no sé por qué, el plugin parece no trabajar por más tiempo ahora.
Esperamos que esta información será útil para usted.
Saludos cordiales,
acerca de SEO
[Purwedi Kurniawan]
# SEO SearchTerms Plugin de etiquetado
# SEO Enlaces Auto & Related Posts Plugin
# Venta ClickBank notificación Plugin



