Robots.txt

Un robot es un programa más o menos complicado que se dedica a rastrear nuestras páginas webs y guardar su contenido en una base de datos y seguir los enlaces que tengamos a otras páginas web. Esto nos beneficia pero también nos puede perjudicar, ya que a veces no nos conviene indexar ciertas páginas de nuestras webs.

Actualmente los robots actúan de tal forma que lo primero que hacen es buscar en la raíz de nuestra página si tenemos un archivo llamado robots.txt, si lo encuentra lo lee y sigue las directrices que en él se encuentran, si no lo encuentra empieza a rastrear toda la web.

Por este tema es importante crear bien este archivo y pensar que páginas queremos que sean rastreadas y cuáles no, ya que las que no sean rastreadas no serán indexadas en los navegadores.

Este archivo es muy fácil de construir tan solo tienes que saber ciertas pautas y podrás hacerlo sin problema. El archivo robots.txt puede construirse para que se aplique solo a los robots de determinados buscadores.

Pasamos a escribir un ejemplo para ir explicando las posibilidades:
User-agent: * # aplicable a todos los robots
Disallow: / # impide la indexacion de todas las paginas

En este ejemplo los robots no podrían indexar ninguna pagina del dominio.
User-agent lo que nos dice es a que robots se les aplica las características que le siguen debajo. Si usamos el * estamos diciendo que esas reglas son aplicables para todos los robots. Pero también podemos hacerlo para determinados robots, como ves en el siguiente ejemplo:
User-agent: lycra
User-agent: BadBot
Disallow: /

En este ejemplo los robots lucra y BadBot tendría prohibida la indexación de cualquier pagina del dominio.

El disallow nos dice los archivos o carpetas que queremos que no sean indexadas. De esta forma podríamos hacer un archivo como este:
User-agent: *
Disallow: /tmp/prueba.html
Disallow: /logs

Este ejemplo lo que haría sería prohibir la indexación de la carpeta logs y el archive prueba.html a todos los robots.
Con esto ya podríamos realizar un archivo robots.txt perfectamente válido, pero también existen términos para determinar en qué horas queremos que esos robots rastreen nuestras páginas. La forma de construirlo es la siguiente:
Visit-time: 0300-0400 #esta opción obligaría a rastrear las paginas solo de 3 am a 4 am

Recuerda que las horas siempre se colocan en Greenwitch.

Por otro lado podemos decirle que indexe una página o varias cada equis tiempo, para ello se utiliza la siguiente sintaxis:
Request-rate: 1/30

Siendo el 1 el número de documentos a rastrear y el 30 el tiempo que transcurre entre un rastreo y el siguiente.

Es importante saber que no puedes dejar líneas en blanco ya que no funcionaria, el robots dejaría de leer en el momento que encuentra la línea en blanco.

Otro aspecto que no he comentado antes pero que habréis notado es que los comentarios ser realizan utilizando la #.

Un ejemplo completo seria el siguiente:
User-agent: *
Disallow: /tmp/prueba.html
Disallow: /logs
Visit-time: 0300-0400

Esto permitirá a todos los robots rastrear todas las paginas menos prueba.html y la carpeta logs, además solo podrían indexar de 3 de la mañana a 4.

Extraído de: El blog de Vinagre Asesino

GSP Under Armour

Un anuncio que he descubierto gracias a mi hermano, de la marca Under Armour con el luchador George St Pierre. A la altura de cualquier anuncio de Nike o Adidas. Disfrutadlo:

MMC

Microsoft Management Console contiene herramientas administrativas que nos sirven para gestionar redes, ordenadores, servicios y otros componentes del sistema. Si nos vamos a Inicio - Ejecutar, podríamos ejecutar cualquiera de los siguientes que viene por defecto en Windows (XP al menos):

Certificates certmgr.msc
Indexing Service ciadv.msc
Computer Management compmgmt.msc
Device Manager devmgmt.msc
Disk Defragmenter dfrg.msc
Disk Management diskmgmt.msc
Event Viewer eventvwr.msc
Shared Folders fsmgmt.msc
Group Policy gpedit.msc
Local Users and Groups lusrmgr.msc
Removable Storage ntmsmgr.msc
Removable Storage Operator Requests ntmsoprq.msc
Performance perfmon.msc
Resultant Set of Policy rsop.msc
Local Security Settings secpol.msc
Services services.msc
Windows Management Infrastructure (WMI) wmimgmt.msc
Component Services comexp.msc


Probad cada uno para que veáis las opciones que tenéis disponibles a vuestro alcance.

Directorios en Linux

/bin/ Comandos/programas binarios esenciales (cp, mv, ls, rm, etc.)

/boot/ Ficheros utilizados durante el arranque del sistema (núcleo y discos RAM)

/dev/ Dispositivos esenciales, discos duros, terminales, sonido, video, lectores dvd/cd, etc.

/etc/ Ficheros de configuración utilizados en todo el sistema y que son específicos del ordenador.

/etc/opt/ Ficheros de configuración utilizados por programas alojados dentro de /opt/

/etc/X11/ Ficheros de configuración para el sistema X Window (Opcional)

/etc/sgml/ Ficheros de configuración para SGML (Opcional)

/etc/xml/ Ficheros de configuración para XML (Opcional)

/home/ Directorios de inicios de los usuarios (Opcional)

/lib/ Bibliotecas compartidas esenciales para los binarios de /bin/, /sbin/ y el núcleo del sistema.

/mnt/ Sistemas de ficheros montados temporalmente.

/media/ Puntos de montaje para dispositivos de medios como unidades lectoras de discos compactos.

/opt/ Paquetes de aplicaciones estáticas.

/proc/ Sistema de ficheros virtual que documenta sucesos y estados del núcleo. Contiene principalmente ficheros de texto.

/root/ Directorio de inicio del usuario root (super-usuario) (Opcional)

/sbin/ Comandos/programas binarios de administración de sistema.

/tmp/ Ficheros temporales.

/srv/ Datos específicos de sitio servidos por el sistema.

/usr/ Jerarquía secundaria para datos compartidos de solo lectura (Unix system
resources). Este directorio puede ser compartido por
múltiples ordenadores y no debe contener datos específicos del
ordenador que los comparte.

/usr/bin/ Comandos/programas binarios.

/usr/include/ Ficheros de inclusión estándar (cabeceras de cabecera utilizados
para desarrollo).

/usr/lib/ Bibliotecas compartidas.

/usr/share/ Datos compartidos independientes de la arquitectura del sistema. Imágenes, ficheros de texto, etc.

/usr/src/ Códigos fuente (Opcional)

/usr/X11R6/ Sistema X Window, versión 11, lanzamiento 6 (Opcional)

/usr/local/ Jerarquía terciaria para datos compartidos de solo lectura específicos del ordenador que los comparte.

/var/ Ficheros variables, como son logs, bases de datos, directorio raíz de servidores HTTP y FTP, colas de correo, ficheros temporales, etc.

/var/cache/ Cache da datos de aplicaciones.

/var/crash/ Depósito de información referente a caidas del sistema (Opcional)

/var/games/ Datos variables de aplicaciones para juegos (Opcional)

/var/lib/ Información de estado variable. Algunos servidores como MySQL y PostgreSQL almacenan sus bases de datos en directorios subordinados de éste.

/var/lock/ Ficheros de bloqueo.

/var/log/ Ficheros y directorios de registro del sistemas (logs).

/var/mail/ Buzones de correo de usuarios (Opcional)

/var/opt/ Datos variables de /opt/.

/var/spool/ Colas de datos de aplicaciones.

/var/tmp/ Ficheros temporales preservados entre reinicios.

Diferencias entre Windows 7 Home Premium y Professional

Como en mi empresa se pidieron portátiles nuevos, resulta que el SO que venía por defecto era el Windows 7 Home Premium, y ahora resulta que como NO se pueden agregar a un dominio, tenemos que hacer un upgrade a Windows 7 Professional. Aquí les dejo un resumen de las principales diferencias entre las dos ediciones:

Sacado de NeuronalTraining.net

Las dos ediciones principales de Windows 7 son: el Home Premium y el Profesional.
Ambas ediciones concentrarán la mayoría de usuarios de Windows 7, pero ¿Cuál es diferencia entre los dos?
Mencionaremos dos enfoques para responder la pregunta planteada.

Mercado Objetivo:
- Windows 7 Home Premium: Para la mayoría de usuarios con funciones cotidianas, se les ofrece una experiencia, entorno visual rico y completo.
- Windows 7 Professional: Para la pequeña empresa y personas que trabajen en casa. Igualmente incluye una experiencia, entorno visual rico y completo.

Conectividad, seguridad y entorno de trabajo.
- Windows 7 Home Premium: La conectividad en esta edición es limitada, pudiendo montar una pequeña red LAN en el hogar.
- Windows 7 Professional: En esta edición es posible unirse a una red administrada con dominio, realizar conexiones RDP, VNC, etc. Incluye protección de datos con copia de seguridad avanzada de red y Sistema de archivos de cifrado.

Y una comparativa detallada para finalizar.

nmap en Matrix Reloaded

En esta escena Trinity necesita cortar la red eléctrica de la ciudad, y utiliza Nmap para encontrar un servidor SSH vulnerable. Una vez localizado, utiliza el exploit SSH1 CRC32 para acceder al root de la máquina: