El ruido del disco duro era semejante al de esta maquina mezclando hormigón

El proble ma no eran los archivos en sí mismos ya que mediante buffers que gestiona el propios sistema operativo se consigue un rendimiento excelente, sino por la base de datos mysql. En mi caso, hacía currar a la base de datos de tal manera (con updates, inserts y selects constantes) que el disco duro parecía una hormigonera. Después de estimar el tiempo total de procesamiento en 6 horas pensé que eso le iba a hacer mucha pupa al disco duro duro (además del evidente cuello de botella) y que había que hacer algo. Entonces me dije: “Quiero almacenar los datos en algo que no haga ruido y si es posible que sea rápido” y eso amigos, es precisamente la memoria RAM. Así que vamos al tema.

Lo bueno de usar este método es que no tienes que tocar nada ni de mysql ni de tu programa, ya que para ellos será un dispositivo de almacenamiento estándar. Ahora prepárate un café porque esto va a ser complicado.

            mount -t tmpfs none /media/ramdisk

Ya está, ahora tienes en el directorio /media/ramdisk montada tu memoria RAM. Por supuesto, se reserva sólo una parte ya que el sistema necesita disponer de memoria para funcionar.
En mi caso, copié /var/lib/mysql a /media/ramdisk y luego un enlace simbólico para que mysql accediera a ello sin configurar nada.
Si quieres saber exactamente cuanto espacio tienes puedes usar el comando:

            df -h

Te mostrará algo como esta línea (junto al resto de sistemas de ficheros montados)

            none                  1,7G  384M  1,3G  24% /media/ramdisk

Dispongo de 1,7GigaBytes de almacenamiento en memoria RAM (384 megas usados). Recueda que es muy importante guadar luego esos archivos en tu disco duro porque la memoria RAM no es persistente y todo lo que haya se volatilizará cuando se demonte. En mi caso el tiempo de ejecución del programa paso de unas 6 horas a poco más de 45 minutos, y eso que mi memoria es lenta (667mhz) además de no hacer ningún ruido. Para casos o situaciones concretas este método puede sernos muy útil, incluso he visto casos de un servidor donde hasta los archivos estáticos (css, js, imagenes…) estaban cargados en memoria. Si tenemos en cuenta que en un ordenador todo pasa por la memoria y que el disco duro es con diferencia el dispositivo más lento (y delicado), se pueden obtener tiempos muy buenos en sistemas críticos (ej. una web con millones de visitas). El problema está cuando trabajamos con datos (que pueden cambiar, algo bastante común) y que nunca estarán a salvo hasta que lo volquemos a un disco duro. Para esos casos ya existen las cachés que en el fondo es copiar en memoria aquellas cosas de sólo lectura mientras mientras que los cambios se guardan al momento y posteriormente se actualiza esa caché.

Entradas relacionadas:

1. Borra tus ficheros de manera definitiva Muchos somos conscientes de que borrar un archivo no implica...
2. Eliminar espacio reservado en ext Cuando formateamos una unidad en el sistema de ficheros ext,...

Muy buenas! Seguro que más de uno ha oído hablar de las bondades de las bases de datos llamadas “nosql”. Yo también y la verdad es que me intrigaba mucho así que me puse a analizarlo fríamente. Todos los benchmarks y comentarios de la gente dan como absoluto ganadador a las “nosql”, obligando al destierro a las bases de datos relacionales. Después de analizar qué es cada cosa y las necesidades reales he llegado a una conclusión: Nada más lejos de la realidad. Intentaré explicar lo mejor posible mis razonamientos, quizá de manera demasiado abstracta, del por qué las “nosql” no son la panacea. No obstante, esto es mi opinión y alguien puede pensar que sólo digo chorradas o que en algún aspecto estoy totalmente confundido. Si es así, me gustaría saberlo ya que mi intención siempre es aprender más y nunca imponer mis ideas. Pero siempre desde el respeto Lo primero de todo y de las cosas que más rabia me da es que la mayoría de los benchmarks (muchos son más bien pruebecillas que hace alguien en 10 minutos) miden sólo el tiempo que tarda en leer n entradas o en insertar otras tantas. Bien, ahí la verdad es que las nosql son muy rápidas pero pensemos un poco: ¿qué base de datos se centra exclusivamente en esas tareas? Muy pocas y en casos muy concretos. Normalmente obtener información no es simplemente meter la mano en un cubo y sacarla sino que es algo más complejo. Esta complejidad  se trata de abordar mediante lo que las bases de datos relacionales llaman relaciones.

Por ejemplo, tengo una base de datos en la cual quiero saber cuanta gente es de cada país. Con una sóla consulta sql lo tengo mientras que con una nosql tengo que hacer, el mejor de los casos, tantas consultas como países haya. Ahora dime cuanto tiempo has tardado en hacer todas las consultas. A eso hay que sumarle que estás acoplando tu base de datos a la aplicación, ya que será la aplicación quien mediante funciones propias recorrerá y hará las tareas pertinentes (con su pérdida de eficiencia). Otro factor muy importante son las técnicas y estrategias con las que cuenta un sgbd relacional. Mediante estas técnicas es capaz de acelerar las consultas ya que, como sabe lo que quieres, trata de conseguirlo de la mejor manera posible.  Estas estrategias de optimización son imposibles en una nosql, ejecutarás todas y cada una de las consultas. De esta manera el tiempo total crecerá (en los mejores casos) de manera lineal frente al número de entradas mientras que en una relacional el crecimiento sería bastante más logarítmico.

Cojunto de SGBD Relacionales, los hay de todos los colores. Aunque si sabes SQL podrás manejarte con cualquiera de ellos.

Al usar una nosql estamos renunciando a un montón de funcionalidades. Todo aquel que haya trabajado a un nivel un poco avanzado con bases de datos relacionales será consciente de que hacer una consulta SQL tiene por qué se trivial: cuentas con un montón de posibilidades y hay que encontrar la mejor. Tenemos joins (unir tablas en base a relaciones entre ellas), conjuntos de datos (group by), un completo manejo de fechas (intervalos, sumas, restas, comparaciones…), integridad de los datos, transacciones, excepciones… un sin fin de posibilidades. Tarde o temprano te tocará hacer algo más que leer y escribir datos, y esa tarea la tendrá que hacer tu aplicación (java, php…). En ese momento, justo en ese momento la eficiencia de tu programa caerá por los suelos y todos los milisegundos que has creído ganar te están saliendo caros. Muy caros. Imagina una web donde quieras consultar un trayecto para un día concreto, a unas determinadas horas y que el tren (o lo que sea) pase por unas determinadas estaciones. Hacerlo con una nosql sería realmente doloroso y totalmente inviable.

También existen detalles más concretos como el que voy a comentar. Las nosql no proporcionan ninguna garantía ACID. Por decirlo de manera simple, un sistema ACID cuando dice que un dato se ha guardado, se ha guardado. Ya pueden pasar cualquier cosa que no vas a perder esa información. En cambio, las nosql te pueden decir que ya han guardado el dato pero todavía lo tienen por ahí en memoria de manera temporal y si en ese momento pasa algo “extraño” (se va la luz y el ordenador para, por ejemplo) el dato puede que no se haya guardado (aunque tu pienses que si porque te lo ha “asegurado”) y en ese caso habrás perdido ese dato para siempre. Alguno pensará que esto es una chuminada pero ya me dirás que pasa si surge algún problema de este tipo cuando te ingresen la nómina

Otro tema realmente importante es la integridad de los datos. Esto viene a ser que la información que hay en la base de datos sea útil y verídica. Por ponernos en situación, imagina que tienes una base de datos con autores y libros que han escrito.  En un determinado momento, borras a un autor pero sus libros quedan en la base de datos. ¿A quién pertenecerán ahora esos libros? Tenemos datos que no nos son útiles, sabemos que existen pero… hay muchas lagunas. Otro caso parecido es intentar meter un libro sin indicar su autor. Podemos exigir que todo libro tenga su autor a la hora de insertarlos pero nada nos permitiría saltarnos esta “restricción” en una nosql. Todo esto queda delegado a la aplicación, con todos los inconvenientes que trae. Una buena base de datos es aquella que vela por su integridad. Si unos datos no son fiables, esa información no vale nada. Los datos lo son todo en una base de datos.

Por supuesto no estoy diciendo que las nosql son algo que se debería quemar o guardar en un cajón ni mucho menos. Se diseñaron con un objetivo en mente y la verdad es que lo cumplen muy bien. Este objetivo es el que dije al principio y es insertar muchos datos y acceder a ellos muy rápido, y estos datos no deben ser complejos. Facebook o Twitter dicen que utilizan Cassandra (una base de datos tipo “nosql”) y es normal, ahora te explico. Twitter consiste en insertar mensajes y ver los últimos. Por así decirlo, vas metiendo en un cubo cientos de mensajes y lo único que haces es “ver” los que están por encima. Este es un caso donde una nosql sería lo óptimo. No hay relaciones complejas y el orden viene definido por el orden de inserción (recordemos que ordenar es de las tareas más duras en informática). En Facebook es algo diferente. No puedo decirlo a ciencia cierta, pero aseguraría que no usan (ni tienen pensado hacerlo) una nosql para toda su base de datos. Los casos ideales es en sitios como el muro o comentarios de fotos. El motivo es lo mismo que en caso de twitter. Para el resto, no me cabe la menor duda de que usan algun tipo de base de datos relacional.

Son bastantes diferentes entre sí pero genéricamente se les puede llamar "nosql"

Tarde o temprano se hace alguna relación entre los datos y si esa relación la gestiona el SGBD mucho mejor que manejarlo nosotros a mano. Sinceramente, no me imagino a Facebook haciendo 3 o 4 consultas y luego desde php comprobar las coincidencias para buscar “amigos en común” (de listas enormes). O la alternativa, que sería un trabajo mínimo en php pero una cantidad de consultas exponencial (ambas opciones son totalmente inviables). La única opción donde tendría alguna posibilidad es mediante de la redundancia de datos. Pero la redundancia sería tal que el tamaño de la base de datos sería monstruoso, y toda la velocidad que ganas por ser más rápida podrías perderla por la “distancia” tan grande que tocaría recorrer.

Sin embargo, todas estas limitaciones de las nosql tienen otras ventajas (además de la velocidad). Estas bases de datos son excelentes para sistemas distribuidos y ahora que todo tiende a ponerse “en la nube” se pueden aprovechar desde ese punto de vista. Eso es lo que hace que google ofrezca BigTable en AppEngine (un servicio de hosting). Sin despeintarte puedes tener funcionando un sistema distribuido en tantos nodos como quieras. Esta tarea es bastante más compljea en una db relacional, precisamente por el tema de las relaciones.

Podría simplificar todo esto en una frase: La diferencia entre una db relacional y una nosql es como aquel que le quita los asientos a su coche para que corra más. Correrá más, pero pierdes prestaciones.

Aunque más bien lo relacionaría las churras y las merinas. Se parecen pero son muy diferentes. Pues lo mismo con db relacionales y “nosql”, las dos “guardan datos” pero su finalidad es muy diferente. Y como siempre, queda a criterio del diseñador usar una herramienta u otra (o las dos a la vez).

Para terminar, muchos pensarán que he escogido ejemplos concretos para intentar “machacar” a las nosql. Es cierto, y el motivo es para dar a entender que una base de datos nosql no puede sutituir a una base de datos relacional si lo que tenemos son datos altamente relacionados entre sí. No existen productos milagrosos, todo tiene sus contras. No existe (ni existirá) un sistema gestor de bases de datos (ni ningún software ni cosa en el mundo) que se comporte a la perfección en cualquier situación.

Un saludo y espero que alguien esté es desacuerdo, para así debatir y enriquecer el post un poco

Entradas relacionadas.

Antes de nada decir que soy consciente de que puedes mantener un canal seguro entre tú y el servidor de Google usando https (simplemente entra como https://mail.google.com y ya está) pero acabo de decir, es sólo un canal seguro y aun así google tiene acceso a nuestro correo. Sinceramente no creo que implique ningún problema para un usuario normal, pero con esto del internet todo lo paranoico que seas siempre será poco así que mi intención va a ser alimentar tu locura paranoica.

Primero me gustaría explicar un poco por encima el cifrado del que estoy hablando. El cifrado se llama GPG y del cual hay muchísima documentación por ahí (aunque no descarto crear una artículo sobre ello) pero se basa en clave pública/clave privada. La clave pública es la que está accesible para todos, ya sea porque se la envías o porque la dejas disponible en un servidor de claves. Con esta clave (que no contraseña ni nada, no confundir) permite únicamente cifrar contenidos. Luego está la clave privada que ésta sí que es importarte que la mantengas a buen recaudo. Con esta clave puedes descifrar los mensajes cifrados con la clave pública. Esa clave privada es única y sólo con ella se pueden “reconstruir” los mensajes. Como habrás deducido, para enviar mensajes cifrados a otras personas tendrás que cifrarlo con la clave pública de tu destinatario. Esto puede ser algo tedioso si es la primera vez que oyes hablar de esto pero que haya calma, todo esto se encarga de gestionarlo el software.

Otro uso importante, firmar el correo. Firmar un correo sirve para confirmar el origen. Me explico, yo puedo enviarte un correo y hacer como que viene de algún conocido tuyo para intentar engañarte. Esto puede ser un problema ya que mediante el protocolo estándar de correo no se puede validar el origen. De esta manera si el mensaje llega de maxpowel@gmail.com y la firma es correcta quiere decir que yo he creado ese correo y nadie más.

Firmar un correo NO cifra el contenido pero sí asegura que no ha sido modificado. En el caso de haberse modificado en el camino (por el motivo que sea) el receptor se daría cuenta ya que fallaría la validación. En ese casó le pides al otro que te lo reenvíe y si sigue fallando cuidado porque alguien anda detrás de vosotros (a saber de que cosas os estaréis enviando )

Bien, ya estamos preparados. Instalamos el plugin

http://es.getfiregpg.org/s/install

Como un plugin normal, aceptar que quieres instalarlo y luego te pedirá reiniciar firefox. Una vez reiniciado te aparecerá una ventanita para configurarlo tal como esta:

Pulsamos en "Próximo" para comenzar la configuración del plugin

Si quieres usar un directorio diferente del home pincha en "Establecer un directorio base". No recomiendo cambiarlo así que pinchamos directamente en "Siguiente"

NOTA: Si no tienes instalado GnuPG ve a tu gestor de paquetes y busca por GPG. Normalmente ya viene instalado de serie pero bueno.

Si es la primera vez que vas a generar las claves te aparecerá esta ventana. Si por lo que sea tienes unas claves generadas por ahí y quieres usarlas pulsa en importar. Voy a suponer que eres nuevo así que marcamos "Generar"

Completamos con nuestros datos. Yo he marcado también la casilla de "Esta clave nunca expira". Dependiendo de tu nivel de seguridad puedes elegir que caduque y así pasado X tiempo la clave privada caducará eliminando así la posibilidad de descifrar mensajes antiguos. Pulsamos generar clave

NOTA: Puede llevar un buen rato la creación de la clave. Esto es porque hace una ingente cantidad de cálculos para generarla. De todas formas, no debería llevar más de 2 minutos en el peor de los casos. Un detalle es que GPG usa datos “aleatorios” para generar una clave fuerte y como un ordenador es incapaz de generar datos aleatorios utiliza tus movimientos de ratón y cosas así (¿Hay algo más impredecible que eso?)

NOTA 2: Sí, el ordenador es incapaz de generar datos aleatorios. Si hace falta lo aclararé en los comentarios.

Después de haber confirmado la clave nos aparece esta ventana. Como puedes observar, se trata de la integración con Gmail. Yo recomiendo marcar todo y darle a "Siguiente"

Pinchamos sobre "Próximo" si más miramientos

Bieeeen!!! Ya está!

Y ahora a usarlo

A la hora de redactar el mensaje nos deberían aparecer las cosas que vemos rodeadas de rojo. Lo de debajo a la derecha sirve para confirmar que el plugin esta instalado. De serie aparecen activadas las opciones de firmar y cifrar. Si no queremos firmarlo o cifrarlo pinchamos sobre ello y se pondrá en tono grisáceo. Querrá decir que ha quedado deshabilitado.

Cuando enviemos el correo nos pedirá la contraseña de clave, se la ponemos. Cuando recibamos correos cifrados el plugin lo detecta y lo descifra (avisándonos de ello). Las claves públicas se suben a servidores de claves para evitar así tener que mandarla siempre. Por si te interesa, existe el archivo revoke que sirve para invalidar tu clave privada. Esto sirve por si has perdido tu clave o sabes que alguien te la ha robado pues de esta manera la invalidas.

Con esto concluye la parte del cifrado de correo.

INTEGRACIÓN CON KDE

Si bien sólo nos queda esta integración para parecer que tenemos un cliente de correo en toda regla. Se que se puede usar un cliente de correo con gmail pero la interfaz de este webmail me parece tan maravillosa que me parece interesante tener esta posibilidad también. Voy a utilizar un plasmoide (un widget de kde4).

Como comenté en el versus KDE vs GNOME el tema de los widgets y la integración con el escritorio es algo fabuloso que le hace estar un peldaño por encima a KDE (flameeee) y este plugin es un pequeño ejemplo (no es un port de un plugin viejo, esta hecho para kde4).

En googlecode tenemos el siguiente proyecto http://code.google.com/p/gmail-plasmoid/

Para descargarlo usamos este link por ejemplo http://gmail-plasmoid.googlecode.com/files/gmail-plasmoid-0.7.10.plasmoid

Y para instalarlo, pues bien desde un terminal escribimos

plasmapkg -i gmail-plasmoid-0.7.10.plasmoid

o desde la ventana de gestión de plasma. Si quieres usar ventanitas da botón derecho sobre la barra de tareas (o el escritorio, pero yo prefiero poner el plugin en la barra) y pinchas en

“Añadir elementos gráficos” y abajo a la izquierda de la ventana pinchamos en “Instalar elementos gráficos nuevos” -> “Instalar elemento gráfico desde archivo local” y seleccionamos el

archivo recién descargado. Ahora en la lista de buscamos gmail-plasmoid y le damos doble click para que nos aparezca.

Como ves, nos vemos satisfechos tanto los que nos gusta el terminal como quien prefiere hacerlo todo a golpe de ratón.

Para configurarlo, botón derecho sobre el icono (un sobre de gmail) y dale a preferencias. Al añadir una cuenta ten cuidado con lo de “Etiqueta” ya que es para especificar una etiqueta y no todo el correo. Si no sabes lo que es una etiqueta (o no las usas) no pongas nada.

Y ya está! Ese plugin nos avisará de correos nuevos y esas cosas, así no tienes que estar entrando en la página de gmail para ver si tienes correos nuevos.

Como dije, este plugin es un ejemplo de un plasma bien hecho. Es bastante elegante (sí, soy un enfermo al mirar el código pero quería ver como hacía la integración con kde4)

A mi me parece interesante esta forma de tener gmail ya que con thunderbird (por ejemplo) uno se pierde toda la interfaz de google que una vez habituado a ella todo lo demás parece poco.

Con el tema del cifrado también se cierra el asunto que preocupa a muchos sobre “Google is watching you” ya que de esta manera google será incapaz de leer tu correo y hacer todo eso que dicen las teorías conspiratorias.

Un saludo!!

Entradas relacionadas:

1. Gmail con themes! Despues de leer algunos rumores, entro en gmail para revisar...
2. Palabras clave en firefox Hablamos de esto en el podcast, y algún amigo me...

Este verano, el grupo ALEC (Arte Libre Estudio Cooperativo) en la Ciudad de la Plata, Argentina, han tranducido e interpretado la famosa canción del software libre de Richard Stallman.  La reinterpretación pasa por la letra y música. Con música y voz punk del grupo Performous y la letra ingeniosa y pegadiza que respeta perfectamente el espíritu de la canción original.

Por supuesto realizada 100% con software libre, en la distribución Musix GNU+Linux con Audacity, Ardour y Jamin para la grabación, mezcla y masterización.

También, como debe de ser, publicado bajo licencia CC BY-SA Argentina. Ademas de esto están disponibles las pistas para cada instrumento y la voz por separado, incluso pistas para Karaoke y el para tocarla en el Frest on Fire.

Acontinuación, los que usen un navegador que admita la nueva versión de HTML5 (firefox 3.5) podran escuchar la canción desde aquí gracias al soporte nativo de ogg.

Unete y comparte el software
en libertad, hacker, lucha, para ser libre
Unete y comparte el software
hay que luchar, hacker, vive, para ser libre
Siendo avaro y esclavista
dinero haras, hacker, triste,  triste verdad
Impotentes, divididos, ya no podras, ayudar a tus amigos

ojos rojos, muchos ojos
programando las cabezas
eludiendo las fronteras
levantando las banderas

ojos rojos, muchos ojos
el imperio se diluye
tras sus luces
y sus miedos
se opaca
se destruye

Cuando el software libre llegue
con igualdad, hacker, escuha nuestro llamado
Tiraremos sus licencias y mucho más,
hacker, lucha para ser libre

Entradas relacionadas:

1. Recuerda las libertades del software libre La libertad de ejecutar el programa, para cualquier propósito (libertad...
2. Yaourt: Instala software de AUR facilmente en Arch Cuanto entre en el mundo de Arch leía por todas...
3. Que malos son los hackers Esa tal Gloria tiene que tener varios gbs de banda...

Pues te voy a dar una solución. Un widget complejo puede estar compuesto por hasta 3 partes:

Cuerpo del widget (el widget en sí)
Servidor del widget (una parte del widget que escucha consultas ajax)

Objetos en la base de datos (puede guardar datos en la base de datos)
Un widget sencillo consistiría solo en el cuerpo del widget. Como cutrenti es software libre no me importa mostrar como funciona así que explico un poco la estructura.
Tenemos el directorio widgets, donde van los widgets y el directorio seccionesAjax, donde van las secciones ajax. Evidentemente si intentas acceder directamente a estos archivos no van a funcionar.
La manera de mostar un widget es llamándolo desde una sección. En otro momento explicaré como funciona una sección.
Y la forma de conectarse con la otra parte del widget (la parte servidor, situadada en seccionesAjax) es mediante Ajax. Insertas en el widget alguna funcion javascript que haga una consulta a consultasAjax.php?seccion=nombreWidget.

Mi idea es que el servidor ajax envíe únicamente json, nada de “html prefabricado”. Enviar json es como si digo que sólo se envía información, javascript ya construirá lo que quiera con esa información. Pero además un widget no solo puede acceder a su servidor ajax, puede acceder a cualquiera (o por lo menos intentarlo). De esta manera conseguimos que todo el sistema interactúe entre sí.

Para no tener que escribir tanto llamare al servidor ajax serax
Un ejemplo. Ahora mismo existe un serax que devuelve la lista de amigos del usuario. Yo lo uso para el widget que lista amigos pero también podría usarlo otro wiget que también accede al servidor ajax de tablones para mostrar una lista de los ultimos tablones de sus amigos.

Analicemos más a fondo el ejemplo. Creas un widget y te conectas a serax para pedirle la lista de amigos. Como te devuelve un json almacenas esa lista de usuarios y a continuación por cada uno de esos usuarios vas pidiendo el ultimo blog a serax que te devolvera json con el título y contenido del blog que le pidas. Despues con esos datos puedes mostrarlos en una tabla o como quieras, tabla creada usando javascript.

Después imagina que cuando haces click sobre el nombre de un amigo de esa lista de blogs quieres que te muestre el numero de visitas del perfil del usuario al que haces click (es una chorrada pero por poner un ejemplo). Pues pones que cuando haga click en ese enlace llame a un determinado serax (el que contenga esa información) y depués la procesas y añades un div (por ejemplo) con esos nuevos datos.

Por supuesto, no puedes acceder a información a la que no tengas acceso. Si te pones a pedir fotos o blogs de gente que no son amigos (no tienes acceso) el serax no te devolverá esa información.

Como siempre digo, el nuevo cutrenti esta basado 99% en widgets y todas las secciones estan hechas usando esta tecnología así que cualquier widget que aparezca en la versión “oficial” sera perfectamente compatible con widgets hechos por terceros. Incluso si algún widget se usa bastante o es ve útil se podría incluir en la versión oficial. Con versión oficial me refiero a los widgets que aparecen por defecto.

Más adelante haré manuales con ejemplos prácticos que es más sencillo de lo que parece.
Un saludo y espero no haberos liado mucho!

Entradas relacionadas.