Archivo de Mayo de 2018 Apache Livy nos ofrece una interfaz REST, con la cual vamos a poder extender nuestro Cluster de Spark, para hacerlo accesible desde el exterior, de una forma muy sencilla. De este modo podremos lanzar Jobs de Spark desde cualquier sitio, utilizando Scala, R, ó Python, incluso de forma interactiva. Podemos darle diferentes usos, desde permitir el acceso remoto a nuestro Cluster Spark desde la Web o desde Aplicaciones Móviles, hasta utilizarlo para dar servicio a los Jupyter Notebooks remotos de nuestros Científicos de Datos. Un ejemplo de caso de uso, la solución HDInsight de Microsoft (Hortonworks). Los Certificados Autofirmados (Self Signed Certificates) son una herramienta de gran utilidad en diferentes situaciones, por la agilidad de poder crearlos uno mismo, evitando dependencias de gestiones adicionales con la KPI de la compañía o adquiriendo certificados a compañías externas. Desde PowerShell tenemos la posibilidad de crearlos utilizando el comando New-SelfSignedCertificate, pero con el detalle de que se creará dentro del almacén de certificados del usuario o de la máquina. Sin embargo, tenemos la posibilidad de utilizar después el comando Export-PfxCertificate, y así exportarlo a un fichero PFX protegido con contraseña, en caso de que necesitemos transportarlo e importarlo en otra ubicación. Una opción muy interesante desde un punto de vista didáctico es montar un Cluster de Hadoop (con MapReduce y Yarn), Hive, y Spark (con Scala) sobre un conjunto de Raspberry (una, dos o más, aunque lo suyo es al menos dos o tres para poder jugar con los diferentes roles). Esto nos permitirá acercarnos un poco más a estas tecnologías Big Data que tan de moda se están poniendo, y poder experimentar su instalación, configuración y funcionamiento básico, sin necesidad de una gran inversión en hardware. Big Data for the masses. Muchas veces en nuestro día a día, necesitamos compartir un trozo de código o de texto con otra persona, quizás porque estamos realizando juntos alguna tarea de trabajo y nos encontramos en localizaciones distintas contactando por una llamada de teléfono, o quizás estamos juntos pero cada uno está trabajando con su portátil. Una forma es intercambiar información a través de un mail, o quizás un chat de Skype. Otra alternativa es Collabedit, que nos permitirá compartir un trozo de código entre varias personas, a través de una URL. Fácil y sencillo. Sin duda, el frikiconsejo de la semana. Un error que nos podemos encontrar al trabajar con Máquinas Virtuales en Microsoft Azure, es que alcancemos el límite de Cores que tengamos asignados en nuestra Subscripción para una Región Geográfica concreta, lo cual, nos puede producir errores del tipo Operation results in exceeding quota limits of Core, al crear una nueva Máquina Virtual o al cambiar el Sizing de una ya existente. La solución es sencilla, comprobar qué límite de Cores es el que ha sido superado, y abrir un caso de soporte para ampliarlo. |
