Glosario Big Data

Facilita la creación de aplicaciones Big Data en tiempo real.

Ofrece una plataforma de análisis de baja latencia que es escalable, robusta y rentable. Se puede Implementar y escalar en el hardware estándar de la industria o en la nube.

Gestiona la captura y el almacenamiento de datos a alta velocidad, monitoriza la infraestructura y realiza el análisis de datos en tiempo real.

Se sitúa en la parte superior de Hadoop, Zookeeper, y Thrift.

Esto permite a los programadores de SQL sin experiencia en MapReduce consultar los datos guardados en el almacén, y hace que sea más fácil de integrar con la parte de BI y las herramientas de visualización tales como Microstrategy, Tableau, Analytics Revolutions, etc

Oozie permite a los usuarios especificar, por ejemplo, que una determinada consulta sólo debe iniciarse después de determinados trabajos previos en los que se basa para recoger datos que se han completado.

Tiene la ventaja de ser compacto, flexible y admitir varios lenguajes de programación, lo cual lo posiciona como una alternativa muy buena a los SequenceFiles (de Hadoop) o ProtoBuf (de Google).

Cascading, permite a los usuarios crear y ejecutar flujos de trabajo de procesamiento de datos en clústeres Hadoop usando cualquier lenguaje basado en JVM. Su objetivo es ocultar la complejidad subyacente de los trabajos de MapReduce. Cascading ha sido diseñado por Chris Wensel como alternativa API a MapReduce. A menudo se utiliza para la orientación de los anuncios, registro de análisis de archivos, bioinformática, máquina de aprendizaje, análisis predictivo, minería de contenido web y aplicaciones ETL.

El soporte comercial para Cascading es ofrecido por Concurrent, una empresa fundada por Wensel después de que él desarrolló Cascading. Entre las empresas que utilizan Cascading están Twitter y Etsy. Cascadin está disponible bajo la General Public License de GNU.

Facebook abandonó a Cassandra en favor de HBase en el 2010, pero Cassandra todavía es utilizada por varias compañías, incluyendo Netflix, que utiliza Cassandra como la base de datos back-end para sus servicios de streaming.

Casandra está disponible bajo la licencia Apache 2.0.

Chukwa se construye bajo el sistema de archivos distribuido (HDFS) y el marco MapReduce y hereda la escalabilidad y robustez de Hadoop.

Chukwa también incluye un conjunto de herramientas flexible y potente para la visualización y análisis de los resultados.

CouchDB fue creado en el 2005 por el ex desarrollador de IBM Lotus Notes, Damien Katz, como un sistema de almacenamiento para una base de datos de objetos grandes.

La BBC utiliza CouchDB para sus plataformas de contenidos dinámicos, mientras que el departamento de productos de Credit Suisse lo utiliza para almacenar los detalles de configuración de su mercado de datos.

CouchDB está disponible Apache License 2.0.

Ofrece un programa simplificado para que los operadores puedan especificar el tipo de análisis que quieren y, a continuación la conversión en puestos de trabajo utilizando MapReduce.

El sistema escala a miles de CPUs y petabytes de datos, y cuenta con miles de usuarios en Google.

El proyecto se fusionó con Apache Drill.

Es una solución escalable que soporta la búsqueda casi en tiempo real y multiusuario, sin una configuración especial.

Ha sido adoptado por un número de compañías, incluyendo StumbleUpon y Mozilla. ElasticSearch está disponible bajo Apache License 2.0.

Facebook lo diseñó para cumplir con sus propios desafíos de escala, y ahora utiliza Scribe para manejar decenas de miles de millones de mensajes al día. Está disponible bajo Apache License 2.0.

Para cumplir con los requisitos de procesamiento multimáquina de Nutch, Cutting implementó un centro de MapReduce y un sistema de archivos distribuido que en conjunto se convirtieron en Hadoop. Él le puso el nombre del elefante de juguete de su hijo.

A través de MapReduce, Hadoop distribuye los datos en grandes piezas sobre una serie de nodos que se ejecutan en hardware de consumo.

En la actualidad, Hadoop se encuentra entre las tecnologías más populares para el almacenamiento de los datos estructurados, semi estructurados y no estructurados que forman parte de los grandes volúmenes de datos. Hadoop está disponible bajo Apache License 2.0.

Apache HBase es una base de datos no relacional distribuida en columnas, diseñada para ejecutarse en la parte superior de Hadoop Distributed Filesystem (HDFS).

Proporciona tolerancia a fallas de almacenamiento y un rápido acceso a grandes cantidades de datos dispersos. HBase es uno de los muchos almacenes de datos de NoSQL que se han vuelto disponibles en los últimos años.

En el 2010, Facebook adoptó HBase para servir a su plataforma de mensajería. Está disponible bajo Apache License 2.0.

Permite a los usuarios de Hive, Pig o MapReduce acceder facilmente a cualquier fichero en HDFS sin preocuparse del formato que puede tener este fichero (sea CSV, SequenceFile, JSON etc).

Se trata de un proyecto inicialmente desarrollado por Hortonworks.

Aunque Hadoop pueda funcionar con varios sistemas de ficheros (sistema de ficheros locales de Linux, GlusterFS, S3 de Amazon…)

HDFS se desmarca de ellos por ser totalmente compatible con MapReduce y ofrecer la optimización de “localidad de los datos”, lo cual lo convierte en la solución “natural” de Hadoop.

Cuenta con un explorador de archivos para HDFS; una aplicación para la creación de flujos de trabajo en Oozie; un diseñador de trabajo para MapReduce; una interfaz de usuario Impala; una colección de Hadoop API; y mucho más.

Inspirado del software Dremel de Google, permite realizar consultas SQL muy parecidas a la sintaxis HQL de Hive, pero sin pasar por ningún proceso MapReduce.

Esto le permite en varias ocasiones ser hasta 50 veces más rápido que Hive y lo transforma en la herramienta ideal para acceder a los datos en tiempo real.

Se han construido tres servicios analíticos críticos requeridos por prácticamente todas las aplicaciones empresariales de próxima generación: procesamiento en tiempo real y análisis de datos , análisis de lotes y análisis ad hoc – todo para información procesable, y todo ello controlado por estándares abiertos.

JSON es un subconjunto de la notación literal de objetos de JavaScript que no requiere el uso de XML.

Funcionalmente de posiciona en algún lugar entre S4 y Flume.

Kiji es un conjunto de componentes modulares que pueden combinarse según sea necesario. El primer proyecto es Kiji KijiSchema, que proporciona una API Java simple para almacenar y gestionar datos con tipo en HBase con Avro serialización.

KijiSchema incluye un DDL sencillo para definir y gestionar diseños y esquemas y soporta tipos de datos complejos, claves de columna y de series de tiempo.

También gestiona la evolución de esquemas a nivel celular y ofrece nativa entrada MapReduce / Formatos de salida.

Proporciona sistemas de archivos de alto rendimiento para clusters de ordenadores que van desde grupos de trabajo pequeños grupos a grupos de gran escala, multisitio. Se encuentra disponible bajo la Licencia Pública General de GNU.

En ella están los algoritmos de minería de datos más populares para llevar a cabo la agrupación, pruebas de regresión y modelos estadísticos implementados usando MapReduce para que puedan ejecutarse sobre Hadoop

• La función “Map” divide una consulta en múltiples partes y procesa los datos a nivel de nodo.
• “Reduce”, como su nombre indica, reduce los agregados función de los resultados de la función “Map” para determinar la “respuesta” a la consulta.

Al ser de tipo documentos, las estructuras de datos se guardan en documentos con un esquema dinámico pero siguiendo la notación de JSON, estas estructuras dinámicas que son denominadas por MongoDB como BSON, lo que implica que no exista un esquema predefinido, pudiendo un documento no tener todos los campos definidos para ese documento lo que lo hace que la integración de los datos en ciertas aplicaciones sea más fácil y rápida.

Fue creado por los fundadores de DoubleClick, MongoDB es otro popular almacén de datos NoSQL. Almacena los datos estructurados en documentos tipo JSON con esquemas dinámicos llamados BSON (por Binary JSON).

MongoDB ha sido adoptado por un número de grandes empresas, incluyendo MTV Networks, craigslist, Disney Interactive Media Group, The New York Times y Etsy. Está disponible bajo la GNU Affero General Public License, con idiomas disponibles bajo Apache License. La empresa 10gen ofrece licencias comerciales de MongoDB.

Neo4j almacena los datos en nodos conectados por relaciones dirigidas y tipificadas, con las propiedades de ambos, también conocidas como Gráfico de Propiedad (Property Graph).

Es relativamente fácil de aprender(pues es muy expresivo y legible) y es eficiente frente a grandes flujos de datos.

Es comercializado por una empresa llamada Revolution Analytics, que está llevando a cabo un modelo de servicios y soporte inspirado en el respaldo de Red Hat para Linux. R está disponible bajo la General Public License de GNU.

Base de datos clave-valor con algunos metadatos, sin esquema de almacenamiento, tipo de datos agnósticos, lenguaje agnóstico que soporta a través de una api REST y PBC31 varios tipos de lenguaje (Eralng, Javascript, Java, PHP, Python, Ruby…), masterless ya que todos los nodos son iguales, escalable, eventualmente consistente y utiliza map/reduce y “link”.

Riak está diseñado para resolver una nueva clase de problemas de gestión de datos, específicamente los relacionados con la captura, almacenamiento y procesamiento de datos dentro de entornos TI distribuidos y modernos como la nube.

Son proyectos originalmente separados que se fusionaron recientemente en uno único.

Está diseñado para manejar cantidades muy grandes de datos con escalabilidad horizontal a través de un conjunto de máquinas.

Permite a los usuarios especificar la ubicación de destino dentro de Hadoop e instruir Sqoop para mover datos de Oracle, Teradata u otras bases de datos relacionales para cumplir el objetivo marcado.

Storm hace fácil procesar de manera fiable flujos no estructurados de datos, haciendo en el ámbito del procesamiento en tiempo real, lo que hizo Hadoop para el procesamiento por lotes.

Libera a las organizaciones de tener que gestionar su propia infraestructura de análisis de datos y que puedan centrarse en el negocio Big Data proporcionando hardware, software y redes necesarias. para el análisis de Big Data de cada cliente.

Semejante a la pila LAMP para el procesamiento gráfico, que están diseñando un conjunto de servicios que funcionan bien juntos para realizar común operaciones como interfaz con bases de datos de gráficos especializados

Se utiliza en LinkedIn para ciertos problemas de almacenamiento de alta escalabilidad donde la partición funcional simple no es suficiente.

Se basa en un marco de código abierto llamado Kiji.

Simplifica y acelera la instalación y gestión de clusters Hadoop con una solución disponible para la empresa