Retour d’expérience sur AWS Glue et son écosystème

Lorsqu’on souhaite construire un pipeline d’ingestion de données sur AWS, outre le pattern d’architecture (event-driven, serverless, ou un mixte des deux, etc), le choix des services à utiliser est à prendre en considération. Dans le cadre d'un projet, nous avons opté pour un pipeline Serverless avec comme service central AWS Glue. Nous ...

Lire la suite

Itinéraire de consultant : de l’Ops à la Data

Quel est le quotidien de nos consultantes et consultants en projet ? Quels sont les challenges techniques à relever et quelles solutions sont apportées ? Derrière une mise en production réussie, un déploiement ou un Proof of Concept, il y a des consultantes et des consultants, une équipe, des technologies et beaucoup d’expertise et d’int...

Lire la suite

Itinéraire de consultant : la construction d’un Datalake

Quel est le quotidien de nos consultants en mission ? Quels sont les challenges techniques qu’ils doivent relever et quelles solutions sont apportées ? Derrière une mise en production réussie, un déploiement ou un Proof of Concept, il y a des consultants, une équipe, des technologies et beaucoup d’expertise et d’intelligence collective !...

Lire la suite

E-book Data as a service : pourquoi automatiser vos plateformes de données ?

Convaincus que l'entreprise Data Driven est celle d'aujourd'hui et non celle de demain, nous avons voulu décoder les enjeux de la donnée et les bénéfices d'une plateforme Data as a Service. Les DSI et les directions métier ont compris l'enjeu de la Data, mais pour autant leur stratégie data n'est pas encore concrétisée. Quelles data expl...

Lire la suite
AWS Summit Paris 2017

Patterns et bonnes pratiques des architectures Big Data en Serverless

Si il y a encore peu de temps les architectures Serverless se limitaient à des POC, on voit aujourd'hui de plus en plus de projets en production s'appuyer sur Serverless et AWS Lambda. Et notamment dans les problématiques Big Data, où la scalabilité et la capacité de parallélisation de Lambda ouvre de nombreuses possibilités, comme des tr...

Lire la suite

Ooso, une librairie Java pour les traitements MapReduce en Serverless

Basés sur des algorithmes parallélisables et scalables, les traitements Big Data sont implémentés avec des outils qui tournent sur des systèmes distribués. Les technologies comme Hadoop ou Spark sont les standards pour ce type de traitements. Certes, ces frameworks sont matures, performants et soutenus par une communauté immense, mais la...

Lire la suite

Ooso : Serverless Mapreduce

Introduction Big data processing is based on scalable and parallelizable algorithms, and is implemented with tools that run on distributed systems. Technologies such as Hadoop or Spark are the standards for this type of processing. While these frameworks are mature, powerful and supported by a huge community, the preparation of the in...

Lire la suite

L’architecture Serverless, une approche disruptive aux problématiques Big Data : l’exemple d’Adways

Aujourd’hui basée à Paris, Lyon, New York… la start-up Adways a très rapidement franchi les limites de l’hexagone. Partant du constat que tous les supports (mobile, tablette, desktop) sont interactifs et que les vidéos ne le sont pas, Adways propose un outil SaaS permettant à l’utilisateur d’éditer ses vidéos en y ajoutant des hotspots as...

Lire la suite