Projektując systemy rozproszone często stajemy przed wyborem jaki system kolejkowy zastosować, który będzie najlepszy – RabbitMQ, Kafka czy jakieś inne rozwiązanie ? Warto poszukać porównań różnych rozwiązań np. zaglądając do artykułu Evaluating persistent, replicated message queues.
Kategoria: Big Data
RabbitMQ – wymiana wiadomości w rozproszonym środowisku
Wymiana wiadomości w rozproszonym środowisku, w tym również Big Data, między poszczególnymi komponentami jest realizowana przez dedykowany serwer do wymiany komunikatów taki jak np. RabbitMQ. Z kolei dzięki takim rozwiązaniom jak Docker można w szybki i prosty sposób sprawdzić jak w praktyce wysyłać oraz odbierać wiadomości do / z RabbitMQ. Czytaj dalej „RabbitMQ – wymiana wiadomości w rozproszonym środowisku”
Architektura lambda – Big Data
Architektura Lambda w systemach Big Data została w znakomity sposób przedstawiona w książce „Big Data” napisanej przez Nathan’a Marz i James’a Warren. W tym miejscu będę chciał jedynie streścić to czym tak naprawdę jest wspomniana architektura Lambda oraz z jakimi technologiami jest związana (nie tylko z tymi, które zostały opisane w książce). Czytaj dalej „Architektura lambda – Big Data”
Centralne przechowywanie i analiza logów
W rozproszonych środowiskach, w których wiele serwerów generuje różnorodne logi w przypadku wystąpienia awarii lub potrzeby analizy działania systemu istotne są rozwiązania, które umożliwiają centralne przechowywanie danych oraz ich analizę. Jednym z coraz bardziej popularnych rozwiązań tego typu jest ELK – Elasticsearch, Logstash i Kibana. Czytaj dalej „Centralne przechowywanie i analiza logów”