Disco
A lightweight, open-source framework for distributed computing based on MapReduce, designed for handling massive data with minimal code.
Обзор
Что такое Disco?
Disco — это платформа распределенных вычислений с открытым исходным кодом, которая использует парадигму MapReduce для эффективной обработки больших наборов данных. Он был разработан в исследовательском центре Nokia в 2008 году и поддерживает распределение данных, планирование заданий и запросы в реальном времени миллиардов точек данных.
Для чего используется Disco?

Основные функции
- Простая установка на несколько ОС
- Эффективный ввод-вывод с сохранением локальности данных
- Поддерживает профилирование и отладку.
- Произвольный доступ к данным и результатам
- Запускайте задания на любом языке через рабочий протокол
- Создавайте и запрашивайте индексы с миллиардами ключей
Как использовать Disco?
Установите Disco в Linux, Mac OS X или FreeBSD, напишите сценарии Python для функций сопоставления и сокращения, а также запускайте задания в кластере для распараллеливания вычислений. Он включает в себя инструменты для индексирования и запроса данных с поддержкой профилирования и отладки.
Альтернативные инструменты
Преимущества & Недостатки
Преимущества
- С открытым исходным кодом и бесплатно
- Мощный инструмент для крупномасштабной обработки данных
- Простота использования с Python
- Поддерживает запросы в реальном времени
- Активное развитие и поддержка сообщества
Недостатки
- Альфа-версия может содержать ошибки
- Ограничено парадигмой MapReduce
- Для получения всех преимуществ требуется настройка кластера
Варианты использования
- Анализ журналов
- Вероятностное моделирование
- Интеллектуальный анализ данных
- Полнотекстовое индексирование
- Вычисление частоты слов
Цены Disco
Отзывы пользователей
Пока нет отзывов
Будьте первым, кто оставит отзыв об этом инструменте!