На воркшопе будут рассмотрены подходы и механизмы процессинга больших объемов данных. На примере импорта данных будет предложена реализация жадной обработки и валидации данных с последующим сохранением в реляционную БД.
Студия Олега Чулакова — дизайн-студия № 1 в стране, и мы продолжаем движение вверх. В этом году вошли в топ-4 digital production и в топ-12 mobile production России по версии Tagline.
На этот раз senior backend developer Студии подготовил воркшоп на тему обработки большого массива данных.
Чем больше объем данных, тем больше ограничений накладывается на процедуру их обработки — время процессинга, выделяемая память, валидация данных и ограничение целостности.
На воркшопе будут рассмотрены подходы и механизмы процессинга больших объемов данных. На примере импорта данных будет предложена реализация жадной обработки и валидации данных с последующим сохранением в реляционную БД.
Формат:
Лайвкодинг на примере обработки данных из файлов разного формата с демонстрацией проблем, возможных решений и оптимизационных действий.