Web Soft Shop & Technologies

info@websoftshop.ru

«WSS & T»

Какая информация требуется для получения КП?






 

Разработка, внедрение, интеграция интеллектуальных систем автоматизации
Подготовка проектной документации Реализация по методике Agile — CCPM  
Интеграция и разработка ИТ-систем по автоматизации бизнес-процессов на базе SAP - Oracle - IBM - Siemens - Apache - Web Soft Shop & Technologies
Автоматизация процессов
Разработка, внедрение корпоративных систем автоматизации с AI — ML
Интеграция платформ API — ESB
Разработка бизнес-приложений на базе Blockchain технологий
Аудит и аналитика процессов, проектирование, сопровождение
Собственная команда специалистов

Переход от ETL к ELT:
принятие новой парадигмы хранилища данных

Извлечение, преобразование, загрузка (ETL - Extract, transform, load) остается доминирующей архитектурой для хранилищ данных, но есть новый и более эффективный подход. Извлечение, загрузка, преобразование (ELT - Extract, load, transform) быстро становится универсальным решением для ориентированных на будущее предприятий. В этой статье обсуждаются преимущества ELT, передовой опыт внедрения и основные соображения, о которых следует помнить.

Принятие решений на основе данных тесно связано с успехом в бизнесе. Согласно исследованию Capgemini, предприятия, использующие данные, получают на 70% больше дохода в расчете на одного сотрудника и на 22% большую прибыльность, чем их коллеги, не использующие данные. Тем не менее, менее 50% компаний могут эффективно использовать данные для принятия решений. Переход на надежный конвейер анализа данных и использование извлечения, загрузки, преобразования (ELT) вместо традиционного извлечения, преобразования, загрузки (ETL) может помочь компаниям преодолеть этот разрыв и получить больше пользы от своих данных.


Почему компаниям следует рассматривать ELT вместо традиционного ETL?

Чтобы понять потенциал, который вы можете раскрыть за счет внедрения ELT, позвольте нам сначала понять разницу между этими двумя подходами к хранилищу данных.

ETL - более популярная и устоявшаяся модель, в которой организации:

  • Извлекают необработанные данные из сторонних или внутренних источников, а затем применяют преобразование, чтобы получить окончательный набор данных для обработки.
  • Загружаются уже завершенные данные на этапе преобразования в инструменты бизнес-аналитики (BI) или другие системы хранения.

Эта практика обычно рассматривалась как эффективная модель, поскольку для анализа в конечном итоге загружаются только необходимые данные. Однако у него много недостатков. В процессе формирования могут отсутствовать наборы данных, которые впоследствии могут помочь в утверждении результатов бизнес-аналитики. Кроме того, передача данных через три разные системы (для извлечения, преобразования и загрузки) до того, как они попадут на корпоративные информационные панели, требует времени и ресурсов.

По этим причинам в настоящее время рекомендуется извлекать, загружать, преобразовывать или ELT как более эффективный и готовый к будущему подход. В большинстве сценариев ELT загрузка и преобразование происходят одновременно и выполняются одной платформой. Кроме того, ELT уникально подходит для облака, поскольку вы можете использовать облачное решение для приема данных (т. е. выполнения извлечения), применения сценариев преобразования, размещенных в облаке, а затем загрузки их в панель управления данными по вашему выбору. Сценарии легко адаптировать, поскольку они находятся в облаке, и вы можете масштабировать облачные ресурсы вверх/вниз по мере необходимости.

Другими словами, ELT позволяет интегрировать облачный конвейер данных, который является гибким и идеально подходит для больших данных.

5 лучших практик перехода с ETL на ELT

Следует отметить, что, несмотря на сходство в именовании, ETL и ELT представляют собой две разные концепции и требуют очень разных архитектур хранилищ данных. В одном сценарии у вас есть отдельные системы для выполнения каждого шага - идеально для больших объемов структурированной информации. В последнем сценарии у вас больше гибкости, и вы потенциально можете использовать единую платформу, размещенную в облаке, для всего процесса. Вот почему важно помнить следующие передовые практики при переходе с ETL на ELT:


Оцените готовность вашего хранилища данных к ELT

ELT выполняет преобразование одновременно с загрузкой данных. Если загрузка данных соответствует структуре схемы, которая не оптимизирована для запросов и преобразования, это может создать узкое место. Кроме того, ETL может лучше подходить для обработки структурированных данных - например, обработки информации о платежных картах в банках. Прежде чем рассматривать ELT, оцените, есть ли у вас неструктурированные данные или варианты использования больших данных.

Понять, какие именно бизнес-приложения подходят для внедрения ELT

«Общение» между ETL и ELT не обязательно должено быть по принципу «или-или». На предприятии могут сосуществовать обе архитектуры, обслуживающие очень разные бизнес-приложения. Например, вы можете реализовать решение для данных ELT для сценариев, которые должны учитывать несколько переменных. Одним из таких сценариев является расследование мошенничества в сфере финансовых услуг. Но в сценариях, основанных на однородном наборе данных, можно продолжать использовать ETL, чтобы вы не потеряли рентабельность инвестиций в предыдущие инвестиции.

Выбирайте с умом между собственными скриптами и сторонними инструментами

Когда дело доходит до адаптации конвейера данных с ETL на ELT, есть два варианта: правильные сценарии SQL, выполняющие извлечение, или выбор сквозного стороннего инструмента (желательно в облаке). Это решение будет полностью зависеть от потребностей вашего бизнеса, источников данных, существующих инструментов и внутренних IT-возможностей. Помните, что использование облака на всех этапах может привести к увеличению затрат на ресурсы, что подводит нас к следующему передовому опыту.

Изучите инструменты с оплатой по мере использования для управления расходами на облачные вычисления

ELT - это новая методология, и каждый день в этом сегменте появляется несколько новых решений. Fivetran - это платформа ELT, где вы платите только за то, что используете, и можете синхронизировать свою базу данных каждые пять минут, 15 минут или 1 час, в зависимости от потребностей вашего бизнеса и бюджета. Matillion - еще одно доступное решение с оплатой по факту использования. У него даже есть бесплатный загрузчик данных, который помогает выполнять этапы извлечения и загрузки, и вы можете преобразовывать их с помощью существующих скриптов и инструментов.

Разверните панели управления бизнес-аналитикой, чтобы получить максимальную отдачу от инвестиций

Наконец, ценность, полученная на основе ваших данных, напрямую связана с осуществимостью внедрения ELT. Согласно недавнему исследованию, предприятия потратили около 73 миллиардов долларов на программное обеспечение для управления данными в прошлом году, но только 22% из них полностью реализовали рентабельность инвестиций. Вот почему ваша архитектура ELT должна быть связана с панелями управления бизнес-аналитикой, которые обслуживают определенные роли и соответствующие бизнес-задачи.

Соображения, которые следует помнить

Первый вопрос, который следует задать перед переходом с ETL на ELT: «ПОЧЕМУ?» - это не должно происходить просто потому, что ELT - это новая и инновационная технология, которая занимает одно из первых мест в круговороте ажиотажа. В качестве предварительного условия для перехода у вас не должно быть очень большого локального хранилища данных, а ваши разработчики должны быть знакомы с инструментами ELT. Производительность может варьироваться между платформами - например, некоторые платформы могут не обрабатывать сложные преобразования из-за нехватки ресурсов. В этих сценариях внутренние разработчики должны писать сценарии, которые могут оптимизировать и управлять ELT.

Тем не менее, ELT имеет множество преимуществ перед, традиционным ETL, включая более быструю загрузку данных, поддержку больших данных и масштабируемость через облако. Имея четко сформулированную дорожную карту, вы можете начать переход с ETL на ELT или действительно внедрить ELT вместе с существующей архитектурой хранилища данных.

«Web Soft Shop & Technologies» реализуем проекты с обработкой больших данных для бизнес аналитики. Наш e-mail для консультаций: info@websoftshop.ru

Читайте анонсы наших статей:

Почитать наши архивные публикации можно и в Yandex Q

Yandex Q
← Вернуться в раздел публикаций Большие Данные

Наши предложения направлены на успех Вашего бизнеса
Как мы работаем
Оформляете запрос на КП
Предварительно изучим ваш проект и подготовим наше коммерческое предложение
Согласования договора
С техническим заданием и прописанными целями для проекта
Поэтапное выполнение
Услуги оказываются поэтапно, у вас будет больше времени на проверку
Проверка выполнения
Мы передаем все исходные материалы и параметры доступа с документацией
Прием работ
Получаете гарантийное обслуживание и консультацию по проекту
Мы рады рассмотреть Ваш проект прямо сейчас, для этого свяжитесь с нами
*На указанный Вами e-mail и телефон будут отправлены сообщения с подтверждением получения запроса. Если вы не получили сообщение в течение 24 часов, пожалуйста продублируйте на наш e-mail: info@websoftshop.ru (включено уведомительное автосообщение).

Не нашли, то что искали или хотели задать вопросы?

Напишите нам прямо сейчас
* обязательные поля
WhatsApp Telegram Viber Skype ICQICQ
+