Базы данных - MySQL - статьи

         

Конвейерная архитектура


Ядром SSIS является конвейер преобразования данных. Этот конвейер имеет буферную архитектуру, которая дает ему большую производительность при манипуляции наборами данных за счет загрузки их в память. Такой подход позволяет производить все шаги преобразования данных в ETL системах как одну операцию, т.е. без получения промежуточных результатов. Хотя специфические преобразования, или требования к функционированию, или даже само оборудование могут послужить помехой для этого. Тем не менее, для максимально производительности выбранная архитектура избегает промежуточных результатов. Даже простое копирование данных в памяти избегается по мере возможностей. В этом состоит существенное отличие от традиционных средств ETL, которые очень часто создают промежуточные результаты почти на каждом шагу процесса заполнения хранилища или интеграции данных. Возможность обрабатывать данные без создания промежуточных результатов выходит за рамки традиционных реляционных данных и данных из плоских файлов, а также традиционных методов преобразования в системах ETL. В SSIS все типы данных (структурированные, неструктурированные, XML и т.д.) непосредственно загрузкой в буферы приводятся к табличному (т.е. состоящему из столбцов и строк) виду. Все виды операций, которые применимы к табличному представлению данных, могут быть применены к данным на любом шаге конвейера обработки данных. Это означает, что один конвейер обработки данных может объединять в себе множество различных источников данных и производить над этими данными сколь угодно сложные операции без создания промежуточных результатов.

Хотелось бы также отметить то, что если все же по соображениям бизнеса или оперативным причинам нам требуются промежуточные результаты, то SSIS обеспечивает нам хорошие возможности для их получения.

Такая архитектура позволяет использовать SSIS в большом числе проектов по интеграции данных, начиная от традиционных ETL систем для хранилищ данных и заканчивая нетрадиционными технологиями по интеграции информации.



Содержание раздела