методы получения данных из SAP

Есть SAP ERP на Oracle. Планируется организовать ХД, как вариант на MSSQL.
Вопрос: какие методы можно использовать для извлечения генерируемых данных в ХД на MSSQL. какие плюсы и минусы и ограничения у каждого из методов. Объем примерно 100к позиций заказов в день на пилот
Перечислю какие я выяснил:
1) Консалтеры предложили использовать SISS. По их словам есть возможность подключения к экстракторам которые использует BW.
2) Сторонний продукт для зеркалирования БД. принцип- считывание лога транзакций и отсылка изменений на сервер получатель. На прошлой работе в немецкой компании была именно такая организация, пощупать которую к сожалению не было возможности. Из бонусов почти онлайн синхронизация.
3) У знакомого, тоже в ретейле, система SAP ERP-SAP BW- MSSQL. По словам в BW вычисляется дельта на уровне DSO только которая и отсылается в ХД. Говорят пробывали 1й вариант и при очень больших объемах процесс сбоил.

Личный опыт приветствуется. Склоняюсь ко 2му, но почему то почти не слышал о рассказах опыта с ним.

Что в вашем понимании ХД ? Полная копия базы ?

L_argo
Что в вашем понимании ХД ? Полная копия базы ?

Нет конечно, только необходимые данные.

Отвечу на 1й вопрос. На данный момент наша основная BI система Qlikview и у нее закрытый формат хранения данных встроенного хранилища. Можно много спорить по терминам , но на мой взгляд, ХД это система в которой есть данные давно удаленные в учетной системе и собранных с нескольких источников к которым обращаются аналитики для решения своих вопросов.
Так вот, есть потребность дать аналитикам возможность писать запросы и самим делать выгрузки соединяя необходимые данные. Сейчас же эти запросы падают на отдел разработки который менее многочисленный. И некоторые теории возможно проверить средствами моделирования на уровне SQL. Кроме того возникают потребности выдачи данных в сторонние системы например прогнозирования.

kain111

Есть SAP ERP на Oracle. Планируется организовать ХД, как вариант на MSSQL. Вопрос: какие методы можно использовать для извлечения генерируемых данных в ХД на MSSQL. какие плюсы и минусы и ограничения у каждого из методов. Объем примерно 100к позиций заказов в день на пилот Перечислю какие я выяснил: 1) Консалтеры предложили использовать SISS. По их словам есть возможность подключения к экстракторам которые использует BW. 2) Сторонний продукт для зеркалирования БД. принцип- считывание лога транзакций и отсылка изменений на сервер получатель. На прошлой работе в немецкой компании была именно такая организация, пощупать которую к сожалению не было возможности. Из бонусов почти онлайн синхронизация. 3) У знакомого, тоже в ретейле, система SAP ERP-SAP BW- MSSQL. По словам в BW вычисляется дельта на уровне DSO только которая и отсылается в ХД. Говорят пробывали 1й вариант и при очень больших объемах процесс сбоил. Личный опыт приветствуется. Склоняюсь ко 2му, но почему то почти не слышал о рассказах опыта с ним.

Вы смотрели на структуру табличек, которые лежат в БД, и какая там информация? Уверены, что ЭТО то, что вам хочется видеть в хранилище?
Если бы у вас был OEBS, то было бы другое дело, но SAP...

Для вашего ХД не подойдут сторонние коробочные средства, ИМХО.
Вам нужен максимально полный контроль над загружаемыми данными и их дальнейшим жизненным циклом. И желательно, чтобы это все было в одном флаконе, а не в виде зоопарка чужих, малопонятных продуктов.
Данные нужно причесать, чтобы ними было удобно пользоваться и манипулировать. Начиная с удобных имен таблиц/полей и кончая подготовленными процедурами, удобными формами поиска/редактирования/приведения/расстновки признаков и т.д.
Возможно в ХД будут вспомогательные данные, которых нет и не будет в САПе, данные из других систем и т.п.

s_ustinov,

я уже несколько лет занимаюсь BI и SAP, знаю многие табилицы SAP из модулей SD,MM,FI,CO, даже написал пару экстракторов на ABAP Это мой хлеб доставать данные и собирать на них отчеты. Кроме того тут очень много Z разработок, так что все таблицы если что укажут консультанты.
В прошлой немецкой конторе была следующая стркутура: 1й слой база в которую зеркально лились данные с одноименными таблицами, из нее уже джобами переодически собирались таблицы фактов в следующий 2й слой в понятном виде для аналитиков.

L_argo,

автор
Для вашего ХД не подойдут сторонние коробочные средства, ИМХО. Вам нужен максимально полный контроль над загружаемыми данными и их дальнейшим жизненным циклом. И желательно, чтобы это все было в одном флаконе, а не в виде зоопарка чужих, малопонятных продуктов.

На данный момент мне нужен наиболее эффективный способ выгрузки данных из SAP, уж причесать и переименовать/перевести на удобный язык,то их уже дело знакомое.
Надеюсь не расценят как рекламу

На мой взгляд сплошные преимущества у этого способа и не понятно почему его не используют. К слову знакомый программист тоже рассказывал что писал аналогичный продукт отечественной разработки. На данный момент я думаю собрать стенд и протестировать, но хорошо бы услышать о граблях до самоличного наступания на них.

проблема таких готовых продуктов:

Это довольно редкие звери. Их мало кто знает.
Они могут быть достаточно сложны и наворочены.
Долгое время они будут для вас черным ящиком, а неизвестность порождает недоверие.
Они могут не уметь именно того, что вам нужно.
Они красиво выглядят только на презентациях и в простых случаях.
Во многих случаях проще сделать свое, чем разгребать дебри чужих продуктов.

kain111

я уже несколько лет занимаюсь BI и SAP, знаю многие табилицы SAP из модулей SD,MM,FI,CO, даже написал пару экстракторов на ABAP Это мой хлеб доставать данные и собирать на них отчеты. Кроме того тут очень много Z разработок, так что все таблицы если что укажут консультанты. В прошлой немецкой конторе была следующая стркутура: 1й слой база в которую зеркально лились данные с одноименными таблицами, из нее уже джобами переодически собирались таблицы фактов в следующий 2й слой в понятном виде для аналитиков.

Я c SAP не работал, только пару раз видел их таблички - и они произвели на меня сильное впечатление...
Не скажу, что положительное, но незабываемое.

Я думаю, что описанную вами схему никто не реализует из-за сложности преобразования информации из табличек SAP в понятный вид. Насколько знаю, в BW данные уже "красивые" - вот их и берут.
Но если для вас не проблема преобразовать данные в понятный вид - схема вполне рабочая.
Только переливать данные с рабочей базы (зеркально) надо так, чтобы по минимуму нагружать рабочий сервер и не было никаких блокировок. Скорее всего - надо использовать асинхронную репликацию, но это ваш DBA должен решать.