нужна програмка универсальной загрузки данных их EXCEL в MS SQL
Grinbel
Дата: 01.01.2018 16:44:19
общая задача - существует постоянная работа по загрузке данных в SQL требуется ее автоматизировать
файлы разные, данные разные и меняется структура файлов и загрузок.
нужна програмка универсальной загрузки данных их EXCEL в MS SQL
требования:
- интерфейс администратора и пользователя
*пользователь - загрузка по созданным шаблонам
*администратор - создание шаблонов, определение полей, задание проверочных скриптов
- интерфейс проверки данных
*сверка типов данных с шаблоном
*автоматическое приведение форматов данных EXCEL в соответствии с форматами MS SQL
*фильтр по данным, которые не удалось привести к требуемым форматам с возможностью изменения данных в интерфейсе
*проверка данных по скриптам, выдача ошибок с возможностью фильтрации (возможное: дубли данных, обязательные поля,
*ошибки при приведении данных к справочникам и т.п.)
- работа с более чем 1 файлом данных
- работа с файлами больше 50к строк
- работа с файлами csv
Grinbel
Дата: 01.01.2018 16:51:19
естественно не даром)
bideveloper
Дата: 01.01.2018 19:57:49
Grinbel,
такая программа уже есть, называется SSIS
Grinbel
Дата: 01.01.2018 21:22:15
bideveloper,
очень может быть, что эта программа работает так, как описано в моем задании.
но мне казалось, что это просто пакетный обработчик. настраиваешь и он гонит пакетами без пользовательского интерфейса
bideveloper
Дата: 01.01.2018 21:36:17
Grinbel,
пользовательского интерфейса там, действительно, нет
но собственно, а зачем он нужен?
можно просто класть файл определенного формата в определенную папку и задание по расписанию будет его обрабатывать
и выкладывать туда же строки с неверным форматом, которые не удалось обработать
Grinbel
Дата: 01.01.2018 21:51:39
bideveloper,
вот именно потому, что "...файлы разные, данные разные и меняется структура файлов и загрузок..."
в одну папку могут напихать разные файлы, и до нажатия на "загрузить", человек должен увидеть, что грузит.
сейчас в работе 5 форматов файлов для загрузки. Присылает файл клиент. Форматы файлов похожи и самая распространенная ошибка загрузки - не тот файл и не туда.
qwertEHOK
Дата: 02.01.2018 08:23:20
был опыт подобной работы
пишите на почту qwertehok@gmail.com
желательно указать сроки и бюджет
Dimitry Sibiryakov
Дата: 02.01.2018 14:47:30
Grinbel |
---|
в одну папку могут напихать разные файлы, и до нажатия на "загрузить", человек должен увидеть, что грузит. |
Штатный "Мастер импорта и экспорта" именно так и работает.