обработка лога tomcat

NewIvanovec
Дата: 27.03.2018 16:44:51
Хочу содержимое лог файла tomcat закинуть в БД чтобы там обработать.
Логически понятно, что в логе 3 поля - дата, уровень сообщения (Info, error и т.д) и текст сообщения.
какими программами этот лог можно обработать: например, logparser не берёт этот лог :( и все 3 поля рассматривает как будто это одно поле

OS Windows
Basil A. Sidorov
Дата: 27.03.2018 17:51:55
Не делайте себе странного ...
"Лог есть есть" и этот текст слабо структурирован.
Используйте то, что доктор прописал - grep & Co.
А для отслеживания метрик существует JMX.

P.S. Формат лога настраивает тот, кто его читает.
В нормальной ситуации логи читает админ системы, а нормальный админ "разбирает" логи специализированными утилитами.
СУБД в этот комплект не входит.
Basil A. Sidorov
Дата: 27.03.2018 17:52:28
Basil A. Sidorov
"Лог есть есть текст"
NewIvanovec
Дата: 28.03.2018 11:09:56
Basil A. Sidorov
Не делайте себе странного ...
Используйте то, что доктор прописал - grep & Co.

Спасибо, понял.
grep это аналог Powershell. Значит создавать разбор лога самому
Basil A. Sidorov
Дата: 28.03.2018 11:17:57
МощнаяТочка это такой язык программирования, который пытается пролезть во все щели.
grep - одна из многих утилит поиска в тексте по образцу, включая шаблоны-регулярные выражения.
Akina
Дата: 28.03.2018 11:24:41
NewIvanovec
чтобы там обработать.
Вот отсюда - поподробнее. Какого рода обработка нужна?
И какой объём логов предполагается к конвертации для последующего анализа?

Basil A. Sidorov
этот текст слабо структурирован
Тем не менее он вполне пригоден для программного импорта в БД. Более того - он достаточно структурирован для того, чтобы подобный импорт был несложен. И, полагаю, достаточно несложно формализуется. А если ещё порулить возможностью настройки формата, так и вовсе шоколадно... хотя если делать долговременный инструмент, лучше ориентировать его на формат по умолчанию.
Basil A. Sidorov
Дата: 28.03.2018 11:35:53
Akina
Тем не менее он вполне пригоден для программного импорта в БД.
В БД можно разные вещи импортировать.
Но можно не значит - нужно.
Более того - он достаточно структурирован для того, чтобы подобный импорт был несложен. И, полагаю, достаточно несложно формализуется.
"Предположение - мать всех провалов".
По умолчанию котяра использует J(ava)U(til)L(ogging).
А это не просто одна из корявых частей JavaSE - для создания нового формата требуется код.
Хотя, извр эстеты могут задействовать XML-формат. Тогда, наверное, простым DTD обойдёмся. Если найдём утилиту, которая поможет нам его создать.
А если ещё порулить возможностью настройки формата, так и вовсе шоколадно... хотя если делать долговременный инструмент, лучше ориентировать его на формат по умолчанию.
Охохонюшки ...
Вот включу я отладку приложения и будет вам набегать гигабайт логов часа за полтора.
Oracle Exadata поставим, чтобы загрузить всё это, не внося дополнительных тормозов или просто TimesTen обойдёмся?
А сколько мы потом запросы будем создавать и отлаживать? Планы исполнения оптимизировать?

P.S. "Лог Tomcat" это не тоже самое, что "access log" того же котяры.
NewIvanovec
Дата: 28.03.2018 12:33:41
Akina
NewIvanovec
чтобы там обработать.
Вот отсюда - поподробнее. Какого рода обработка нужна?
И какой объём логов предполагается к конвертации для последующего анализа?

Обработать это значит строки из лога загрузить в БД, сохраняя в БД структуру данного лога. Например, в логе 3 поля, значит в и БД одна строка лога будет содержаться в 3-х полях.
Если лог будет храниться в БД, то открываются возможности для работы с этой информацией: уведомления, анализа, экспорта

за последние несколько лет в архиве 1.5гига текстовых логов. но в архиве все логи и все строки, а загружать в БД планируется не все логи и не все строки нужных логов