Building analytical platform with Big Data solutions for log files of PanDA infrastructure (Запись № 659478)
[ простой вид ]
| 000 -Маркер | |
|---|---|
| Поле контроля фиксированной длины | 03705nla2a2200529 4500 |
| 005 - Идентификатор версии | |
| Поле контроля фиксированной длины | 20231030041630.0 |
| 035 ## - Другие системные номера | |
| Идентификатор записи | (RuTPU)RU\TPU\network\28050 |
| 035 ## - Другие системные номера | |
| Идентификатор записи | RU\TPU\network\27958 |
| 100 ## - Данные общей обработки | |
| Данные общей обработки | 20190221d2018 k y0engy50 ba |
| 101 0# - Язык ресурса | |
| Язык текста, звукозаписи и т.д. | английский |
| 105 ## - Поле кодированных данных: текстовые ресурсы, монографические | |
| Кодированные данные о монографическом текстовом документе | y z 100zy |
| 135 ## - Поле кодированных данных: электронные ресурсы | |
| Кодированные данные для электронного ресурса | vrcn ---uucaa |
| 181 #0 - Поле кодированных данных: вид содержания | |
| Код вида содержания | i |
| 182 #0 - Поле кодированных данных: средство доступа | |
| Код средства доступа | electronic |
| 200 1# - Заглавие и сведения об ответственности | |
| Основное заглавие | Building analytical platform with Big Data solutions for log files of PanDA infrastructure |
| Первые сведения об ответственности | A. A. Alekseev [et al.] |
| 203 ## - Вид содержания и средство доступа | |
| Вид содержания | |
| Средство доступа | |
| 225 1# - Серия | |
| Основное заглавие серии | Mathematical simulation and data processing |
| 300 ## - Общие примечания | |
| Текст примечания | Title screen |
| 320 ## - Примечания о наличии в ресурсе библиографии/указателя | |
| Текст примечания | [References: 6 tit.] |
| 330 ## - Резюме или реферат | |
| Текст примечания | The paper describes the implementation of a high-performance system for the processing and analysis of log files for the PanDA infrastructure of the ATLAS experiment at the Large Hadron Collider (LHC), responsible for the workload management of order of 2M daily jobs across the Worldwide LHC Computing Grid. The solution is based on the ELK technology stack, which includes several components: Filebeat, Logstash, ElasticSearch (ES), and Kibana. Filebeat is used to collect data from logs. Logstash processes data and export to Elasticsearch. ES are responsible for centralized data storage. Accumulated data in ES can be viewed using a special software Kibana. These components were integrated with the PanDA infrastructure and replaced previous log processing systems for increased scalability and usability. The authors will describe all the components and their configuration tuning for the current tasks, the scale of the actual system and give several real-life examples of how this centralized log processing and storage service is used to showcase the advantages for daily operations. |
| 461 #1 - Уровень набора | |
| Идентификатор записи | (RuTPU)RU\TPU\network\3526 |
| Заглавие | Journal of Physics: Conference Series |
| 463 #1 - Уровень физической единицы | |
| Идентификатор записи | (RuTPU)RU\TPU\network\28043 |
| Заглавие | Vol. 1015 : Information Technologies in Business and Industry (ITBI2018) |
| Сведения, относящиеся к заглавию | International Conference, January 17-20, 2018, Tomsk, Russian Federation |
| -- | [proceedings] |
| Первые сведения об ответственности | National Research Tomsk Polytechnic University (TPU) |
| Обозначение тома | [032003, 6 p.] |
| Дата публикации | 2018 |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | электронный ресурс |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | труды учёных ТПУ |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | платформы |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | Big Data |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | лог-файлы |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | инфраструктура |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | высокопроизводительные системы |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | программное обеспечение |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | данные |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | обработка |
| 610 1# - Неконтролируемые предметные термины | |
| Предметный термин | хранение |
| 701 #1 - Имя лица – альтернативная ответственность | |
| Начальный элемент ввода | Alekseev |
| Часть имени, кроме начального элемента ввода | A. A. |
| Дополнения к именам, кроме дат | specialist in the field of automatic control |
| -- | Engineer of Tomsk Polytechnic University, Postgraduate |
| Даты | 1988- |
| Расширение инициалов личного имени | Aleksandr Aleksandrovich |
| -- | stltpush |
| Идентификатор авторитетной/ нормативной записи | (RuTPU)RU\TPU\pers\37959 |
| 701 #1 - Имя лица – альтернативная ответственность | |
| Начальный элемент ввода | Barreiro Megino |
| Часть имени, кроме начального элемента ввода | F. G. |
| 701 #1 - Имя лица – альтернативная ответственность | |
| Начальный элемент ввода | Klimentov |
| Часть имени, кроме начального элемента ввода | A. A. |
| 701 #1 - Имя лица – альтернативная ответственность | |
| Начальный элемент ввода | Korchuganova |
| Часть имени, кроме начального элемента ввода | T. A. |
| 701 #1 - Имя лица – альтернативная ответственность | |
| Начальный элемент ввода | Maendo |
| Часть имени, кроме начального элемента ввода | T. |
| 701 #1 - Имя лица – альтернативная ответственность | |
| Начальный элемент ввода | Padolski |
| Часть имени, кроме начального элемента ввода | S. V. |
| 712 02 - Наименование организации – вторичная ответственность | |
| Начальный элемент ввода | Национальный исследовательский Томский политехнический университет |
| Структурное подразделение | Инженерная школа неразрушающего контроля и безопасности |
| -- | Центр промышленной томографии |
| -- | Научно-производственная лаборатория "Бетатронная томография крупногабаритных объектов" |
| -- | 7983 |
| -- | stltpush |
| Идентификатор авторитетной/ нормативной записи | (RuTPU)RU\TPU\col\23717 |
| 801 #1 - Источник записи | |
| Страна | RU |
| Организация | 63413507 |
| Дата составления | 20150101 |
| Правила каталогизации | RCR |
| 801 #2 - Источник записи | |
| Страна | RU |
| Организация | 63413507 |
| Дата составления | 20190228 |
| Правила каталогизации | RCR |
| 856 4# - Местонахождение электронных ресурсов и доступ к ним | |
| Универсальный идентификатор ресурса | http://dx.doi.org/10.1088/1742-6596/1015/3/032003 |
| 856 4# - Местонахождение электронных ресурсов и доступ к ним | |
| Универсальный идентификатор ресурса | http://earchive.tpu.ru/handle/11683/52921 |
| 090 ## - System Control Numbers (Koha) | |
| Koha biblioitem number (autogenerated) | 659478 |
| 942 ## - Добавленные элементы ввода (Коха) | |
| Тип документа | Computer Files |
Нет доступных единиц.