Проект DBA PosgreSQL и Оптимизации производительности системы Apache +Server 1С+PostgreSQL

 

Компания Каскад Групп Украина может принять на себя обязательство оказать услуги по ежемесячному администрированию производительности информационных систем для реализации проекта DBA + Оптимизация, а именно:

 

Услуги по администрированию 1С Server + PostgreSQL

  1. Создание описания IT инфраструктуры системы
  2. Администрирование сервера PostgreSQL
  3. Установка и настройка нового сервера. Обновление версии сервера. Перенос кластера баз на новый сервер.
  4. Настройка и администрирование резервного копирования кластера баз PostgreSQL (PITR, Barman)
  5. Настройка и администрирование репликации кластера баз PostgreSQL
  6. Настройка автоматического выполнения дампов баз PostgreSQL
  7. Обновление тестовых баз и баз для разработки (вручную и автоматически по регламенту)
  8. Настройка регламентных операций над базой PostgreSQL (выполняется в нерабочее время)
  • Выполнение «Vacuum” и «Vacuum full» для таблиц с большим кво «мертвых» записей и большим размером свободного места
  • Обновление статистики распределения данных в таблицах базы
  • Дефрагментация индексов (перестроение ТОП фрагментированных)
  • Выполнение «Vacuum freeze» больших таблиц, у которых приближается порог «заморозки»
  1. Восстановление разрушенных баз PostgreSQL
  2. Администрирование сервера 1С
  • Настройка параметров кластера и рабочего сервера 1С
  • Активация/переактивация лицензий
  • Настройка технологического журнала (длит. События, ошибки, дополнительный)
  • Установка и настройка сервера удаленного администрирования (RAS). RAS необходим для администрирование кластера 1С из командной строки и доступа из Zabbix.
  • Настройка регламентного перезапуска службы сервера 1С или рабочих процессов
  • Архивирование настроек кластера 1С (полезно в случае большого кво баз)
  • Архивирование и усечение журнала регистрации 1С (lgd)
  • Автоматическое (по регламенту) обновление конфигурации 1С их хранилища
  • Установка и администрирование хранилища конфигураций 1С ???
  1. Администрирование веб-серверов Apache и Nginx
  • Установка и настройка
  • Публикация информационных баз и их интернет-сервисов
  • Настройка SSL
  • Анализ логов на предмет ошибок и аномалий
  1. Настройка мониторинга. Требования к системе мониторинга (Zabbix):
  • Основные показатели работы ОС:
  • контроль за загрузкой процессора (CPU Load,  CPU Utilization)                - (необходимый уровень до 40%)
  • контроль за загрузкой системы ввода-вывода (Disk Usage, Disk Queue) - (необходимый уровень Disk Usage до 70%, Disk Queue 0.1-0.2 сек)
  • контроль за временем отклика сервера (ICMP Lost, ICMP Response)      - (необходимый уровень  ICMP Lost =0, ICMP Response 0.2-0.3 сек )
  • контроль использования оперативной памяти
  • контроль свободного места на дисках серверов
  • Оперативные показатели работы СУБД
  • Длительность выполнения текущих запросов СУБД - (необходимый уровень  от 3- до 30 (исключительный 90 сек ))
  • Количество соединений с СУБД
  • Контроль состояния репликации и архивирования WAL
  • Статистические показатели работы СУБД
  • Показатель использования кеша
  • Показатель использования врем. Файлов
  • Показатель использования индексов и операций сканирования
  • Показатели работы сервера 1С
  • Количество сеансов (пользователи, фоновые, http-сервисы)
  • Количество рабочих процессов
  • контроль за временем серверного вызова - (необходимый уровень  0.5 сек )
  • Контроль за размером каталога кластера (ЖР и ПТП) и каталога врем. файлов
  • Контроль потребления памяти рабочими процессами
  • Контроль времени реакции системы в целом (сервер 1С+СУБД) (не более 0,8 сек)
  • Вывод на экран (например, через вэб интерфейс) и оповещении при превышении заданных параметров на указанный е-мейл, телеграмм...
  • Мониторинг работы Apache???
  1. Периодическое оперативное наблюдение за работой системы
  2. Оперативная отработка инцидентов, анализ и устранение причин их возникновения
  3. Учет показателя SLA
  4. Создание тестовой среды для отработки гипотез по оптимизации работы системы
  5. Помощь с решением любых сложных проблем связки Apache-1С-PostgreSQL
  6. Составление регламентов и инструкций по работам администрирования
  7. Периодические регламентные работы
  • Контроль выполнения бекапов
  • Обновление тестовых баз и баз для разработки
  • Контроль штатных перезапусков служб сервера 1С и рабочих процессов
  • Контроль размера журнала регистрации 1С и процедур его архивации
  • Анализ логов PostgreSQL и ТЖ 1С на предмет ошибок и аномалий в работе
  • Контроль за работой регламентных заданий БД
  • Контроль размера БД, выявления подозрительного (не планового, необоснованного) роста размера таблиц БД
  1. Автоматизированная установка и настройка новых серверов (на которых предварительно установлена ОС)
  2. Автоматизированная процедура внесения изменений в настройки текущих серверов (Ansible)

 

Услуги по оптимизации производительности системы Apache-1С-PostgreSQL:

  1. Анализ технологического журнала 1С на предмет длительных серверных вызовов и запросов к СУБД
  2. Анализ логов PostgreSQL на предмет блокировок/взаимоблокировок СУБД, больших врем. Файлов
  3. Анализ логов Apache — длительность запросов и размеры пакетов
  4. Анализ ТЖ на клиенте для проверки оптимальности клиент-серверного взаимодействия
  5. Расследование каждого инцидента с производительностью:
  • Блокировки и взаимоблокировки (управляемые и на уровне СУБД)
  • Запросы к СУБД (длительные и нагружающие). Изучение планов запросов, поиск вариантов оптимизации
  • Длительный серверные вызовы
  • Случаи неоптимального клиент-серверного взаимодействия
  1. Выдача рекомендаций по изменению запросов и кода конфигурации 1С
  2. Сбор и анализ статистики работы БД:
  • Стратегические показатели производительности производительности PostgreSQL
  • Размеры таблиц
  • Статистика запросов (pg_stat_statement)
  1. Выдача рекомендаций по изменению настроек PostgreSQL
  2. Оперативное расследование инцидентов с производительностью по порогам мониторинга или запросам пользователей
  3. Контроль за итогами регистров накопления — регламентный и ручной перечет итогов
  4. Оптимизация размера базы — контроль роста размера таблиц и индексов
  5. Помощь с решением любых проблем (непонятные ошибки, падение производительности) при работе связки Apache+1С+PostgreSQL

 

  1. Проводить анализ производительности баз 1С
  2. Объективно оценить текущую производительность системы
  3. Оценить объем и сроки работ, а так же приоритеты оптимизации.
  4. Поддержание производительности баз 1С на уровне достаточной и выше
  • Скорость записи документа (от 0.85 до 2.00 сек)
  • Скорость проведение операционного документа (от 0.85 до 10.00 сек)
  • Скорость проведение регламентного документа (например при Закрытии месяца) (от 1.00 до 30.00 мин)
  • Скорость открытия списка документов или справочников (от 1.00 до 3.00 сек)
  • Скорость формирования отчета с периодом, равный месяцу (от 3.00 до 10.00 сек)
  1. Выдавать рекомендации относительно устранения потенциальных проблем, связанных с проектом оптимизации работы баз 1С
  • Проблемы с правами доступа и RLS для пользователей базы 1С
  • Медленно создаются и/или проводятся документы и/или справочники
  • Медленно формируются отчеты 1С
  • Постоянные или регулярные торможения системы
  • Необъяснимо большой размер базы 1С
  • Постоянное и неадекватное увеличение размера базы 1С
  • Регулярные сообщение об ошибке: «Конфликт блокировок при выполнении транзакции»
  1. Выполнять работы, связанные с проектом оптимизации работы баз 1С, в согласованные с Заказчиком сроки., а именно:
  • изменение программного кода 1С,
  • оптимизация SQL запросов,
  • оптимизация клиент-серверного взаимодействия.
  1. Принимать от ответственных лиц Заказчика заявки на оптимизацию в формах: устной, письменной или по e-mail.
  2. Отслеживать промежуточные результаты оптимизации.
  3. Оценить результаты проделанных работ.
  4. Составлять и предоставлять Заказчику отчет (далее – Отчет) с результатами проведенных анализов и работ

 

Необходимые исходные для начала работы:

Распределение зон ответственности по:

  1. Администрированию:
    1. учетных записей
      • ОС,
      • 1С Server (администратор кластера),
      • PostgreSQL
    2. Обновление ОС
    3. Защита от вирусов
    4. Системы виртуализации ОС (LXC, KVM и т.д)
    5. Лицензий 1С
    6. Обновление конфигурации 1С (из хранилища)
  2. Бесперебойная работа
    1. Оборудования сервера, сетевого оборудования, электропитание
    2. ОС
    3. служб сервера 1С и PostgreSQL
    4. Apache, Nginx ???
  3. Установка/обновление
    1. ОС
    2. сервера 1С,
    3. сервера PostgreSQL

 

Доступы, права и полномочия

Обеспечивать Исполнителю доступ к своей технической базе и информации, необходимой для оказания услуг, а также наделять его полномочиями и правами, без которых выполнение обязательств является невозможным, не менее ниже указанных:

 

  1. OC
    • доступ по ssh (putty)
    • права sudo (root) или другая учетная запись с возможностью установки/удаления программных пакетов и библиотек, управления сервисами, доступом к рабочим каталогам сервера БД и сервера приложений, правом изменения конфигурационных файлов сервера БД и сервера приложений.
  2. БД
    • суперпользователь (postgres) или другая учетная запись с возможностью создания/восстановления резервной копии (pg_dump, pg_restore, pg_basebackup), поддержки репликации, получения списка баз
  3. Кластер 1С
    • Права администратора сервера и рабочего кластера