Универсальное удаление данных из базы 1С

Введение

Назначение обработки

Данная обработка позволит выполнить очистку информационной базы от ненужной информации, а так же от информации, которая больше не используется. Удалить можно точечно (будь это элемент справочника, или конкретный документ), или данные по всей организации. Обработка позволит значительно сэкономить время, так как традиционный способ - пометка на удаление и всех связанных данных, с последующим удалением помеченных объектов – является трудоёмким, затратным по времени и ресурсам. Очистка базы может выполняться в монопольном режиме, что значительно увеличит скорость работы.

Возможности

• Просмотр удаляемых данных в виде дерева перед удалением.
• Быстрый алгоритм поиска ссылок дерева удаляемых данных.
• Возможность удаления данных по организаций из информационной базы 1С.
• Удаления и очистки данных средствами SQL (MS SQL, Postgre).
• Выборочное удаление данных различных ссылочных объектов и данных из регистров.
• Удаление объектов, которые нигде не используются (если больше нет других ссылок на этот объект).
• Вывод прогресса удаления с примерным временем окончания удаления данных.
• Поддержка удаления в монопольном режиме для увеличения скорости удаления.
• Настройки максимальной глубины поиска и исключение зацикливания при поиске ссылок.

Важно! Модуль внесен в реестр отечественного ПО Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации (номер записи 15595 от 18.11.2022 г)

Поддерживаемые конфигурации 1С

Наше решение универсально и будет работать в любой конфигурации как типовой, так и не типовой с доработками и без них на платформе 8.2 и 8.3. В процессе разработки работа была успешно протестирована в следующих типовых конфигурациях: 1С:Бухгалтерия предприятия 3.0, 1С:Зарплата и управление персоналом 3.0, 1С:Управление торговлей 11, 1С:Управление торговлей 10.3, 1С:Управление нашей фирмой, редакция 1.6, 1С:Управление производственным предприятием, редакция 1.3.

Описание возможностей и реквизитов

• Режим работы как мы будем обрабатывать данные и удалять объекты. Удаление объектов - это режим удаления данных и поиска ссылок на указанные объекты и регистры с последующим удалением этих данных. Удаление не используемых объектов - это режим поиска в указанных справочниках/документах данных которые нигде не используются с последующим их удалением. Первый режим предназначен для обрезки базы от данных, второй для удаления данных после обрезки, которые уже не используются. Пример: удалили данные по организации, и остались не используемые контрагенты и договора, которые использовались только в удаленных данных, а сейчас они не нужны.
• Метаданные и вид метаданных какие объекты мы будем обрабатывать и удалять. Можно указать только ссылочные типы. При этом, если будет найдено использование в регистрах сведений/накоплений, то данные будут добавлены в дерево ссылок и показаны перед удалением
• Табличная часть с удаляемыми объектами список объектов, которые необходимо обработать и удалить.
• Способ удаления что нам делать с объектами, которые необходимо удалить из базы. Предполагается либо полное удаление объектов, либо пометка удаления объектов. Для регистров в обоих случаях будет удаление записей, а для констант - очистка значений.
• Удалять в монопольном режиме позволит удалять данные быстрее за счет того, что больше с базой никто не сможет работать в процессе удаления. Как правило при удалении в базе итак никто не работает.
• Максимальная глубина поиска используется при построении дерева ссылок (рекомендуется значение 10). Пример: если мы выбрали к удалению одну организацию, то на первом уровне поиска мы найдем все данные, которые ссылаются на эту организацию, на втором уровне, мы найдем все объекты и записи регистров которые нашли на первом уровне и т.д. Такой подход поможет найти все что ссылается на удаляемые данные.
• Дерево удаляемых данных позволит проверить перед удаление удаляемые данные и представляет их в древовидной форме, что удобно для анализа (если таковой необходим перед удалением/установки пометки удаления).
• Прогресс удаления позволит отобразить ход удаления данных и на основании скорости удаления предсказать когда удаление будет выполнено полностью. Что достаточно удобно.
• Удаление средствами SQL позволяет значительно сократить ваше время, если вы используете СУБД MS SQL Server или PostgreSQL. Обработка сформирует скрипт с запросами, выполнив который данные будут удалены.

Важные особенности и скорость удаления данных

Отдельно хотелось бы отметить скорость удаления данных из информационной базы. Тут важно понимать, что скорость удаления данных зависит от быстродействия сервера или компьютера, на котором вы будете удалять данные. Чем быстрее компьютер, тем быстрее все будет обработано. Так же важным моментом является объем удаляемых данных. Очевидно, что удаление из огромной базы на посредственном компьютере будет долгим процессом.

Чтобы вы представляли себе время, которое вам понадобиться для удаления данных, мы провели замеры удаления на собственном тестовом стенде. Имея эти данные, вы сможете примерно прикинуть скорость работы.
Итак, характеристики тестового стенда: 2 шт. x Intel(R) Xeon(R) CPU E5-2650 v3 2.30Ghz; ОЗУ SK Hynix 64 ГБ DDR4; SSD 2.5" Intel D3-S4610 480Gb; Windows Server 2019 Standard (x64); Microsoft SQL Server 2019 Standart; Платформа 1С: 8.3.16.1814.

Удаление средствами 1С

Конфигурация "Управление нашей фирмой" демо. Релиз 1.6.21.124. Размер файла базы 631 Mб.

• Количество удаляемых элементов: 47 106;
• Поиск удаляемых объектов:~ 5 минут;
• Удаление:~ 4 минуты;
• Общее время:~ 9 минут.

• Количество удаляемых элементов: 69 750;
• Поиск удаляемых объектов:~ 17 минут;
• Удаление:~ 6 минут;
• Общее время:~ 23 минуты.

• Количество удаляемых элементов: 108 829;
• Поиск удаляемых объектов:~ 35 минут;
• Удаление:~ 15 минут;
• Общее время:~ 50 минут.

Удаление средствами СУБД (формирование скрипта с запросами и последующее выполнение)

Конфигурация "Бухгалтерия предприятия 3.0". Релиз 3.0.84.35. Размер файла базы 2,5 Гб.

• Количество удаляемых элементов: 178 579;
• Поиск удаляемых объектов:~ 40-50 секунд;
• Удаление: 1 минута 28 секунд;
• Общее время:~ 2 минуты 30 секунд.

Важная оговорка! Очевидно, что удаление средствами SQL работает быстрее, но имейте ввиду, что:
1. Возможность работы с SQL напрямую с точки зрения соглашения пользователя платформы 1С не разрешена по условию лицензионного соглашения (мы предоставляем ее исключительно в ознакомительных целях и не рекомендуем к использованию).
2. Возможность не является штатной для платформы 1С и мы не гарантируем ее правильную работу. Все исключительно на ваш страх и риск.

Перед началом работы обработки не забывайте делать резервную копию информационной базы и удаляйте данные используя полные права.

Порядок работы