Свертка Бухгалтерии предприятия (БП30 Розница).

В этой статье мы рассмотрим весь цикл работ по свертке базы данных БП30 от лица администратора базы данных.

Какие вводные данные мы имеем:

1. База данных сети ювелирных магазинов за 2 года (до этого сворачивалась штатной обработкой) и семь месяцев. Используется SQL Express. Ограничение по базе 10Гб. Необходимо свернуть базу на начало года и максимально очистить.
2. Общий объем базы данных 10Гб (работа бухгалтерии остановилась по ограничению 10Гб).
3. Объем оперативной памяти на сервере 16Гб, что вполне достаточно для свертки базы такого объема. Показатель скорости работы сервера по тесту Гилева равен 36 – это хороший показатель.
   У клиента установлен 1С Сервер на 32 разряда. Для свертки это плохо. Объем оперативной памяти, который может использовать данный сервер на вызов 3Гб, что скорее всего не хватит для выгрузки данных.
4. Для выгрузки данных с учетом переноса 7 месяцев в новую базу необходимо около 10Гб дискового пространства. Такой объем у нас имеется.

Приступаем к свертке на сервере клиента.

1. Делаем архивную копию базы данных. Надо учитывать, что не все отчеты в конфигурации анализируют активность записей регистров, что приводит к за двоению данных после создания операций переноса. Поэтому создаем архивную копию до выполнения операций свертки.
2. Запускаем конфигурацию в режиме предприятия и запускаем обработку УСБД_1С на сервере клиента. Обработку можно запустить и под тонким клиентом на компьютере пользователя, но это увеличит время свертки. Поэтому желательно операции запускать на сервере.
3. Без регистрации будут доступны только общие функции для загрузки данных и дополнительные функции. Можно установить демо лицензию, но функционал будет резко ограничен. Активируем обработку с помощью файла лицензии и перезапускаем обработку.
4. Проверяем и устанавливаем исходные настройки обработки для нашей свертки:
   30. «Режим свертки» – БП30. Если будет указано «Другая конфигурация» значит на данной конфигурации обработка не тестировалась. Можно из списка выбрать конфигурацию-родитель и продолжить настройку. Учитывайте, что в этом случае нужно будет указывать показатель при каждом запуске обработки.
   31. «Дата свертки» – 31.12.24. Указывается дата, на которую необходимо произвести свертку.
   32. «Дата последнего документа в базе данных» – текущая дата. Это показатель для определения весовых коэффициентов и определения периодов выгрузки данных при указанном показателе «Ограничивать количество строк при свертке».
   33. Так как у нас большая база то включаем функцию «Ограничивать количество строк при свертке» и с учетом нашего сервера устанавливаем показатель в значение 30000. Попробуем ограничить объем данных, обрабатываемых сервером. Надо учитывать, что все эти ограничения срабатывают только на документы и регистры. В справочниках это не всегда осуществимо. Поэтому если у нас имеется большой справочник, который обработке придется целиком поместить в оперативную память, и он будет размером больше 3Гб, то наш сервер скорее всего выпадет в ошибку из-за нехватки оперативной памяти. Особенно это касается справочников, по которым ведется анализ. Это сотрудники, основные средства, договора, документы ЭДО. Обработка анализирует их при запуске и держит в оперативной памяти до конца свертки.
   34. «Каталог обмена данными» — это обязательный реквизит для заполнения. Учитывайте, что поиск каталога происходит от лица сервера и если сервер не обнаружит каталог, то сообщит об ошибке.
5. Перезапускаем обработку. Запуск обработки значительно увеличится, так как обработка, получив исходные данные будет готовиться к свертке.

Здесь мы прервем описание, так как в итоге, как и ожидалось, на сервере клиента произвести свертку не удалось. Большие справочники не дали нам пройти выгрузку. Номенклатура-192679 (Типовая свертка оставила все за все года), Регистр сведений СловарьСопоставленияНоменклатурыБЭД – 1339784. Честно говоря, эти два объекта и заняли основной объем базы данных. Их нужно будет максимально очистить. 1С вылетает с ошибкой «не хватает оперативной памяти на вызов».

Приступаем к свертке на нашем сервере.

1. Загружаем данные на наш сервер. Сервер 64 разряда. Объем памяти 128Гб. Показатель по Гилеву 23. Сервер слабоват, но что делать. Время свертки увеличится!
2. Запускаем конфигурацию в режиме предприятия и запускаем обработку УСБД_1С на сервере.
3. Без регистрации будут доступны только общие функции для загрузки данных. Можно установить демо лицензию, но функционал будет резко ограничен. Активируем обработку с помощью файла лицензии и перезапускаем обработку.
4. Проверяем и устанавливаем исходные настройки обработки для нашей свертки:
   30. «Режим свертки» – БП30. Если будет указано «Другая конфигурация» значит на данной конфигурации обработка не тестировалась. Можно из списка выбрать конфигурацию-родитель и продолжить настройку. Учитывайте, что в этом случае нужно будет указывать показатель при каждом запуске обработки.
   31. «Дата свертки» – 31.12.24. Указывается дата, на которую необходимо произвести свертку.
   32. «Дата последнего документа в базе данных» – текущая дата. Это показатель для определения весовых коэффициентов и определения периодов выгрузки данных при указанном показателе «Ограничивать количество строк при свертке».
   33. Так как у нас большая база то включаем функцию «Ограничивать количество строк при свертке» и с учетом нашего сервера устанавливаем показатель в значение 100000.
   34. Устанавливаем «Каталог обмена данными».
5. Перезапускаем обработку. Запуск обработки значительно увеличится, так как обработка, получив исходные данные будет готовиться к свертке.
6. Переходим на страницу «Данные для свертки». Здесь нам нужно создать документы с остатками на дату свертки. Документы будут создаваться на дату свертки плюс один день. То нам необходимо для правильного переноса данных. Выбираем закладку «Настройка параметров свертки». При необходимости на этой закладке можно провести тонкую настройку.
7. Выбираем единственный пункт – «Создать документы остатков». Нам от старой базы данных больше ничего не надо.
8. Нажимаем «Выполнить операции». Это не долгая операция. У нас она заняла 9 минут.
9. По окончании переходим на закладку «Документы ввода остатков» и проверяем что нет документов, отмеченных красным. Если такие документы есть, то надо устранить эту проблему. По ошибочным документам остатки сформированы не будут. У нас все хорошо. Переходим к следующему пункту.
10. Наша цель – выгрузить все необходимые данные на диск для последующей загрузки в чистую базу данных. Для этого переходим на страницу «Перенос данных в другую ИБ» и нажимаем кнопку «Анализ Выгрузки». Операция длительная. У нас заняла около 13 минут. После заполнения плана выгрузки мы можем подкорректировать его, если не желаем что-либо выгружать, но надо понимать, что Вы делаете. Выгрузка данных происходит по внутренним ссылкам и если Вы, к примеру, откажитесь от справочника «Контрагенты», то это приведет лишь к тому, что необходимые ссылки будут созданы в чистой базе, но будут не заполнены. Поэтому к данным операциям нужно приступать с осторожностью.
11. Нажимаем кнопку «Выгрузить данные». Надо учитывать, что основные операции по фильтрации данных, их анализу и очистке происходят в момент выгрузки данных. Поэтому выгрузка данных в отличии от загрузки занимает значительное время. На нашем сервере это заняло 5,5 часов. Объем выгруженных данных составляет 6Гб. Примерно наша база будет свернута до этого объема.
12. Учитывая, что мы получили достаточно маленькую базу, а сервер у нас медленный, но зато очень высокий показатель файловой системы, мы будем выполнять дальнейшие действия в файловом варианте. Для загрузки нам нужно подготовить «Чистую» базу данных. Для этого:
    1. Создаем пустую базу данных через конфигуратор.
    2. Выгружаем Конфигурацию рабочей базы данных. Если использовались расширения, изменяющие структуру базы данных, то их тоже надо выгружаем.
    3. Загружаем Конфигурацию и расширения в пустую конфигурацию.
    4. Запускаем конфигурацию в режиме 1С:Предприятие.
    5. Дожидаемся первоначального заполнения данных.
    6. Выгружаем базу данных средствами конфигуратора. Копия может пригодится при повторной загрузке данных в случае неудачи.
13. Запускаем «Чистую» базу в режиме 1С:Предприятие.
14. Запускаем обработку свертки. Для загрузки регистрация не требуется, поэтому не обращаем внимание на сообщения об отсутствии регистрации.
15. Настраиваем каталог обмена. Указываем каталог, в который мы произвели выгрузку данных.
16. Переходим на страницу «Перенос данных в другую ИБ» и нажимаем кнопку «Анализ загрузки». Операция длительная. Зачитывается вся выгруженная информация, проверяется ее корректность и подсчет количества записей. Операция заняла 3 минуты.
17. Анализируем загружаемые справочники от 9000 записей и больше (Делаем мы это с целью сокращения их объема, если не надо, то пропускаем этот пункт, а также п. 18,19,24):
    1. Справочник Номенклатура – 192679 записей;
    2. Справочник ОбщероссийскийКлассификаторОсновныхФондов — 13046 (Основных средств нет. Не будем грузить);
    3. Регистр сведений АмортизационныеГруппыОКОФ – 19130 записей (как и выше, не будем грузить);
    4. Регистр сведений ВидыПродукцииПоГруппамВЕТИС – 22947 (и все что связано с этим грузить не будем);
    5. Регистр сведений СловарьСопоставленияНоменклатурыБЭД – 1339784 записей (Каждое поступление — это новый товар, поэтому грузить не будем. Нет смысла);
    6. Регистр сведений ЦеныНоменклатуры – 67126 записей (Могут потянуть не нужную номенклатуру. С ним надо подумать);
    7. Регистр сведений ЦеныНоменклатурыДокументов – 84077 записей (Вообще клиент не использует. Грузить не будем);
18. Для чего мы делали эти сложные выкладки? Для того что бы не загружать неиспользуемые данные в базу данных и тем самым сжать эти справочники ми регистры сведений до минимума.
    Мы будем использовать метод заполнения. Как это происходит?
    При загрузке данных обработка создает все необходимые ссылки на объекты и создает сами эти объекты, но заполняет только минимальные реквизиты. Далее в процессе загрузки данных, если обработка получит данные для этих объектов, данные будут заполнены. Мы не будем следующие загружать объекты:
    1. Справочник Номенклатура;
    2. Регистр сведений ЦеныНоменклатуры.
19. После окончания загрузки мы заполним незаполненные объекты справочников.
20. Нажатием кнопки «Выбрать все», устанавливаем флажки на все объекты. После чего с помощью отбора снимаем флажки с объектов-справочников из нашего списка.
21. Переходим на страницу «Общие настройки» и нажимаем кнопку «Подготовка информационной базы к загрузке». Соглашаемся с сообщениями безопасности. Повторяем эту операцию не менее трех раз. Дело в том, что система не позволяет очищать основные элементы пока не удалятся зависимые. Трех циклов вполне достаточно. Надо учитывать, что при не удачной загрузке, конфигурация скорее всего не загрузится, так как все настройки по умолчанию удалены, а новые еще не загружены.
22. Возвращаемся на закладку «Перенос данных в другую ИБ» и нажимаем кнопку «Загрузить данные». Операция длительная. У нас она заняла 1 час.
23. Нажатием кнопки «Снять все», снимаем флажки на всех объектах. Проверяем не возникли ли ошибки в процессе загрузки. Такие строки помечены красным. У нас таких нет. Если такие будут, то попробуем устранить ошибки простым способом: отмечем их заново и загружаем (обработка позволяет до начала работы перезагружать данные, но надо учитывать если вы перегружаете регистры, по которым были введены остатки, то нужно перегрузить документы ввода остатков, что бы прошла активация этих регистров).
24. Теперь дополним справочники согласно нашего плана.
    1. Устанавливаем флажок «Заполнить» на строках «Номенклатура. Флажок «Обработать» будет добавлен автоматически. Загружаем данные. Операция длительная, зависит от объема загружаемых файлов. Вот данные из лога загрузки:
       1. Номенклатура загружено — 43516 против 192679 (Учитывайте что перегружать придется два раза, после первого прохода будут созданы группы и что бы их заполнить прийдется проходить еще раз);
       2. При необходимости мы всегда можем добавить не загруженные объекты полностью, если это потребуется.
    2. Переходим на закладку Доп. Функции и последовательно жмем на «Обновить параметры работы программы» и «Заполнить регистр сведений ФИОФизических лиц».
    3. Перезагружаем конфигурацию и сверяем оборотно-сальдовые ведомости. Все данные перенесись хорошо. Разногласий не выявлено.
    4. У нас остались не загруженным регистр сведений ЦеныНоменклатуры. Воспользуемся следующим принципом: после того как мы загрузим регистр у нас создадутся пустые ссылки на номенклатуру, которая нам не нужна. Мы ее удалим из регистра, а затем и из справочника Номенклатура. Затем окончательно прогрузим номенклатуру. В БП30 это очень неудобный регистр. Он захватывает всю номенклатуру и не дает ее удалять из-за установленных цен.
       1. Запускаем обработку УСБД_1С, настраиваем путь к папке с данными выгрузки.
       2. Запускаем анализ загрузки.
       3. Устанавливаем пометку на объекте регистр сведений ЦеныНоменклатуры и загружаем его. Будет загружено огромное количество не нужной номенклатуры из документа ввода остатков по этому регистру, но по-другому, на данном этапе, нам не справиться с этой проблемой.
       4. Находим операции, введенные вручную и среди них на 31.12.24 находим операцию, у которой в комментарий будет начинаться с «ЦеныНоменклатуры» и открываем ее (если у Вас много организаций, то не обращайте внимание на организацию. Обработка выбрала первую попавшуюся. Это регистр не зависим от организации).
       5. Сортируем его по номенклатуре.
       6. Дальше выделяем первую строку с «<>» и находим последнюю такую строку. Через шифт выбираем ее (таким образом мы выделим все такие строки) и нажимаем «Удалить». Сохраняем операцию.
       7. Если посмотреть номенклатуру, то увидим огромное количество пустых элементов справочника.
       8. Заходим «Администрирование» -> «Обслуживание» -> «Корректировка данных» -> «Групповое изменение реквизитов».
       9. Отбираем номенклатуру, у которой не заполнено Наименование и помечаем ее на удаление.
       10. Очищаем базу данных от помеченных на удаление объектов.
    5. Очищаем помеченные на удаление объекты.
    6. Закрываем 1С:Предприятие и запускаем Конфигуратор. Здесь запускаем Администрирование -> Тестирование и исправление. Выбираем «Тестирование и исправление», а также «Очищать ссылки» и «Удалять объект».
    7. Все свертка выполнена.

Подводим итоги.

1. Размер свернутой базы 2Гб против 10Гб. Это еще не все, при тщательном анализе можно еще ее приуменьшить, но это уже будет делать администратор системы и бухгалтерия. Меньше 1Гб Вы ее не уменьшите так как это размер пустой конфигурации. Мы видим, что за 7 месяцев наработано меньше 1Гб информации, а если исключить справочники, то будет порядка 0,8Гб информации в год, а то и меньше. За 5 лет 4Гб. А откуда же у нас 10Гб, а все просто типовая свертка не может очистить качественно базу данных и большинство информации остается от свертки к свертке. Текущая обработка снимает эти проблемы в стандартном варианте, а используя различные методы, доступные в обработке (Слияние, Заполнение, Настройка плана выгрузки и загрузки), значительно улучшить результат.
2. На что еще нужно обратить внимание:
   1. Нужно проверить счет «60». Очень часто на него не обращают внимания, а на нем захватываются документы прошлых лет.
   2. Еще раз проверить «Контрагенты» и «Номенклатуру». Часто они захватываются, потому что неверные остатки на регистрах накопления и бухгалтерии.