речь о Data Compare, есть таблица, более 2 млн. записей, при ее сравнении программа начинает зверски отъедать память от системы, и после того как достигает около 1.5 Гига (смотрю диспетчером задач) систематически вылетает.
На компе 4 Гб оперативки, 4 гб. файл подкачки, по идее с чего бы ей вылетать??? А если сравниваемые базы будут гигов по 40, то тогда нужен сервер НАСА для проведения сравнения? :) в общем не понял я как мне осуществить мою задачу имея в распоряжении вполне неслабый комп....
программа с треском вылетает жалуясь на память
На данный момент мы работаем над версией 2.0, в которой все проблемы с использованием памяти устранены и значительно улучшена производительность.
Новая версия будет позволять сравнивать базы любого размера. Мы тестировали на суммарном размере баз порядка 120 Gb.
Релиз планируем выпустить в течение месяца.
Новая версия будет позволять сравнивать базы любого размера. Мы тестировали на суммарном размере баз порядка 120 Gb.
Релиз планируем выпустить в течение месяца.
-
.jp
- Devart Team
- Сообщения: 374
- Зарегистрирован: Ср 09 сен 2009 07:54
- Откуда: devart
- Контактная информация:
Здесь мы описали проблемы старого алгоритма сравнения и преимущества нового способа сравнения:
http://www.devart.com/blogs/dbforge/?p=1056
Добавлю, что тестовая база данных, о которой говорит Duke, содержит таблицу с около 2.4 млрд записей, таблицу с типом данных image с данными в одной записи размером 1.5 Гб, таблицу типа FILESTREAM с данными в одной записи размером 3.5 Гб, таблицу с CLR-типом данных размером 900 Мб и другим менее важным набором тестовых таблиц.
Эту базу данных 2-я версия dbForge Data Compare for SQL Server успешно сравнивает, при этом используя около 100 Мб оперативной памяти. По скорости сравнения 2-я версия опережает всех известных нам аналогичных продуктов.
http://www.devart.com/blogs/dbforge/?p=1056
Добавлю, что тестовая база данных, о которой говорит Duke, содержит таблицу с около 2.4 млрд записей, таблицу с типом данных image с данными в одной записи размером 1.5 Гб, таблицу типа FILESTREAM с данными в одной записи размером 3.5 Гб, таблицу с CLR-типом данных размером 900 Мб и другим менее важным набором тестовых таблиц.
Эту базу данных 2-я версия dbForge Data Compare for SQL Server успешно сравнивает, при этом используя около 100 Мб оперативной памяти. По скорости сравнения 2-я версия опережает всех известных нам аналогичных продуктов.
ну ... это конечно все здорово.
кстати, еще такой вопрос: как я могу провести что-то типа brief-сравнения, чисто по количеству записей в таблицах двух баз? вот в том окне где программа сопоставляет по именам таблицы выбранных баз - там нигде не предусмотрена опция вывода количества записей напротив таблиц? Для некоторых случаев это было бы полезной возможностью...
кстати, еще такой вопрос: как я могу провести что-то типа brief-сравнения, чисто по количеству записей в таблицах двух баз? вот в том окне где программа сопоставляет по именам таблицы выбранных баз - там нигде не предусмотрена опция вывода количества записей напротив таблиц? Для некоторых случаев это было бы полезной возможностью...
-
.jp
- Devart Team
- Сообщения: 374
- Зарегистрирован: Ср 09 сен 2009 07:54
- Откуда: devart
- Контактная информация:
Сейчас ни в первой версии, ни во второй, такая информация ни где не выводится.
Проблема в том, что не для всех таблиц и представлений можно БЫСТРО получить количество записей на станице Сопоставление, особенно если применен SQL Filter.
Информация о количестве записей возможно была актуальна для первой версии т.к. сравнивать таблицы с большим количеством данных довольно проблематично. Но для второй версии, возможно, эта информация и не нужна уже, т.к. новая версия инструмента сравнения данных работает в РАЗЫ быстрее и большие объемы данных не являются уже проблемой (как и размер оперативной памяти на локальном ПК).
Старый алгоритм сравнения имеет нелинейную скорость сравнения и замедляется сравнение геометрически от увеличения размера базы данных, особенно если базы данных очень отличаются.
Новый алгоритм сравнения линеен во всем диапазоне размера сравниваемых данных.
В любом случае мы примем к сведению Ваше пожелание.
Скажите, данную информацию Вы бы хотели видеть на странице Сопоставление или же в документе сравнения .dcomp?
Проблема в том, что не для всех таблиц и представлений можно БЫСТРО получить количество записей на станице Сопоставление, особенно если применен SQL Filter.
Информация о количестве записей возможно была актуальна для первой версии т.к. сравнивать таблицы с большим количеством данных довольно проблематично. Но для второй версии, возможно, эта информация и не нужна уже, т.к. новая версия инструмента сравнения данных работает в РАЗЫ быстрее и большие объемы данных не являются уже проблемой (как и размер оперативной памяти на локальном ПК).
Старый алгоритм сравнения имеет нелинейную скорость сравнения и замедляется сравнение геометрически от увеличения размера базы данных, особенно если базы данных очень отличаются.
Новый алгоритм сравнения линеен во всем диапазоне размера сравниваемых данных.
В любом случае мы примем к сведению Ваше пожелание.
Скажите, данную информацию Вы бы хотели видеть на странице Сопоставление или же в документе сравнения .dcomp?
Я думаю в документе сравнения dcomp и так есть вся необходимая информация. Получается что если 2.0 версия проблем с памятью и скоростью сравнения не испытывает, то и вывод количества записей перед сравнением может и не потребуется. Хотя как опцию я бы на вашем месте ее включил на странице Сопоставление ;)