понедельник, 27 июля 2020 г.

ТО о CS 9.3.2.207

Отчёт о тестировании ClearSQL 9.3.2.207 (далее - CS), выпущенном 21 июля 2020 года, основан на Release Notes, идентичным наконец-то полному тексту в пункте "Help / Release Notes" главного меню продукта. Предыдущий билд был новым платным минором, а этот сменил номер релиза. Это значит, что изменения слегка должны являться улучшениями, а в большинстве исправлять допущенные при разработке ошибки.

IMPROVEMENTS 1.5+0+1.5+0.7+0+0.5+0.5+0.7=5.4 из 2+1+2+2+1+1+1+1=11 возможных, -0.3-0.5=-0.8 за баги
Trial Subscription 0.5+1=1.5 из 2 возможных
* To activate ClearSQL in trial mode, the user is now prompted to enter their payment details. After a 5-day evaluation period, the license will be automatically upgraded to the monthly subscription.
Для активации триального режима CS юзер теперь предупреждается о вводе его параметров оплаты. После 5-ти дней использования лицензия автоматически обновится до месячной подписки.
ConquestSS всё более и более стремится, чтобы юзеры CS обязательно работали в продукте на машине с подключенным Интернетом. При попытке старта приложения в триальном режиме для активации ключа вас перебросит на сайт производителя, даже если вы применили ключ, присланный вам вместе с инсталлятором. Ни триальная, ни подписочная лицензия теперь не начнёт работать, пока вы не свяжетесь из приложения с сайтом. А вы где-нибудь читали, что с лицензией по подписке вы не сможете работать локально, без интернета? Это подвох производителей - дёшево, но при постоянном контроле. Учтите, что теперь вам никак не поможет триальный ключ предыдущего билда, потому что даже не законченный триал этой же платной версии будет считаться завершённым. Ранее триальный период отсчитывался с первого дня использования платной версии и продолжался, а не принудительно завершался, после апдейта на билд текущей платной версии (мажор или минор). Триальный период продолжается всё те же 5 дней, которые входят в первую оплаченную месячную лицензию. То есть ConquestSS обворовывает юзера на 5 бесплатных дней. Такая смена лицензирования внутри единоплатной версии нарушает права пользователя. Но разработчики ConquestSS на такой клинч забили, поскольку у них настолько мало юзеров, что вариант апдейта триальщика они скорее всего сразу исключили. Подобные коренные изменения более приемлемы для очередной платной версии. На это новшество их, скорее всего, воодушевляла идея облегчения отъёма денег у потенциальных покупателей. Описание изменения имеет двоякий смысл: если вы корректно оформите свои данные и на вашем счёте будет достаточно средств, то через пять дней вы, честный человек, автоматически лишитесь средств без дополнительного на то вашего согласия и ваш триал продлится до месяца. Тесты показали истинность первого варианта. Да, в какой-то степени это изменение функционала можно считать улучшением, но для большинства потенциальных юзеров теперь CS стал в ряд нежелательных продуктов.
Кстати, вы заметили, что в марте 2020 года вышел последний билд CDB, а с июля этого же года из меню основного сайта пропал продукт FADEX. Кризис пандемии усугубил нищенское существование компании и не позволил развивать столь полезные приложения. А ведь если CDB разделить на самостоятельные утилиты (Easy "white-box" testing, CRUD, CallTree, MI, Documentor), то на них вполне можно было бы солидно обогатиться.
* All trial users now have their personal Conquest accounts created after activating the trial subscription. This allows canceling the subscription, updating payment details, or upgrading to the full license.
Все триальные юзеры теперь имеют свой персональный аккаунт на сайте ConquestSS, создаваемый после активации подписки триала. Это позволяет отменить подписку, обновить детали оплаты или докупить полную лицензию.
Регистрация триальных юзеров в ConquestSS претерпевает уже третье изменение. Сначала это был обычный сбор статистики без отслеживания уникальных аккаунтов. Затем, после очередного ужесточения правил GDPR, стали больше узнавать своих потенциальных покупателей. Теперь же всех триальщиков причисляют к списку покупателей, чтобы впоследствии избежать своей ручной работы по переводу триальщика в постоянного юзера. Да, такую базу проще обработать на предмет процента перехода из временных пользователей в постоянные. Для самих же юзеров оформление персональных данных призывает к ответственному отношению попробовать новый продукт.
Startup Window 0 из 1 возможного
* Added the ability to request a quote for a full license by clicking the "Request a quote" button in the startup window.
Добавлена возможность запрашивать квоту на полную лицензию кликом соответствующей кнопки в окне старта.
Во-первых, очень сложно определить, какое из окон в CS считается стартовым. Во-вторых, на странице настроек лицензии "File / Preferences / License Key" есть кнопка "Update License..", по которой открывается более логичное окно для запроса изменений лицензии. Почему его забыла тех.писательница? Наверно из-за плохого знания обслуживаемого продукта. А поскольку в ConquestSS давно нет тестировщиков, то этот промах некому было подметить вовремя, даже создателям и владельцам проекта. Ну, и в-третьих, никакой новой кнопки или хотя бы линка на запрос увеличения лицензии не появилось нигде. Вышеназванный элемент не добавлен в интерфейс продукта. Так что, балл давать не за что.
Analysis Log Manager 0.8+0.7=1.5 из 2 возможных, -0.3 за баги
* Added the ability to locate the log file on the disk. The "Locate on Disk" command is now available from the pop-up menu.
Добавлена возможность навигировать файл лога на диске. Команда навигации доступна из контекстного меню.
Примечание: менеджер логов анализатора - это окно "View Analysis Log Files", открываемое из главного меню "Code Analysis / Analysis Logs". Контекстное меню для этого списка содержит новую функцию.
Комплексное тестирование выявило, что текстовый редактор, открывающий текст лога, не содержит нового пункта в контекстном меню для навигации на файл, но там есть два одноимённых пункта для сохранения.
* Analysis log files are now deleted along with the corresponding project.
Файлы логов анализа теперь удаляются вместе с соответствующим проектом.
В первом билде текущей версии была исключена настройка сохранения логов анализа в единый файл определённого размера или в несколько самостоятельных файлов по каждому запуску анализа. Когда через приложение удалялся проект, то все его папки удалялись. По тексту RNs можно понять, что удаляя строку лога из списка логов в вышеозначенном менеджере его проект тоже удалится. Такое поведение было бы весьма опасным и нелогичным. Для тестов сделайте простенький проект, проанализируйте его и только его лог пытайтесь удалять, чтобы не лишиться ваших прежних рабочих проектов. Но на самом деле при удалении проекта через приложение, а не вручную через файловую систему, список логов анализов обновляется, согласно фактическому состоянию файлов. То есть, лог удаляемого проекта удаляется и из списка логов. За такое путанное описание изменения, которое больше похоже на правку бага, а не на новшество, не могу дать полный балл.
Print 0+0.7=0.7 из 2 возможных
* If an HTML file is bigger than 50 MB, the following message will be shown on clicking "Print Preview": "You are about to preview an HTML file larger than 50 MB. This may cause performance and stability issues. Are you sure you want to continue?"
Если html-файл больше 50МБ, то следующее сообщение будет показано перед предварительным просмотром: "Вы собираетесь просмотреть html-файл размером более 50Мб. Это может вызвать проблемы производительности и стабильности. Вы действительно хотите продолжить?"
Для тестирования этого новшества надо иметь такой проект, результаты анализа которого только по одному уровню (метрики или правила кода, диаграммы и т.п.) могут составить 50Мб и более в html-формате. Не пытайтесь печатать весь отчёт - это не подходит под рамки текущего пункта RNs, да и из приложения отчёт по проекту не печатается. Подсказка: не пытайтесь увеличить самую большую таблицу метрик за счёт увеличения скриптов, потому что в печать таблицы с результатами метрик кода попадают не полным своим содержимым, а только до границ скроллеров. Сомневаюсь даже, что многочисленные анализы проекта с включенными всеми графиками когда-нибудь смогут набрать объём в 50Мб. Так что, это новшество достаточно утопичное в плане пользы. Да и величина лимита, не понятно откуда взятая, довольно смешна для современных операционных систем, работающих на гиговых объёмах памяти. Потому и заслужить балл невозможно.
* Added the ability to print out code metrics and code review results at the script level.
Добавлена возможность печатать метрики кода и проверки правил кодирования уровня скрипта.
Ранее пункт главного меню "File / Print" становился неактивным, если курсор переводился в таблицу "Script: Editor and Analyzer Info / Code Review" или "Script: Editor and Analyzer Info / Code Metrics". Теперь информация из этих таблиц попадает в печать, но, если проверки правил вмещают все столбцы и разворачивают все ветки дерева, то из метрик кода печатается ограниченное видимостью количество столбцов. Да, новинку сделали, но опять не протестировали даже минимально.
Summary Info 0 из 1 возможного
* Added the ability to abort the expansion of all nodes on the Summary tab if the process takes too much time.
Добавлена возможность прекратить разворачивание всех нод на закладке итогов, если процесс занимает слишком много времени.
Для тестирования нам потребуется либо демо-проект на слабенькой машине, либо огромный проект на обычной машине. Данные в форме дерева на закладке итогов могут показывать только две таблицы: с детальными метриками кода и нарушенными правилами кодирования, когда они сгруппированы по какому-нибудь из доступных признаков. Кстати, теперь все таблицы, которые ранее могли показывать только несколько максимальных значений, отображают всегда все результаты анализа. Это было убрано в предыдущем билде, о чём юзера не предупредили, молча убрав настройки. В прошлых версиях, вплоть до CS 8.1, была возможность разворачивать и сворачивать все ноды в таблицах итогов. Теперь же разворачивать и сворачивать можно только панели, то есть не ветки деревьев, а целые окна. Такой процесс никак не может занимать длительное время, поскольку абсолютно не зависит от объёма данных в них. Никакой возможности разворачивать все ноды (через пункт меню или горячую клавишу) уже в нескольких версиях CS не существует, поэтому пункт RNs - однозначная фикция, за которую нельзя давать балл.
Export to MS Excel 0.5 из 1 возможного
* On trying to export diagrams or code review results to MS Excel, make sure another file is not being edited in MS Excel at the same time. Otherwise, you will be prompted to stop editing cells in the open MS Excel file to proceed with the export.
При попытке экспортировать диаграммы или результаты проверок правил кодирования в MS Excel убедитесь, что иной выбранный файл не редактируется в это же время. Иначе, вам предложат остановить редактирование ячеек в открытом файле для продолжения экспорта.
Очень спорное причисление RNs к новшествам, поскольку иными словами это обязательная проверка имени файла уже существующего и находящегося в рабочем статусе стороннего редактора. По какому праву CS управляет чужим приложением? Предложение о прекращении редактирования появится в рабочем CS или стороннем Excel? Это двоякое описание посмотрим через тесты. Для этого экспортируем первую попавшуюся диаграмму и таблицу с результатами анализа проекта в Excel с последующим открытием этого файла, а также подправим что-нибудь в этом файле, и, не закрывая его, выполним повторно экспорт в этот же файл. В прошлых билдах такую проблему обрабатывала операционная система. Это видно из текста ошибки, который достаточно подробен и на языке локали. В текущем билде добавлено предупреждение ещё и в стороннее приложение. Никак не могу согласиться с тем, что это правомерное вмешательство в приложение Microsoft. Кому-то было недостаточно системного предупреждения о существующем файле, системной ошибки о совместном доступе к файлу, теперь добавили третье предупреждение о замене данных в файле. Да, новшество сделано, но заголовок диалога говорит о чужеродных вмешательствах, за что снимаю полбалла.
Import Wizard 0.5 из 1 возможного, -0.5 за баг
* If files/folders selected for import are no longer available on the disk, you will be prompted that these files/folders no longer exist.
Если папки или файлы, выбранные для импорта, больше не доступны на диске, вы будете уведомлены, что эти файлы или папки не существуют.
Процесс поиска и выбора импортируемых файлов может затянуться. В это время может упасть сервер или выпасть штекер вашего переносного диска. Тестами будем ожидать сообщение в момент нажатия кнопки "Add". Параллельно проверим мастер линковки и его кнопку "Link", поскольку физически это единые окна и логика в них должна быть идентичной. Мои тесты показали, что при добавлении объектов из неподконнекченного диска одно системное сообщение заменено на два, но ни в одном из них не сказано об отсутствии объектов, как описано. Линковка же проходит, как и прежде, после повторного клика вообще без каких-либо предупреждений. Это значит, что текущий пункт RNs зарабатывает только 0.5 балла, и при этом билд теряет за баг комплексного тестирования -0.5 балла.
Back Up/Restore Project 0.7 из 1 возможного
* Removed the "Backup folder" box as irrelevant.
Убрана группа архивирования проекта, как ненужная.
Формы для архивирования и восстановления проекта из архива доступны по пунктам главного меню "File / Project / Back Up Project" и "File / Project / Restore Project from Backup" соответственно. Обе формы объединили поля для выбора и ввода пути и имени файла архива в одно, но при этом не дописали функционал символьного поля, в котором не полностью видно значение. Для таких полей юзеру приходится вставлять в него курсор и перемещать вручную по всему значению вместо того, чтобы просто подвести к нему мышь и увидеть полный путь и наименование фала в хинте элемента. За недоделку сниму часть балла, поскольку это GUI-правило давно числится обязательным в группе разработки ConquestSS.

BUGS FIXED 0.5+0+0+1+0+1+0.8+1+0+0.8+1-0.5+0.5+0.5+1+0.5+0+1=9.1 из 2+1+1+1+1+1+1+1+1+2+2+1+1+1+1+1+1+1=21 возможного балла, -1 за баг
Core 0.5+0=0.5 из 2 возможных
* Fixed the error "Could not initialize taskbar. Error:-2147467263" when running the application on Windows Server with Citrix.
Исправлена ошибка о невозможности инициализировать таскбар при запуске приложения на специальной операционной системе.
В моих возможностях нет Windows Server with Citrix, поэтому поверю на слово и дам авансом 0.5 балла.
* The application's features no longer stay inactive once the ORA-01005 error occurs after the database connection fails due to a missing password.
Функционал приложения больше не остаётся неактивным после ошибки базы при коннекте к ней с пропущенным паролем.
В прошлом билде нам надо найти, какие конкретно экшены деактивировались после неудачного коннекта к базе, поскольку глупо подозревать все, не касающиеся базы данных Oracle. Ошибочный коннект будем производить несколькими путями: только коннект через главное меню, попытки импорта объектов при создании проекта и в существующий, попытка линкования скриптов с базой. Учтите, что создать проект можно как уже в открытом приложении (то есть смотреть на всю рабочую область), так и при старте (то есть тестировать только окно старта). Итого получаем пять тестовых случаев, в большинстве из которых сначала будем обращать внимание на окно коннекта к базе и его дочернее окно опций. Мои тесты не дали никаких деактиваций ни в прошлом, ни в текущем билдах. Поэтому фикс не засчитываю.
Code Editor 0 из 1 возможного
* The Code Editor no longer flickers on moving the caret when a long script is open and the option "Cursor beyond EOL" is disabled.
Редактор кода больше не мерцает при сдвиге каретки, когда открыт длинный скрипт и опция о выходе курсора за конец строки выключена.
Значение означенной опции можно проверить в "File / Preferences / Code Editor" окне. Что является "длинным скриптом" в данном случае? Может код с длинными строками, в которых количество символов превышает значение "File / Preferences / Code Editor / Display / Margin and Gutter / Visible right margin - Width"? А может скрипт с огромным количеством строк? Не могу склониться к какому-то определению, которое не соизволила уточнить тех.писательница. Поэтому надо проверять оба варианта. Также следует учитывать физические данные компьютера (оперативная память, процессор и монитор), потому что давно замечено: если в ОС не хватает оперативной памяти, то MS Office окна (Excel, Word) выключают весь монитор на время перерисовки. Мои тестовые данные не позволили увидеть баг в прошлом билде, поэтому не могу засчитать фикс.
Code Explorer 0 из 1 возможного
* Resetting the workspace to default now restores the Code Explorer panel.
Восстановление рабочей области к изначальным установкам теперь возвращает панель дерева кода.
Напомню: функция восстановления рабочей области доступна из главного меню "View / Reset workspace to default". И в прошлом*позапрошлом, и в текущем билдах размер и статус дерева кода приобретает одинаковый размер и разворачивается, если прежде был свёрнут, после восстановления рабочей области. Поэтому никак не могу сказать, что раньше была какая-то проблема. То есть ничего не исправлено, а значит и балл давать не за что.
Database Connection Options 1 из 1 возможного
* The error that is shown on trying to add a new database connection type with the existing connection type name is no longer handled by EurekaLog.
Ошибка, показываемая при попытке добавить новый тип коннекта к базе с существующим именем, больше не сопровождается логированием встроенного обработчика ошибок.
Для воспроизведения бага необходимо в опциях коннекта к базе попытаться добавить одноимённую запись в список "File / Connect to Database / Oracle Database Connection / Options / Connection Settings / Database Type / Name". Сообщение об ошибке стало более понятно юзеру и не предлагает отправить отчёт в техподдержку. Но формулировку в RNs стоило переделать с понятной программисту на доступную к пониманию обычному юзеру. Ведь новый триальщик, например, абсолютно не в курсе при чём тут EurekaLog и исследуемое приложение CS. Но не буду так строго придираться к тех.писательнице и снимать за это баллы, потому что она не исправляет свои более важные опечатки.
Code Metrics 0 из 1 возможного
* Script tags are no longer duplicated and subprogram names are no longer missing from the code metrics results exported to an XML file.
Тэги скриптов больше не дублируются и имена подпрограмм больше не пропускаются в файле экспорта результатов метрик кода в XML.
В качестве тестовых данных возьмём проанализированный скрипт с телом пакета или объектного типа, содержащий несколько функций и процедур в качестве подпрограмм. Из закладки "Script: Editor and Analyzer Info / Code Metrics" в прошлом и текущем билдах сделаем экспорт результатов анализа в XML-файлы. Далее любым помощником по сравнению файлов сделаем вывод об исправлении. В моём случае замечено, что убран блок пути к скрипту в дереве проекта и ремарка. В остальном все тэги идентичны. Поэтому никак не могу засчитать исправленным нечего.
Database Connection Window 1 из 1 возможного
* Changing the state of the "Auto connection" check box now works correctly without the need to log into a database.
Изменение статуса опции автоконнекта теперь работает корректно, без необходимости входа в базу.
Слово "correctly" в формулировке правки - лишнее, но за это не буду строго снимать доли балла, хотя стоило бы (поясню позже). По моим тестам значение чекера сохраняется на закрытии окна без выполнения коннекта к базе и восстанавливается при следующем открытии формы. А вот отработку функционала можно было бы назвать правильным, только если бы при открытии формы коннекта для первого подключения (не для смены в мастере импорта или линковки скриптов проекта) в хинте или названии экшена была бы указана дефолтная строка подключения, а сам коннект к базе проходил автоматически, без необходимости кликать кнопку "Connect". Именно так я понимаю корректную работу. А может другой юзер ожидает ещё чего-то иного.
Project Summary 0.8 из 1 возможного
* When no project is loaded, all Summary tab features are unavailable.
Когда не загружен ни один проект все фичи закладки итогов недоступны.
В прошлом билде, также как и в текущем, доступна настройка панелей закладки: видимость и скрытие, сворачивание, изменение размеров или списка полей. Все экспорты из пустых таблиц давно отключены. Но мне удалось найти пару пунктов в правилах кодирования и один в трендах, которые не могут быть исполнены для пустых данных. Поскольку формулировка весьма пространная, то полный балл дать никак не могу.
Analysis Log Manager 1 из 1 возможного
* Fixed the look and feel of the Analysis Log Manager when there's only one report in the list.
Зафиксирован внешний вид мэнеджера логов анализа, когда в списке только один отчёт.
В качестве тестовых данных лучше создать новый проект и проанализировать его единожды. В мастере списка логов анализа "Code Analysis / Analysis Logs" выберем фильтр по текущему проекту. При открытии этой формы в предустановленном режиме в позапрошлом билде одна строка вполне себе подсвечивается, хоть и с чёрным шрифтом на синем фоне, но данные видны. А вот в прошлом билде графика действительно сильно пострадала, видимо из-за замены интерфейсного элемента со стандартного от Delphi/Windows на самописный от ConquestSS. На бледно-голубом фоне (режим темы "View / Theme = Windows") были сплошные чёрные квадраты вместо символов. Текущий билд скорректировал подсветку единственной строки до видимого режима.
Startup Window 0 из 1 возможного
* Fixed the look and feel of the progress bar shown in the second instance while code analysis is running in the first instance. Relevant for the subscription type of license.
Исправлен внешний вид плиты прогресса (в простонародье - "градусник"), показываемой во втором запущенном приложении, пока анализ кода проходит в первом. Актуально для лицензии по подписке.
Сильно сомневаюсь, о каком конкретно градуснике идёт речь. Окно старта приложения имеет градусник окончания лицензии. А процесс анализа отображается на своём окне, дублируясь на кнопке приложения в панели задач операционной системы. Никаких проблем с отображением обоих градусников не было замечено в предыдущем билде. Поэтому пункт RNs можно считать припиской и не давать балл.
Link Manager 0+0.8=0.8 из 2 возможных
* Removed the ability to add new files and database objects.
Убрана возможность добавлять новые файлы и объекты базы.
Поскольку физически мастер линковки и импорта файлов или объектов базы в проект является единой формой, то большинство экшенов у них едины. В контекстном меню дерева файлов этого окна был и остался экшен "Add", который благополучно добавляет в проект файл. Объекты БД никак нельзя было добавить в проект через мастер линковки. Это значит, что пункт RNs - пустышка, не позволяющая увеличить баллы билду.
Глобальный вопрос - а вообще зачем убирать то, что полезно или удобно?
* Removed the ability to select multiple objects and the whole database object tree.
Убрана возможность выбирать несколько объектов и всё дерево объектов базы.
В дереве объектов базы нет чекеров для выбора позиций, а иными интерфейсными операциями (мышь или комбинации клавиш клавиатуры) никогда нельзя было выбрать более одной позиции в дереве объектов. Убран лишь пункт "Select All" из контекстного меню. За такое смутное описание фикса дам не полный балл.
New Project Assistant / Import Wizard 0+1=1 из 2 возможных
* ClearSQL no longer stops working on trying to abort the import of the items that were not fully retrieved from the database.
Приложение больше не останавливает работу при попытке прервать импорт значений, которые были не полностью выбраны из базы.
Изменение касается нагрузочного тестирования. На малых величинах базы не получится воспроизвести баг. В качестве тестовых данных лучше взять пакеты системной схемы SYS, поскольку их обычно достаточно много даже в минимальной установке базы. Иначе, в помощь будет слабое соединение с базой, дающее порционные потоки данных с задержками. В таких случаях интерфейс CS покажет градусник и кнопку Break для процесса выборки данных из базы, спустя пару-тройку секунд, то есть запросы к базе можно прерывать. В мастере создания проекта или импорта объектов в проект есть два шага по обращению к базе: заполнение левого дерева и добавление выбранных позиций левого дерева базы в правое проекта. В прошлых билдах, к счастью, а может и к сожалению, мне не удалось получить остановку приложения на прерывании выборки объектов ни при заполнении левого дерева мастера, ни при переброске объектов из базы в проект. Аналогично работает CS и в текущем билде. Поэтому у меня нет никаких оснований отметить исправление исполненным.
* Fixed the ability to break the "Select All" action in the database object tree.
Зафиксирована возможность прерывать действие по отмечанию всех объектов в дереве базы.
В контекстном меню левого дерева объектов есть пункт для отметки всех видимых нод и их вложенных объектов для последующего импорта объектов в проект. Поскольку этот процесс достаточно долгий, то имеется соответствующее предупреждение, спустя пару секунд показывается градусник процесса и появляется кнопка для прерывания. В прошлых билдах кнопка называлась Break и никак не реагировала на нажатие, то есть юзер вынужден был остаться ни с чем и закрыть окно по крестику, либо долго-долго ждать окончания выборки. В текущем билде кнопка переименована в Abort, и процесс благополучно прерывается по первому нажатию на неё.
Export Wizard -0.5 из 1 возможного
* Removed the "Yes to All" and "No to All" buttons from the warning message shown when the exported script or diagram already exists in the target folder.
Убраны кнопки согласия и отвергания действий для всех последующих случаев из предупреждающего сообщения, показываемого при экспорте скриптов или диаграмм, уже существующих в принимающей папке.
Физически мастера экспорта диаграмм или скриптов являются единой формой, поэтому некоторые функциональности в них программист исправляет сразу для обоих окон. Но тетсировщик обязан проверить новое поведение в обоих модулях. Экспорт скриптов доступен из главного меню, дерева проекта и из окна редактора кода. Экспорт диаграмм доступен из главного меню, дерева проекта и из всех закладок с результатами анализа в виде диаграмм. Вы можете исполнять экспорт по любому из трёх путей, от этого результат теста не зависит и не может быть коэффициентом для комбинаторики. Соблюдайте только формат диаграмм и выгружаемых скриптов (эти параметры перенастраиваются в самом мастере экспорта). Для текущих тестов нет смысла включать в параметры pairwise-test варианты диаграмм или тип скрипта с его псевдокодом. Но если вы хотите пройти комплексный тест с выявлением багов, то не стесняйтесь. У меня, например, получился половинчатый результат по текущему исправлению: при экспорте скриптов всё ещё есть кнопки для всех последующих совпадений, а при экспорте диаграмм кнопки действительно убраны. Также выявлен баг отсутствия возможности экспортировать диаграммы Flowchart с закладки "All Flowcharts", если сама закладка только что была визуализирована и в дереве диаграмм выбрано несколько объектов. Но это довольно редкое сочетание юзерских действий и исправляется перезагрузкой приложения, поэтому не буду снижать баллы билду. За половинчатое решение могу дать лишь полбалла. Но кардинально удаление полезных кнопок ухудшает юзабилити, поэтому за его наличие сниму балл. Итого, -0.5 балла.
Export Summary Tables 0.5 из 1 возможного
* The error message that appears when no MS Excel is installed is no longer duplicated.
Сообщение об ошибке, появляющееся при отсутствии установленного MS Excel, больше не дублируется.
В системных требованиях к CS никогда не было пункта об обязательном наличии установленного табличного редактора, поскольку его библиотеки используются только при экспорте данных анализа в XLS-формат. С уверенностью не могу сказать, почему сообщение об ошибке раньше появлялось два раза, но эта проблема очень-очень давнишняя. Об этом известно только программисту, писавшему код CS. По этой же причине не могу посоветовать вам, как минимальными средствами сделать вид, что на машине отсутствует инсталляция Excel. На сегодняшний день машины с Windows OS, но без MS Office - огромная редкость. Исходя из конфигурации тестового стенда авансом за исправление дам полбалла.
GUI 0.5 из 1 возможного
* If the caption of a UI element, such as column header or item, is not fully visible, pointing to it now shows a hint with the full name.
Если заголовок интерфейсного элемента, например, подпись колонки или позиции, не полностью виден, то позиционирование на нём теперь показывает хинт с полным наименованием.
Модуль "юзерский интерфейс" - это всё приложение CS. Представляете сколько элементов в нём? Одних только типов более сотни, а уж вариаций и месторасположений - миллионы. Проверить все - абсолютно нерешаемая задача, поскольку им надо как-то умудриться придать маленький размер. Даже если подключить автоматизацию, хорошо понимающую не только стандартные Windows, Delphi интерфейсные компоненты, но и их производные от программистов ConquestSS, то проверки займут годы. На вскидку, могу предложить тест такой: в таблице с метриками кода уменьшить ширину любого столбца с длинным наименованием. Да, хинт с полным наименованием колонки появляется только в текущем билде. Но за формулировку RNs, подразумевающую фразу программиста "тестите всё", полный балл никто из тестировщиков никогда не даст.
Project Backup 1 из 1 возможного, -1 за баг
* Fixed the visibility of the "Display password" check box in the dark theme.
Зафиксировано отображение опции показа пароля в тёмной теме.
Рабочая область CS подразумевает цветовую настройку "View / Theme / Charcoal Dark Slate". Если в тёмной теме открыть окно "File / Project / Back Up Project", то в прошлых билдах подпись опции для показа пароля не различима. В текущем билде проблема исправлена. Аналогичная ситуация с такой же опцией и в окне "File / Project / Restore Project from Backup". Изменение тем доступно давно, но почему этот баг исправлен только что? Скорее всего команда ConquestSS абсолютно не тестировала свою реализацию, а интерфейсную погрешность заметил кто-то из новеньких конечных пользователей.
В рамках комплексного тестирования у меня выявилась проблема "Cannot change Visible in OnShow or OnHide." при смене тем и последующая занятость проекта при всех закрытых приложениях. Второй раз получить аналогичный баг не удалось. Поэтому о причинах ошибок могу лишь догадываться. Графика с результатами анализа - это не приемлемый активный интерфейс на момент смены темы приложения, потому что CS путается в своих данных и UI-элементах. Поскольку мне пришлось несколько раз перегружать приложение для его стабильной работы, то сниму балл за баг.
Oracle Libraries 0.5 из 1 возможного
* Scripts that are part of an Oracle Library can no longer be edited or deleted separately from the whole library.
Скрипты, являющиеся частью библиотеки Oracle, больше не могут редактироваться или удаляться отдельно от библиотеки.
Мне, как хорошему знатоку базы данных Oracle и приложения CS, известно три варианта библиотек Oracle: объект базы (CREATE/ALTER/DROP LIBRARY - не поддерживаемые в CS выражения), служебные файлы базы (oci.dll, oci.lib, oraocci.sym и другие подобные, которые использует CS в момент подключения к базе и при последующем обмене данными), библиотеки приложения Oracle Forms (файлы с расширением "pll", которые могут быть частью проекта CS). Скорее всего в данном фиксе речь идёт о третьем типе, пример которого есть в папке демо-проекта "Demo Project\Oracle Forms and libs\OFGCALL.PLL". В прошлых билдах скрипты из этой папки невозможно было удалить по-одному, но мульти-выборка запросто удаляла несколько выделенных. Также доступно было редактировать код. В текущем билде также становится активным пункт для удаления нескольких скриптов, но фактически удаления не происходит, и сопровождается это поясняющим сообщением. А вот с редактированием ситуация совершенно не понятная: нигде в статусной строке или ином месте нет указания, что редактор кода закрыт на модификацию текста, но любые нажатия значимых клавиш не меняют текст и не поясняют причин отказа работать. Такое юзабилити резко снижает стоимость правки.
Toolbar Customizer 0 из 1 возможного
* A newly added toolbar icon is now located correctly.
Вновь добавленная иконка тулбара теперь позиционируется корректно.
Полагаю, что недавно изменённая сортировка исходного списка кнопок слева в алфавитном порядке сыграла злую шутку с программистом, и она автоматически применялась к готовому списку справа. Ещё при тестировании прошлых изменений в настройке тулбара и применении изначальных установок рабочей области было подмечено, что кнопка анализатора, например, в одних версиях CS всегда позиционировалась на первом месте, а в других - на последнем месте главного тулбара приложения после перезагрузки. Из текста RNs лично мне не совсем понятно, о каком из трёх изменений речь: либо это позиция кнопки в мастере настройки тулбара после переброса или перетаскивания из левого списка в правый, либо синхронизация позиции кнопки на тулбаре со списком мастера настройки, либо последующее позиционирование кнопки, когда мастер настройки закрыт или приложение перезапущено в рамках текущей версии или сразу после открытия прошлого билда. Проведём все три типа тестов: функциональный, интеграционный, обратная совместимость. Мои исследования показали, что ни в функциональном, ни в интеграционном плане ничего не изменилось, работа идёт идентично в обоих билдах, без проблем, в ожидаемом режиме. А вот если сделать любую настройку тулбара в прошлой или текущей версии, а затем открыть приложение в другой (текущей или прошлой) версии, то кнопка запуска анализа стабильно нелогично самопроизвольно занимает последнюю позицию. То есть, даже не смотря на то, что для каждой версии теперь хранятся собственные настройки тулбара, но кнопка анализатора в них как-то обособлена. Из вышеописанного заключаю, что фикс никак не сделан.
Online Support Desk 1 из 1 возможного
* The "Reply to message" toolbar button is no longer active when an empty folder is selected.
Кнопка для ответного сообщения больше не активируется, когда выбрана пустая папка.
Поскольку модуль OSD состоит из двух частей - переписка с техподдержкой и автоматическое обновление приложения, то в данном случае тестировать надо только мессенджер. Сам мессенджер тоже состоит из двух типов окон: список сообщений и редактор одного письма. Ориентируя вас на требуемое для теста окно, скажу что это левое дерево папок в окне со списком всех сообщений. Экшен ответа на сообщения существует в виде пункта контекстного меню правого списка и в виде кнопки на тулбаре. Но почему-то в меню статус интерфейсного элемента определяется по наличию записей, а в тулбаре этот же экшен не синхронизировался.

Итого по билду: набрано 5.4+9.1=14.5 баллов из 11+21=32 возможных, что составляет 14.5/32=45% готовности билда, а за баги придётся снять ещё -0.8-1=-1.8 балла.