среда, 22 января 2020 г.

ТО о CS 9.2.1.136

Тест-отчёт о ClearSQL 9.2.1 (build 136), выпущенном 15 января 2020 года, основан на Release Notes и его кратком списке "What's New?" (доступен через главное меню "Help / Release Notes").  Судя по количеству пунктов RNs за месяц с момента публикации последнего билда предыдущего минора сделано очень много, но рассмотрим подробнее каждый фикс и новшество.

IMPROVEMENTS 0.3+3.5+2+1.8+0.5+0+0.5+0.8+1+0.8+0.8+1+0.9+0-1=12.9 баллов из 1+5+3+3+1+1+2+1+1+1+1+1+1+1+1=24 возможных, -2 балла за баги
Core 0.3 из 1 возможного
Projects are now automatically saved after being updated to a new version.
Проект теперь автоматически сохраняется после обновления до новой версии.
Полагаю, что под обновлением имеется ввиду проект, а не приложение. Для теста нам нужен проект, созданный в предыдущих версиях CS (например, 6 или 7), но ещё ни разу не открывавшийся в текущей версии CS. При открытии такого проекта в предыдущем билде появлялся диалог для подтверждения конвертации, теперь же в трейе выскакивает примечание без возможности отменить или подтвердить конвертацию. 
Конвертация проекта без сохранения
Но никакого автоматического сохранения проекта при этом не происходит, как и ранее. Это значит, что тех.писательница описала какое-то иное усовершенствование. А этому могу дать лишь 0.3 балла. Также стоит отметить, что подобное изменение вполне можно квалифицировать ухудшением юзабилити, так как задержавшись в углу трейя на несколько секунд предупреждение может так и остаться незамеченным юзером. Впрочем, об этой проблеме будет сказано подробнее чуть позже.
New Project / Import Wizard 0.5+0.8+0.5+0.8+0.9=3.5 из 5 возможных, -0.5-1.5=-2 за баги
* Redesigned work and user interface of the Import Wizard:
Переделана работа пользовательского интерфейса в мастере импорта.
Пять следующих подпунктов в мастере импорта скриптов и объектов в проект рассмотрим по отдельности.
Renamed the "Add" button to "Add&Link" and added the "Add" option to the drop-down menu.
Переименована кнопка "Добавить" в "Добавить и Слинковать" и добавлена опция "Добавить" в ниспадающее меню.
Разработчики CS опрометчиво посчитали, что пользователи продукта чаще создают проекты на линкованных объектах и не сделали импорт по аналогии с анализом настраиваемым - с линкованием или без. Это серьёзная недоработка аналитиков. Пользователи CS, которым известна вся опасность от синхронизации линкованного проекта с исходниками, особенно при отправке проанализированных скриптов в исходники, для безопасности в большинстве случаев создают проекты без линковки. Да, за счёт такого интерфейсного объединения двух кнопок в одну увеличился размер дерева объектов, но усовершенствование более тянет на ухудшение, нежели на улучшение. Также тех.писательница опрометчиво использовала термин option вместо action или feature, что серьёзно путает понимание юзера. Поэтому даю лишь 0.5 балла.
Added the ability to import items and remove them from the Project Tree by double-click and using drag&drop.
Добавлена возможность импортировать пункты и удалять их из дерева проекта по двойному клику или перетаскиванием.
Очень хорошее удобство реализовано, но к сожалению не описано в хелпе. К тому же, перетаскивание папок работает, а двойной клик по ним ничего не даёт. Поэтому новшество заслуживает только 0.8 балла.
На этом этапе выяснилось, что файлы и объекты базы потеряли чеккеры для выборки на импорт, что уменьшило возможность группового импорта. За такое отрицательное юзабилити можно снять полбалла.
Removed the "Link/Relink" buttons and added these options to the pop-up menu.
Убраны кнопки линковки и перелинковки, и эти опции добавлены в контекстное меню.
Могу согласиться, что линкование при импорте не является первоочередной функцией. Но немного обескураживает факт доступности фичи, когда тип выделенных нод не совпадает, то есть в одном дереве курсор стоит на папке или несколько нод выделено, а в другом дереве подсвечен лишь один скрипт. Опять же, тех.писательница использовала термин option вместо action или feature, что сильно смущает обычного юзера. И этот пункт прибавляет билду только 0.5 балла.
Removed the customization of how the items are selected. Now items are imported exactly the way they are organized in the source.
Убрана настройка выбора элементов. Теперь все ноды импортируются в точности так, как они структурированы в исходнике.
Это изменение больше не позволяет импортировать часть объектов с их верхней папкой, а в остальном его можно считать положительным: рабочего места стало больше, пропала путаница и сложная логика выбора иерархии нод. На полный балл новшество не тянет.
А ещё, в процессе тестирования предыдущих пунктов выявился баг интерфейса. В дереве импортируемых файлов есть чеккеры у папок. Если их включить и выключить, то после импорта и удаления других выбранных папок на первоначальных чеккерах устанавливается промежуточное состояние. Если показать на примере, то
1. Ставим чеккеры на ноды А, В, Д.
2. Снимаем чеккеры с папок А, В, Д.
3. Ставим чеккеры на папки Б, Г.
4. Нажимаем кнопку "Add and Link".
5. Перетаскиваем поочерёдно папки Б и Г из правого дерева в левое.
6. В левом дереве обнаруживаем, что чеккеры папок А, В, Д приняли третье состояние частичной выборки вложенных подпапок и файлов.
А в дереве объектов базы идентичные действия приводят к весьма неприятному и неожиданному результату, когда вместо двух папок с десятком объектов импортируются все папки схемы со всеми сотнями или тысячами объектов в них и даже те, папки которых не трогались, а случается и из соседних схем объекты залетают в импорт. За такие баги стоит снять -1.5 балла.
Added the "Use Schema Name as Prefix" and "Include Object Owner" commands to the pop-up menu and removed the "Import to Project Tree" group box.
Добавлены команды префиксования именем схемы и включения владельца объекта в контекстное меню, а их группа опций удалена.
Соглашусь, что такие настройки редко меняются и их достаточно иметь в легкодоступном меню. Усовершенствование добавляет билду неполный балл, поскольку в хелпе нет этих примечаний.
Diagrams (Flowcharts, Call Trees, CRUD Matrices) 0+1+1=2 из 3 возможных
Diagram object trees are now populated much faster.
Дерево диаграмм объектов теперь формируется намного быстрее.
Большинство закладок с графическими результатами анализа кода состоят из двух частей - дерева диаграмм или объектов и самих рисунков/таблиц. В данном фиксе речь идёт о левой части закладок - дереве, которое формируется при смене локализации курсора в главном дереве проекта или при открытии закладки с результатами анализа. Для тестирования нам понадобится проект и скрипт с большими количествами диаграмм и матриц. Записываем на видео формирование деревьев диаграмм и матриц на всех закладках проектного и скриптового уровней в прошлом и текущем билдах. При проигрывании записей отмечаем время для сравнения. Таков тест производительности. Мои результаты тестов на больших количествах диаграмм и матриц не различаются с прошлым билдом, поэтому не могу дать балл.
Highlighting in SVG diagrams is now enabled by default.
Подсветка диаграмм в SVG-формате теперь включена по-умолчанию.
Поясню: опция подсветки настраивается в "Analyze / Code Analyzer Options / Diagram Options / Flowchart / On mouse over: highlight connected elements (SVG type only!)" и "Analyze / Code Analyzer Options / Diagram Options / Call Tree / On mouse over: highlight connected elements (SVG type only!)", а для возврата к дефолтным настройкам достаточно их обнулить по кнопке Reset или удалением файла, имя которого имеется в заголовке окна настроек анализатора. Это изменение стоило сделать давно, когда дефолтным форматом диаграмм был принят SVG.
Added the quick filter to the object trees in the "All Flowcharts", "All Call Trees", "CRUD2", "Flowchart", and "Call Tree" tabs.
Добавлен быстрый фильтр в дерево объектов на перечисленных закладках проектного и скриптового уровней.
Странно, что этого не сделали изначально при введении функции быстрой фильтрации. В одном из прошлых билдов функционал быстрого фильтра уже тестировался, поэтому всего лишь упомяну, что все пункты аналогичны.
Diagrams (Flowcharts/Call Trees) 1+0.8+0=1.8 из 3 возможных
Removed the "All Diagrams" option from the pop-up menus of the diagram tabs.
Убрана опция всех диаграмм из контекстного меню на закладках диаграмм.
Стоит пояснить, что эта опция отображения всех диаграмм распространяется только для выбранных нескольких диаграмм в дереве. При этом в области картинки дублируется список диаграмм, а область картинок теперь всегда отображает все диаграммы, то есть убирая опцию её включили перманентно. Если у вас возникнут сомнения на счёт дублирования списка диаграмм, то успокою вас тем, что второй список имеет ссылки на соответствующие картинки для быстрой навигации.
All diagrams are now always shown if multiple objects are selected; in a report; in an HTML-file opened in a browser.
Все диаграммы теперь всегда отображаются при многочисленном выборе объектов в интерфейсе, отчёте и открытом в браузере html-файле.
Этот пункт RNs является дополнением предыдущего. Нам остаётся только проверить проектный отчёт и отображение диаграмм во внешнем браузере. Примечание: экспорт диаграмм в html-формат остался по функционалу неизменным, то есть каждая диаграмма экспортируется в отдельный файл. По поводу отчёта по проекту не могу сказать, что новшество улучшило отображение диаграмм в отчёте, потому что это уменьшило размер окна с текущей диаграммой. Поэтому балл снижу.
Diagrams are now shown much faster when multiple objects are selected.
Диаграммы теперь отображаются намного быстрее, когда выбрано несколько объектов.
Поскольку теперь нет переключения между отображением одной диаграммы или всех из-за удаления опции по первому пункту RNs текущей группы, то объективный тест производительности проделать уже невозможно. Поэтому и балл дать нет возможности.
Tray Notifications 0.5 из 1 возможного
Notifications are now shown in the Windows 10 notification area.
Нотификации теперь показываются для Windows 10в её области предупреждений.
В некоторых случаях этот перевод сообщений в трей удобен, но по-моему, в большинстве вариантов всё-таки стоило оставить привычное их появление. Особенно это неудобство заметно стало, когда в списке трейя накопилось множество спама, да ещё и с кнопками для нажатия, например, после экспорта диаграмм, или же в тот момент, когда операционка заглючила и не вывела ни одного сообщения в течение часа, а потом изрыгнула весь список, даже для уже давно закрытых приложений. При этом разработчики с лёгкой совестью переведут стрелки на операционную систему, если по клику уже нечему исполняться. Так что новшество никак не умещается в юзабилити и приносит лишь 0.5 балла.
Code Review Rules 0 из 1 возможного
Redeveloped "Show Suppressed Rule Violations" to "Hide Suppressed Rule Violations."
Переделан показ скрытых случаев правил в их прятание.
Не смотря на то, что мне известен функционал скрывания правил кодирования, но по столь скудному описанию RNs я никак не могу понять, что и где изменено, а также как такое тестировать. Поэтому билд недополучает балл.
Export Wizard 0+0.5=0.5 из 2 возможных
The Pseudocode Wizard now shows only scripts with pseudocode comments.
Мастер псевдокода теперь показывает только скрипты с комментариями псевдокода.
Разницы в отображении скриптов в мастере псевдокода не выявлено между текущим и предыдущим билдами. Ещё более странным является причисление пункта RNs про псевдокод к группе мастера экспорта, потому что экспорт скриптов и диаграмм производится во внешние файлы, которые позже открываются внешними для CS редакторами. Такая путаница со стороны тех.писательницы не приносит билду балл.
Added the ability to open the target folder from the notification shown after export is completed.
Добавлена возможность открывать папку с экспортированными объектами через нотификацию об окончании экспорта.
В рамках одного из предыдущих тестов про трей операционки о факте реализации усовершенствования уже было упомянуто.
Pseudocode 0.8 из 1 возможного
Removed the ability to turn on/off the generation of pseudocode comments. Pseudocode is now always generated by default.
Убрана возможность переключения генерации комментариев псевдокода. Псевдокод теперь генерится всегда по-умолчанию.
Мне потребовалось немало времени, чтобы понять смысл новшества. На самом деле никаких изменений в редакторе кода, мастере псевдокода и его диаграмм нет, а всего лишь убрана опция "File / Preferences / Project Analysis / Generate Pseudocode". То есть теперь при анализе скрипта по специальным комментариям всегда генерится псевдокод. Всего лишь маленькая приписка от тех.писательницы о том, что анализ скрипта теперь по-умолчанию обрабатывает служебные комментарии, могла бы позволить дать за изменение полный балл.
Project Report 1 из 1 возможного
If a diagram or matrix is not included in the report, it is now indicated in the script status hint.
Если диаграмма или матрица не включена в отчёт, то она теперь отмечена в хинте статусов скрипта.
Настройки отчёта позволяют формировать его без картинок, то есть страниц с диаграммами. Это регулируется в группе "Project Report Assistant / New Report / Code Audit Options / Code Audit / Diagram Options" для облегчения отчёта по скорости формирования и объёму. Статусы скрипта в отчёте отображаются в дереве проекта и в правом верхнем углу основной страницы каждого скрипта. К хинту каждой иконки префиксовано выражение о недобавленных диаграммах и матрицах, а страница CRUD2 проектного уровня нигде не отображается без дополнительных подсказок.
Project Report Assistant 0.8 из 1 возможного
Added the "Yes to All" and "No to All" buttons to the confirmation message shown on deleting multiple reports.
Добавлены кнопки для подтверждения и отказа всех удаляемых отчётов в сообщение.
Тех.писательница не уточнила, но подозреваю, что имеется ввиду работа со списком готовых отчётов на странице "Project Report Assistant / Report History". Поскольку этот список является самостоятельной базой данных и удаление строки из него не обязательно означает физическое удаление файлов отчёта с диска хранения, то удаление одного или нескольких отчётов из списка сопровождается диалогом для подтверждения об оставлении или удалении соответствующих файлов. Но тех.писательница не права, сказав про момент удаления отчётов вместо факта отсутствия файлов при наличии строки отчёта в базе. То есть вместо фразы "on deleting multiple reports" надо было написать "for deleted report files on window opening". Для тестирования вам не надо фактически удалять файлы готовых отчётов, достаточно переименовать их папку в месте хранения, стандартно "%AppData%\Roaming\ClearSQL\Data\[Project_Name]\Reports\", а потом открыть мастер отчётов. Неполный балл даю из-за недостоверного описания.
Main Toolbar 0.8 из 1 возможного
The main toolbar icons no longer blink when the toolbar is being customized.
Иконки главного туллбара больше не мигают, когда туллбар перенастраивается.
На самом деле под миганием подразумевается перерисовка интерфейса, которую невозможно аннулировать совсем. Фикс, а не усовершенствование, всего лишь уменьшил длительность перерисовки экрана. Также во время тестов меня смутил факт того, что комбинации кнопок главного туллбара различны для предыдущего (9.1) и текущего (9.2) миноров. Два замечания дают право снизить балл.
Summary Info 1 из 1 возможного
Added a quick filter to "Summary > Code Review > Top Violated Code Review Rules."
Добавлен быстрый фильтр для списка основных нарушений правил кодирования.
Как уже ранее говорилось функция быстрой фильтрации добавлена в некоторые списки. Но на этой закладке теперь два типа фильтрации - по стандартному списку и по вводимым юзером символам.
Structure View 0.9 из 1 возможного
"Structure View > DML Analysis" now shows more detailed analysis information.
Информация о результатах анализа DML теперь показана более детально.
Для теста достаточно сравнить любой из скриптов демо-проекта с имеющимися DML выражениями. В детали теперь, кроме самой команды, попадает всё содержимое означенной строки кода. Но возможно текст тех.писательницы обещает нечто иное, например, какую-нибудь дополнительную расшифровку. Поэтому не могу оценить изменение в полный балл.
Global Search 0 из 1 возможного
The search results list is now reopened on the second click in the search field.
Список результатов поиска теперь переоткрывается на втором клике по полю поиска.
По такому описанию усовершенствования никак не понять смысл изменения, да и функционал в предыдущем и текущем билдах однообразен. И список введённых символов для поиска, и результаты поиска появляются одинаково. Так что либо тех.писательница подобрала неточные термины, либо программист неточно пояснил ей изменения функционала. Поэтому не могу дать ни балла.
Toolbar Customizer -1 из 1 возможного
Applied alphabetic sorting to the toolbar button names on the list.
Применена сортировка по-алфавиту для имён кнопок туллбара в списке.
Настройщик туллбара состоит из двух списков кнопок: левый - исходники, правый - результат выборки. Ранее левый список был разделён на логические группы и имел несколько разделителей. Теперь же он является сплошным списком, отсортированным по алфавиту наименований, что совершенно нарушает логику функциональной совместимости близлежащих элементов. Так что, это изменение является облегчением только для программиста, а для пользователя - явным ухудшением юзабилити. Поэтому я в праве отнять балл вместо добавления.

BUGS FIXED 2+0.8+0+0.7+0+1.3+0.8+0+0.9+0+0+0+0+0.5+1+0.8+0+1=9.8 баллов из 4+4+3+4+2+3+1+3+3+1+1+1+1+2+1+1+1+1=37 возможных, -0.2-0.5-1-0.3-0.5=-2.5 баллов за баги
Project Tree 0.8+0.9+0.3+0=2 из 4 возможных
Added an indicator that scripts from Oracle libraries/forms cannot be moved outside the library/form.
Добавлен индикатор скриптам из числа библиотек и форм Oracle, которые не могут быть удалены из библиотек и форм.
Странно, что это новшество в числе фиксов багов. Для теста воспользуемся демо-проектами для предыдущего и текущего билдов. Визуально никакой разницы не бросается в глаза. Лишь при попытке переместить перетаскиванием какой-нибудь скрипт из папки Oracle Forms в другую папку проекта мне удалось понять смысл фикса. Иконка скрипта при перетаскивании не изменяется со "стоп-сигнала" на "листик", поскольку такой переброс запрещён. Запутанное описание фикса не увеличивает билд на полный балл.
Fixed the ability to drag&drop multiple scripts into a folder or Recycle Bin.
Зафиксирована возможность перетаскивания нескольких скриптов в папку корзины.
Изменение функционала более похоже на усовершенствование, потому что теперь появилась возможность перетащить в корзину несколько выбранных скриптов, а не только один. Такое примечание снижает стоимость.
The parent node no longer stays checked when its child items are deleted.
Родительская нода больше не остаётся отмеченной, когда её дочерние элементы удалены.
Дочерними элементами папки могут быть скрипты и подпапки. Выбором папки наверно в этом случае считается установленный чеккер в её чек-боксе, а выбором скрипта является его курсорная подсветка. Для теста нам понадобится свой проект с различным содержимым папок (только скрипты, скрипты с подпапками, только подпапки, которые не обязательно должны быть с содержимым). Поскольку удалённые элементы могут быть сложены в корзине, из которой доступно восстановление, то вполне можно обойтись единственным проектом для старого и нового билдов. В предыдущем и текущем билдах родительская нода, в которой есть только скрипты, помечается чеккером при выборке всех скриптов. А родительские ноды только с подпапками или смесью подпапок и скриптов не помечаются чеккером при полной выборке поднод. К тому же, в текущем билде даже клик с удерживаемым CTRL не позволяет выбрать две и более подпапки, о чём нигде не указано. А это является явным ухудшением юзабилити. То есть текущий фикс породил регресс. Поскольку исправлена лишь треть заявленного, то и баллов даю столько же.
Fixed highlighting of the imported items.
Зафиксирована подсветка импортированных элементов.
Абсолютно никакой разницы в подсветке импортированных элементов в главное дерево проекта не обнаружено. Поэтому никаких баллов. А вот если бы тех.писательница уточнила, что в копии дерева проекта, расположенном в мастере импорта скриптов, теперь оставлено позиционирование курсора на прежнем элементе, а не перескакивает на вновь импортированные, то билд бы может и заслужил балл.
Code Editor 0+0+0+0.8=0.8 из 4 возможных
Fixed the Code Editor panel in the closed state.
Зафиксирована панель редактора кода в закрытом состоянии.
Видимость панелей с результатами анализатора можно настраивать самостоятельно. Но панель редактора кода никогда не закрывается. Поэтому абсолютно не понятно, что было исправлено, а значит и не за что прибавлять баллы. Тех.писательница что-то намудрила или напутала в описании, тем самым обнулила работу программиста.
Negative error code of the EXCEPTION_INIT pragma is now displayed correctly.
Код отрицательной ошибки прагма-исключения теперь отображается правильно.
Для теста возьмём примеры из документации Oracle. Прошлый и текущий билды отображают строки кода идентично. Ни о какой правильности речи быть не может, поскольку тех.писательница не уточнила, на что надо опираться при проверке. Поэтому билд недополучает балл.
Fixed code folding for external stored programs.
Зафиксирована группировка кода для внешних хранимых программ.
CS предназначен для анализа PL/SQL кода. Что подразумевается под внешними хранимыми программами в данном случае - не совсем понятно. Либо это код действительно внешней программы, текст которой может быть импортирован в проект через файловую систему, но тогда нет никакой гарантии, что код будет действительно на нужном языке программирования. Либо речь идёт лишь о строках поддерживаемого кода с вызовами внешних программ. Либо имеются ввиду единый скрипт с несколькими хранимыми программами, вызывающими друг друга. Если взять примеры из документации Oracle, то никакой разницы в прочерченных скобках нет между прошлым и текущим билдами. Поэтому пункт RNs считаю пустышкой.
Code folding is now available for the script’s DML statements outside of PL/SQL.
Сворачивание кода теперь доступно для DML выражений в скриптах за пределами PL/SQL.
Формулировку тех.писательницы невозможно однозначно понять. То ли речь о каких-то DML выражениях, не входящих в структуру языков PL и SQL. То ли имеются ввиду сложные скрипты, состоящие из PL/SQL блоков и отдельных DML выражений. Для тестов поглядим скрипты "SQL statements #1" и "SQL statements #2" демо-проекта. По ним видно, что сложная структура DML выражений теперь доступна для частичного сворачивания кода. Но за смутное описание билд не добирает полный балл.
New Project / Import Wizard 0+0+0=0 из 3 возможных
The database object tree no longer stays empty once the database connection is done manually.
Дерево объектов базы данных больше не остаётся пустым, когда соединение с базой сделано вручную.
Подозреваю, что под ручным подразумевается коннект к базе, который производится из отдельного пункта главного меню, а не автоматическое подключение при открытии окна нового проекта или импорта объектов в проект. Поскольку никакого обнуления дерева в прошлом билде не наблюдается, то ни о каком исправлении бага нечего и говорить.
The error "Cannot create file" is no longer raised on creating a new project if the filename contains irrelevant characters.
Ошибка невозможности создать файл больше не появляется при создании нового проекта, если имя файла содержит неуместные символы.
Физически проект на диске является файлом и папкой, имена которых идентичны вводимому юзером при создании проекта. Операционная система имеет свои ограничения на имена файлов и папок. На эти правила и стоит опираться. Но никакие примеры не пригодятся, потому что обработка имени проекта производится на первом этапе создания проекта, ещё до фактического создания папок и файлов. Поэтому фикс фиктивный.
Fixed the layout of the UI elements on the "From Database" tab.
Зафиксировано отображение интерфейсных элементов на закладке "Из базы".
Визуально левое дерево при импорте из базы претерпело изменения, проверенные нами ещё в числе новшеств. Не указано лишь перенос влево кнопки настроек. Никакого иного исправления в области отображения элементов выявить мне не удалось, поэтому фикс засчитать не могу.
Project Report 0+0+0+0.7=0.7 из 4 возможных
Flowchart and Call Tree status icons are no longer active unless the diagrams are included in the report.
Иконки статусов диаграмм больше не активируются до момента включения их в отчёт.
Когда недавно тестировался отчёт без матриц и диаграмм можно было приметить, что текущий описанный фикс является фикцией. Если диаграммы нет в отчёте, то её иконка раскрашена обычным образом и клик по ней обрабатывается идентично в прошлом и текущем билдах.
Clicking on an object now correctly shows a relevant diagram when a report page is scrolled to the bottom.
Клик по объекту теперь правильно показывает соответствующую диаграмму, когда страница отчёта прокручена к нижнему краю.
Текст RNs не конкретизирует страницу проекта, местоположение и тип объекта, по которому следует кликать. Поэтому абсолютно невозможно распознать место и смысл фикса. Такое безразличие к исполнению своих должностных обязанностей со стороны тех.писательницы снижает готовность билда к публикации.
Fixed the work of the "Show/Hide header" option.
Зафиксирована работа опции по показу и прятанию заголовка.
Сразу же вас остановлю в поиске настройки о заголовке. Тех.писательница опять опрометчиво назвала функциональность термином option, который имеет двоякое значение. На самом деле работа заголовка проекта заключается в переключении его полной видимости и однострочной. В стандартном браузере никаких изменений не замечено, поэтому вина за нулевой фикс лежит на том, кто умолчал о конкретике исправления.
The error "No mapping for the Unicode character exists in the target multi-byte code page" is no longer raised on report generation.
Ошибка о мапировании юникодных символов на мультибайтовой странице больше не случается при генерации отчёта.
Исходя из смысла текста ошибки для теста нам потребуется проект со скриптами или объектами, в именах которых встречаются юникодные символы. Но скорее всего специфичным в этом случае является тип внутреннего объекта (скрипт, папка или связанный объект), что не упомянуто в RNs. На моё счастье в закромах тестовых проектов нашёлся один скрипт, который порождал описанную ошибку при генерации отчёта. Для точной локализации проблемы нужно слишком много времени. Может быть когда-нибудь позже я его выделю, а сейчас только отмечу исправление, но не полным баллом из-за отсутствия конкретики.
Diagrams (Flowcharts, Call Trees, CRUD Matrices) 0+0=0 из 2 возможных
Fixed the object list panel in the closed state.
Зафиксирована панель списка объектов в закрытом режиме.
Смыслов исправления множество, потому что не ясно о какой закрытости идёт речь. То ли сложенность панели дерева, то ли убирание всей панели диаграмм из области результатов анализа имелось ввиду, но ничто не дало разницы в работе между прошлым и текущим билдами. Поэтому не могу дать ни балла.
Going back to the previous history step when multiple objects were selected now correctly restores the selection in the object tree.
Возврат назад в истории, когда несколько объектов выбрано, теперь верно восстанавливает выборку в дереве объектов.
Подозреваю, что имеется ввиду функционал навигации по скриптам и папкам проекта в главном дереве проекта в качестве шагов по истории, а под деревом объектов подразумевается список диаграмм на каждой из закладок с результатами анализатора. Итак, для теста отметим несколько диаграмм в дереве с результатами анализа, сменим активный скрипт в главном дереве проекта и кликнем на кнопку возврата в главном туллбаре к предыдущему выбранному скрипту. При этом должна активироваться прежняя закладка с результатами анализа и подсвечено прежнее количество диаграмм. Восстановление выборки идентично отрабатывает в прежнем и текущем билдах, поэтому нельзя причислить фикс к текущей версии. Возможно, исправление было сделано не за последний месяц, а раньше, просто в RNs его дописали только сейчас. Но это примечание не позволяет прибавить балл.
Diagrams (Flowcharts, Call Trees) 0+0.8+0.5=1.3 из 3 возможных, -0.2 за баг
Fixed the background color of an active diagram when the UI theme is changed.
Зафиксирован цвет подложки активной диаграммы, когда интерфейсная тема изменена.
Напомню, что в CS можно выбрать одну из пяти расцветок рабочей области "View / Theme / [Aqua Light Slate | Charcoal Dark Slate | Light | Slate Classico | Windows]". Для тестирования откроем любую из закладок с диаграммами и выберем одну (а лучше несколько) из них, затем попереключаем темы рабочей области, подмечая раскраску подложки в дереве диаграмм и в области картинки. Никакой разницы, даже на видеозаписи, не выявлено, поэтому не засчитываю правку. А параллельно выявилась проблема тёмной темы, которая не показывает все выбранные элементы дерева, а только подсвечивает активный. За это сниму, как за старый баг.
Fixed the multiple selection of diagrams when a folder gets into the selection.
Зафиксирован множественный выбор диаграмм, когда папка входит в выборку.
Не могу сказать, что мои случайные клики подтверждают в точности фикс. Для теста была открыта закладка All Flowcharts, в дереве которой первым кликом была выбрана нода диаграммы, вторым кликом с нажатой клавишей CTRL ещё одна диаграмма, а третьим и удерживаемой CTRL - их верхняя папка. В прошлом билде на третьем клике область картинок обнулилась. Это и считаю исправлением - активация папки при множественном выборе диаграмм больше не очищает область картинок. Если бы тех.писательница именно так составила текст RNs, то билд бы пополнился полным баллом.
Diagrams are now correctly shown in the SVG format in Firefox and Chrome.
Диаграммы теперь правильно показываются в SVG-формате в означенных браузерах.
Для тестирования переформируем диаграммы в прошлом и текущем билдах. Затем в настройках приложения "File / Preferences / General / Open HTML with Browser" выберем поочерёдно браузеры и пооткрываем эту диаграмму через контекстное меню "Open in Browser". Теперь открытие диаграмм в Firefox производится благополучно, но в Chrome с запрещённым исполнением Java скриптов всё ещё невозможно увидеть картинку диаграммы. Странно, что в список браузеров не попал MS Edge, в котором тоже был аналогичный баг. Поэтому даю лишь полбалла.
CRUD Matrices 0.8 из 1 возможного
Fixed work of the "Regenerate", "Show Header", and "Show Legend" options.
Зафиксирована работа опций перегенерации, показа заголовка и легенды.
Двоякое значение термина options вынуждает нас тестировать настройки анализатора и интерфейсную закладку с матрицами, отчёт по проекту думаю нет смысла перепроверять. Настройки в "Analyze / Code Analyzer Options / Diagram Options / CRUD" никаких изменений не претерпели. Также не обнаружено каких-либо исправлений в работе перегенерации, добавлении или удалении заголовка и легенды матриц CRUD1 (скриптового уровня). Единственно, на закладке CRUD2 (проектного уровня) замечены изменения в работе тем, что после отработки перечисленных действий из контекстного меню навигация в дереве объектов не перескакивает на первый элемент, а область содержимого матрицы не опустошается, а реально изменяет внешний вид матрицы. Отсутствие уточнения в тексте RNs снижает стоимость фикса.
Export Diagrams 0+0+0=0 из 3 возможных
The "Zoom Diagram" label is now inactive when no zooming is possible.
Лейбла зума теперь неактивна, когда невозможно никакое зумирование.
Зумирование имеет нижний и верхний пределы, выход за которые по-моему является единственным ограничением. Но если вам известны иные условия возможности зумирования, то прошу ими поделиться. Зум приложения имеется в интерфейсе, а в стороннем браузере после экспорта диаграммы работает уже свой зум браузера. Поэтому выбор модуля (мастер экспорта диаграмм) для пункта RNs выглядит очень странно. Эта претензия скорее всего относится к оформителю бага. Функционально в интерфейсе на закладках диаграмм имеется множество способов зумирования: "градусник", кнопки лупы с "+" и "-", пункты выпадающего меню, горячие клавиши. Никакие из них не переходят в статус неактивности при достижении лимита. Поэтому не могу засчитать фикс в той формулировке, как есть. А если бы тех.писательница сказала, что при открытии диаграмм во внешнем браузере зум приложения, перетянутый в заголовок картинки, перестал быть доступным, то можно было бы дать хоть часть балла.
A hand cursor is no longer shown on pointing to a diagram block in SVG format as there is nowhere to navigate.
Курсор-кисть больше не показывается при указании на блок диаграммы в SVG-формате, если от него некуда навигировать.
Интерактивность диаграмм в CS подразумевает автоматическую навигацию из диаграммы на строку кода. Но некоторые блоки дерева вызовов могут быть не связаны с кодом. Именно такие и возьмём для теста. Но результат теста показал иное изменение. Несвязанные элементы имеют одинаковые формы курсора, а вот объекты данных (таблицы, вьювера), с данными которых работает код, обогатились ссылками на матрицу CRUD2 уровня проекта. Это новшество нигде не описано. Фикса в интерфейсе нет, значит и балла не может быть. Если же тестировать диаграмму, экспортированную в HTML-формат, как это приписано модулем, то и этот вариант не показывает наличие исправления. Поэтому балл давать не за что.
Fixed object links in Flowcharts and Call Tree diagrams opened in a browser.
Зафиксированы линки объектов в диаграммах, открываемых в браузере.
Как уже ранее говорилось, CS - интерактивное приложение и формирует отчёт также интерактивный с линками из диаграмм в код. А вот при одноразовом открытии диаграммы во внешнем браузере или после её экспорта в линках на код нет никакой необходимости. Как уже было проверено в предшествующем пункте RNs, экспорт давно формируется без линков. Нам остаётся только проверить открытие во внешнем браузере диаграмм в форматах, отличных от SVG. В них тоже не выявлено никаких изменений, то есть билд недополучает балл.
Toolbar Customizer 0.9+0+0=0.9 из 3 возможных
The dynamic part of the caption is no longer shown for the "Go Back" and "Go Forward" options.
Динамичная часть заголовка больше не показывается для опций перехода вперёд и назад.
Для тестирования создадим данные, кликнув несколько раз по различным интерфейсным элементам рабочей области (ноды в дереве проекта и закладки анализатора), а также по кнопке или горячей клавише (Alt+Right, Alt_Left) для возврата к предыдущему положению курсора. Чтобы проверить фикс откроем мастер настройки главного туллбара и сравним наименования кнопок для перехода по элементам рабочей области приложения. Подписи должны быть короткими, без приписки о последнем шаге. Если бы тех.писательница вместо "the dynamic part of the caption" (термин динамичности заголовка пришёл из словаря программиста, но вполне может быть не понятен юзеру) назвала объект более просто "action name" или "button name" и описала изменение как "unnecessary data of last step is not added any more to the action name in the list of the toolbar customizer", то мне не пришлось бы столь подробно описывать тест.
The error "List index out of bounds" is no longer raised on double-clicking in the Toolbar Customizer.
Ошибка превышения индекса больше не появляется по двойному клику на мастере настройки туллбара.
Поскольку не сказано, в какой именно области окна надо кликать дважды, то пришлось манки-тестить. Но это всё-равно не воспроизвело баг в прошлом билде. Поэтому фикс - фикция.
The error "List index out of bounds" is no longer raised on a moving visible toolbar button.
Ошибка превышения индекса больше не появляется на перемещении видимых кнопок туллбара.
Поскольку сказано о видимых кнопках, то единственным моим предположением является наличие проблемы в правом списке (мастер состоит из двух списков кнопок: левый - исходный по-алфавиту для отбора, правый - выбранные в порядке юзера). Но, опять же, никакие сдвиги не дали мне увидеть баг, то есть фикс - фикция.
Code Analyzer 0 из 1 возможного
An access violation error no longer occurs on trying to analyze a huge project with lots of code comments in scripts.
Ошибка доступа больше не случается при попытке проанализировать огромный проект с большим количеством комментариев в скриптах.
Явно, что необходимо иметь данные для теста производительности. Что такое "огромный проект" и какое количество комментариев можно считать большим? Объём комментариев скрипта можно вычислить по формуле Maintainability Index. А объём проекта для анализатора составляют две величины: количество скриптов в проекте и количество строк в каждом скрипте. Также стоит учитывать объём оперативной памяти и тип анализа с форматированием или без. Дело в том, что после обработки кода парсером, вычленяющим комментарии, и анализатором, структурирующим код по функциональному предназначению, ссылки на строки кода из результатов анализа необходимо расставить правильно, а поскольку анализатор работает с чистым кодом без комментариев, то их возврат в код требует большого объёма оперативной памяти. Список технических условий CS давно не обновлялся, даже необходимый объём свободной памяти (10Мб) с первого билда версии#9 отстаёт от реального, не говоря уже о никогда не замеряемых объёмах проекта и скрипта, которые в ConquestSS называют огромными. Так что, у меня нет никакой уверенности, что какой бы-то ни было проект даст баг в прошлом билде. А значит и не получится подтвердить наличие исправления.
Code Synchronization 0 из 1 возможного
An access violation error no longer occurs on clicking the "Selection Sync Settings" link on the Sync History tab.
Ошибка доступа больше не случается при клике по линку настроек синхронизатора в закладке с историей синхронизаций.
Закладка с историей синхронизаций имеется у каждого скрипта среди прочих с результатами анализа. Данные в ней, а также все интерфейсные элементы, становятся доступны только для линкованных скриптов. В прошлом билде ни для какого скрипта из демо-проекта никаких проблем не случается при клике на линк с настройками. Билд недополучает балл из-за фиктивного фикса.
Link Manager 0 из 1 возможного
ClearSQL no longer hangs on closing the Link Manager when a huge project is used.
Приложение больше не подвисает при закрытии менеджера линковки, когда огромный проект используется.
Опять же, нет никаких пределов и соотношений по размерам проекта. При работе с менеджером линковки и мастером импорта скриптов в проект сильно задействуется оперативная память для отката изменений. Поэтому тестировщикам ConquestSS давно пора опубликовать (а может сначала и составить) соотношение объёмов оперативной памяти, количества скриптов и строк в них, которые способен обработать CS. В своё время аналогичную работу мы проводили для дерева объектов в CDB и рабочих окон в SD. По старо-известному принципу формирования данных для нагрузочного тестирования мне так и не удалось отловить баг в прошлом билде. Поэтому не могу дать балл.
Duplicate Code 0 из 1 возможного
Detected duplicate code lines are now sorted by the number of code lines, in the descending order.
Обнаруженные дублированные строки кода теперь сортируются по количеству строк кода в обратном порядке.
Когда только появилась функциональность по обнаружению дубликатов, мне было не просто понять результаты анализа, поскольку они на первый взгляд сами по себе казались дублированными. И только когда удалось разглядеть мелкое различие в количестве и номерах совпадающих строк, удалось понять пользу правила кодирования. Подскажу, что нам нужно сравнить результаты анализа на закладке Code Review по правилу №182 "Avoid duplicate code". Поскольку по-умолчанию проверке подвергаются более пяти совпадающих строк, то и примеры нужны соответствующие. В демо-проекте вы их не найдёте, но из его скриптов легко можно составить необходимые данные, которые обязательно проанализировать при включенном правиле. Сравнение результатов анализа показало, что никаких изменений не сделано: по прежнему они сортируются сначала по номерам строк кода, а внутри по количеству совпадающих строк в обратном порядке. Поэтому никаких баллов билду прибавить не могу.
Navigation History 0+0.5=0.5 из 2 возможных
The error "Cannot create HTML file" is no longer raised on navigating from CRUD2 to Code Editor using the "Go Back" option.
Ошибка невозможности создания HTML-файла больше не появляется при навигации из матрицы CRUD2 в редактор кода, используя опцию возврата действий.
Матрица CRUD2 из числа проектных, а редактор кода является закладкой уровня скрипта. При этом вместе с редактором кода активируется какая-нибудь закладка с результатами анализа скрипта. Это примечание критично, поскольку в тексте ошибки упоминается HTML-формат, на котором отрабатывают только закладки диаграмм. Так что для пополнения истории кликов тест сделаем так: откроем скрипт и одну из его закладок с диаграммами, откроем закладку CRUD2, нажмём кнопку главного туллбара для возврата к предыдущему элементу рабочего стола. В прошлом билде баг не воспроизводится, а значит нельзя отметить наличие исправления. Вероятно правилось что-то другое, а не описанное.
Ctrl+Click actions are now always recorded in the navigation history.
Действие Ctrl+Click теперь всегда записывается в историю навигаций.
На сколько я знаю, эта спец.комбинация в редакторе кода переводит курсор на вызываемый объект внутри кода и в дереве проекта. Других предназначений этой горячей клавиши на иных закладках я не знаю. поэтому проверять будем только эти варианты. Смена скриптов по горячей клавише и ранее записывалась в историю кликов, а вот внутри кода - добавлено. Также теперь в истории имеются и обычные перемещения по дереву проекта, о чём почему-то тех.писательница умолчала. Фикс сделан наполовину.
Global Search 1 из 1 возможного, -0.5 за баг
The search field is now fully visible after resetting the main toolbar to default.
Поле поиска теперь полностью видно после восстановления главного туллбара к изначальным параметрам.
Восстановлению главного туллбара он подвержен двумя способами: через его контекстное меню и по кнопке в мастере настройки. Внимание! Настройка главного туллбара по-умолчанию не является единственной, взятой при первой установке приложения, поскольку набор и расположение кнопок принимается дефолтным по их расположению всякий раз перед исполнением "View / Reset Workspace to Default". По кнопке же восстановления в мастере настройки туллбара он на самом деле всего лишь откатывается к состоянию до открытия мастера. Так что для чистоты теста откроем приложение, добавим какую-нибудь кнопку в туллбар, а потом выполним Reset to Default из контекстного меню главного туллбара. В прошлом билде окно поиска в правом верхнем углу уезжало куда-то за пределы окна. Но в обоих билдах по прежнему сложно вызвать контекстное меню туллбара из-за хинтов кнопок и большинства кнопок в активном состоянии. Это неудобство оцениваю в -0.5 балла.
Structure View 0.8 из 1 возможного, -1 за проблему
The structure view analysis results are now displayed correctly for projects created in the recent ClearSQL versions.
Результаты анализа для просмотра структуры теперь отображаются правильно для проектов, созданных в последних версиях CS.
С какими правилами справляться в данном случае, сказать никак не могу. Разве что, может результаты совсем не отображались. По крайней мере, этого не уточнила тех.писательница. Для теста нам понадобятся проекты, созданные и проанализированные в недавних версиях CS 8 и 9.0 для 9.1, 9.0 и 9.1 для текущего минора. При простом открытии конвертор проекта ничего не меняет в дереве структуры кода, а вот переанализ этих же скриптов перегруппировывает дерево структуры кода кардинально. Скорее всего это не исправленный баг, а нововведение, которое может серьёзно повредить накопленные данные анализатора у постоянных юзеров CS. Помню, от подобного изменения был великий скандал в группе разработки ConquestSS, когда юзер требовал возврата потраченных средств не только за продукт, но и за его время на восстановление данных. Подобные правки никак нельзя вставлять в билд дерективно, только выбор по опции может предотвратить негативное отношение потребителей к продукту. За неполноценность описания даю 0.8 балла, а за отсутствие о кардинальном изменении функционала сниму -1 балл.
GUI 0 из 1 возможного, -0.3 за баг
Fixed how instant help icons look in the dark theme.
Зафиксировано как иконки встроенной помощи выглядят в тёмной схеме.
Для показа встроенных подсказок (не основного хелпа и хинтов) в интерфейсе CS существует маленькая кнопка с буквой "i" в голубом кружочке. Раньше такая кнопочка была на каждой закладке рабочей области, но сейчас она встречается лишь в таблице с метриками кода и их настройками. Ни скриншоты, ни видеозаписи не показали разницы в пикселях иконки. А вот почти полная невидимость кнопки-стрелки для разворачивания и сворачивания колонок в таблице метрик кода в логические группы явно имеется и до сих пор не исправлена в тёмной теме. Так что, ни балла за фикс, ни -0.3 за выявленный баг билд не добирает.
Main Toolbar 1 из 1 возможного, -0.5 за баг
The command "Reset to Default" is now active only when the toolbar is not in the default state.
Команда восстановления к исходному состоянию теперь активна только когда туллбар не в дефолтном состоянии.
Как уже было ранее сказано, дефолтное состояние главного туллбара отсчитывается от момента последнего возврата (View / Reset Workspace to Default) рабочей области к его дефолтному. Поэтому считаю бессмысленным отключать пункт контекстного меню, с помощью которого единственным образом можно обнулить настройки главного туллбара. Это бесполезное изменение стоило заменить иным, в результате которого настройки туллбара возвращались бы к тем, которые имеются в "нулевом состоянии" приложения, то есть когда CS установлен впервые на машину. Как бы мне не нравилось давать баллы за ненужное, но придётся. Но за нелогичность функционала сниму -0.5 балла.

Итого по билду: 12.9+9.8=22.7 баллов из 24+37=61 возможных дают 22.7/61=37% готовности к публикации за минусом -2-2.5=-4.5 баллов за баги.

вторник, 21 января 2020 г.

Ограниченность

Тестировщики в своей работе очень часто встречаются с ограничениями. Прописанные ограничения являются стандартами, на которые равняются результаты тестов. Начинающие соратники среди первоочередных задач называют проверки граничных значений. Недостаток ограничений всегда можно оформить в предложение.
Про то где и какие уместны проверки ограничений вполне доступным языком рассказала и показала лектор курса начинающих тестировщиков Нина Агеева (тренер курса «Погружение в тестирование. Jedi Point») в видео-уроках. 
К чему может привести отсутствие достаточных ограничений упомянуто на примерах в форуме тестировщиков.
А вчера в магазине случилась беда у кассира с покупателем из-за отсутствия ограничения. Программное обеспечение касс не отображает остатки на складе, поэтому кассир может проставить количество, превышающее имеющиеся и покупаемые позиции. Когда покупатель берёт несколько одинаковых мелких пакетиков, кассир может сканировать каждый из них, либо отсканировать один, просчитать вручную фактическое их количество и ввести это значение с клавиатуры. Но ручное пересчитывание грозит "человеческим фактором", что и произошло на моих глазах. Покупатель, обнаружив опечатку в количестве приобретённых позиций (забрал все остатки с полки, но их число оказалось меньше пробитого в чеке) не только нервничает и возмущается (ругается с персоналом универсама), но и задерживает очередь остальных покупателей для восстановления справедливости. Возврат оплаты и узнать баланс остатков может сделать только карта администратора магазина, то есть всем известное ожидание отражается не только на обманутом покупателе, но и на прочих клиентах. А ведь если кассир не смог бы ввести количество позиций, превышающее остатки, то сразу бы заметил собственный обсчёт и не устроил бы негативную ситуацию, нервы и деньги покупателей были бы в сохранности, впечатление о торговой сети не портилось бы.
Уважаемые тестировщики, пусть ваша ограниченность в знаниях предметной области не становится причиной отсутствия достаточных ограничений в программном обеспечении.

четверг, 19 декабря 2019 г.

Когда кликать QA

Моя статья "Tester's KPI" и участившиеся билды продуктов компании ConquestSS без тестирования сподвигли меня объединить данные обоих исследований и попытаться найти лучшую пропорцию количества тестировщиков и курируемых продуктов в команде разработки. Видеоролик "Нужен ли тестировщик на проекте?" от ПОИНТ-курсов утверждает, что наилучшее сочетание - это 1 тестировщик на 3 программиста, и в данных для моих графиков оно почти соблюдено.
Давайте оценим соотношения по фактическим цифрам.
Соотношение билдов в месяц и продуктов
Компания ConquestSS за 37 месяцев разработки одного продукта опубликовала 33 билда, за 8 месяцев параллельной разработки двух продуктов опубликовала 12 билдов, за 76 месяцев параллельной разработки трёх продуктов опубликовала 51 билд, за 37 месяцев параллельной разработки 4 продуктов опубликовала 59 билдов, за 12 месяцев разработки двух продуктов опубликовала 26 билдов. Примерная пропорция 1месяц/1продукт сбилась в правой части графика из-за отсутствия тестировщиков. Это хорошо заметно по следующему графику.
Соотношение тестировщиков и выпускаемых билдов
На всём протяжении выбранного периода, за который у меня накопились данные из публичных источников, пропорция 1тестировщик/3программиста сохранялась до последней части, когда команда ConquestSS совсем исключила тестировщиков-профессионалов (осталась лишь тех.писательница, слегка обучившаяся тестированию) и штат программистов сократился в 4 раза. В первом периоде один тестировщик параллельно обслуживал 3 продукта и за 107 месяцев было опубликовано 82 билда, два тестировщика на 3 продукта и 6 программистов помогли выпустить 12 билдов за 11 месяцев, 3 тестировщика на 9 программистов выпустили 17 билдов за 18 месяцев, 4 тестировщика на 10 программистов за 3 месяца выложили 5 билдов, 3 тестировщика (без ведущего специалиста) на 11 программистов за 13 месяцев выпустили 22 билда, а оставщиеся два с полтиной программиста за 17 месяцев выложили 42 билда. Эти цифры убеждают меня в моём мнении, что пропорция продуктов и тестировщиков более эффективна при соотношении 1/1. В предпоследнем периоде количество билдов в месяц возросло, поскольку все три тестировщика остались из числа юниоров, а шестой период при полном отсутствии тестировщиков подтверждает моё мнение, что программисты с лёгкостю пропускают в прод критичные баги, из-за которых приходится срочно выкладывать фикс-билды.
Графики показывают интенсивность билдов по точкам. Если точки расположены на одной прямой, значит номер версии не увеличивался и билд собирался для исправления какого-то важного бага юзера. По вертикали - номера версий продуктов, по горизонтали - даты выпуска, четыре цвета точек (синий, рыжий, зелёный, голубой) соответствуют четырём основным (без WEB сайта и портала) продуктам (SQLDetective, ClearSQL, ClearDB, docuVIEWER). У группы разработки ConquestSS существует правило: если от пользователя приходит критичный баг, то фикс-билд выкладывается всем в течение одной-двух недель. Но если баг важный для юзера, но готовится к выпуску следующая версия продукта, то юзеру даётся индивидуальный билд, а фикс официально публикуется в новой версии. По прижатости точек на графике вы можете заметить, как росло и падало качество продуктов со временем "взросления" одного тестировщика (первый период), приходом и уходом мидлов (второй и третий периоды), при полностью обновлённой группе тестирования (четвёртый период - один синьор и три юниора, пятый период - три юниора)  и при полном отсутствии профессиональных тестировщиков (последний период).
Прежде чем приглашать в команду тестировщика, хорошенько подумайте, а нужен ли вообще кто-то ещё вашей команде. Например, фин.директор и маркетолог ConquestSS, избавляясь от ведущего QA инженера или справляясь о житье-бытие, оговариваются по Фрейду, заявляя, что своих багоделов всегда достаточно, чтобы развалить компанию. Судя по вышеизложенным цифрам, группа разработки может работать стабильно, если раз в месяц концентрируется над одним продуктом. Вполне оправдан спринт в месяц для десктопного продукта, но слегка назойлив для юзера. Но если учесть, что компания ConquestSS поддерживает 3-4 продукта, то стабильные публикации билдов одного продукта раз в квартал смогли бы успокоить клиентов в плане надёжности поставщика, а группа разработки не распылялась бы на все продукты ежедневно. А там, глядишь и с глобалами бы проблема отпала, поскольку на ежемесячных планёрках такие задачи не смогли бы забыться.
Для себя, нас - тестировщиков, делю на четыре группы:
- инженер QA (quality assurance) постоянно задаёт неудобные вопросы, ведущие к развитию продукта и команды, лезет во все дела, имеет право голоса и влияния. Преподаватели из "Стратоплан" зовут таких бунтарями (смотрите доклады М. Завилейского "Три составляющие" и Олега М. Вайнбера "Зачем мы приходим в организацию и почему она нанимает именно нас");
- инженер QC (quality checker) - констататор фактов без собственного мнения, покладистый и безмолвный;
- инженер BA/BI (business analyst, business intelligence) - идейный лоббист юзерского и своего мнения;
- тестировщик на техподдержке - сборщик фактов и переводчик между пользователем и кодировщиком без права собственного мнения.
Не смотря на давнишнее рождение компании ConquestSS (с 2005 года) группа разработки придерживается позиции стартапа, поэтому так легко пренебрегает качеством продуктов. Хорошо бы на эти графики наложить суммы продаж, но у меня нет такой информации, которая бы доказала РМ-у необходимость профессионального тестирования. Программист никогда не проверит свой код так, как этим продуктом пользовался бы конечный юзер.
После просмотра доклада "Как QA инженеры могут повлиять на качество продукта? Или не могут?" Николая Алименкова на QA Fest 2016 у меня сформировалось мнение, что бизнесу разного уровня нужен определённый специалист:
* начальная стадия бизнеса (стартап, 1..5 разработчиков, нет или мало отзывов юзеров)
*-* роли тестировщика, аналитика, внедренца, техподдержки выполняют сами разработчики и владелец продукта, бизнес-аналитик выполняет роль технического консультанта
* средняя стадия бизнеса (продукту несколько лет на рынке, 5-20 разработчиков и аналитиков, отзывы регулярные)
*-* достаточно тестировщика на техподдержке и толкового аналитика-внедренца с функцией тех-консультанта
* стабильный бизнес (продукт сертифицируется по ТУ-ISO-ГОСТ, командный состав не важен, отзывы потребителей выходят на уровень юридических претензий)
*-* обязательная выделенная команда тестирования и контроля качества, совмещающая техподдержку, но отдельная от группы аналитиков и тех.консультантов.

А как в вашей команде соотносятся количества тестировщиков с программистами, продуктами и регулярностью выпусков?

пятница, 6 декабря 2019 г.

ТО о CS 9.1.1.147

Тест-отчёт о ClearSQL 9.1.1.147, выпущенном 3 декабря 2019 года, основан не только на его текущих Release Notes, но и на промежуточных, которые выходили весьма неравномерно:
Дата Билд
21.10.2019 9.1.1.124
25.11.2019 9.1.1.129
26.11.2019 9.1.1.133
Как видно по аннотациям к этим билдам, текст фактически не изменился с 124(125) билда, который был первым в линейке минора. За исключением одного пункта исправленных багов:
Code Analyzer
⦁ A range check error no longer occurs on trying to analyze scripts containing "slash"+"ampersand"+"varname"
Ошибка проверки ранга больше не случается при попытке проанализировать скрипты, содержащие "slash"+"ampersand"+"varname"
Да, в конце текста добавленного фикса значится некий набор символов, который абсолютно не ясен ни юзеру CS, ни юзеру БД Oracle. То ли недопечатанный многострочный комментарий, то ли переменная подстановки с опечаткой, то ли что-то из стороннего языка программирования. Вероятно поэтому составленный мной пример "select /&varname from dual;" не определил в предыдущей версии и первом билде версии CS 9.1 ни наличие проблемы, ни тем более исправления описанного бага. За что текущий билд недополучает балл.

Рассмотрим подробнее исправления ClearSQL 9.1.1 (build 147) с учётом 0 баллов из 1 возможного за описанный пункт RNs промежуточных билдов

IMPROVEMENTS 0+0.5=0.5 из 1+1=2 возможных, -0.2 за баги
Flowcharts, Call Trees, CRUD Matrices 0 из 1 возможного
⦁ Added a progress bar indicating the process of diagram/matrix generation.
Добавлен прогрессовый индикатор процесса генерации диаграмм и матриц.
Мои поиски разницы между первым билдом минора и текущим не принесли успеха. При анализе скрипта с генерацией диаграмм и матриц "градусники" процесса давно существуют и не изменились. Также неизменны остались всплывающие окна при их перегенерации в панелях скриптовых и проектных результатов анализа. Если бы тех.писательница уточнила место изменения, то можно было бы положительно судить о работе программиста. А так - ничего дать за пункт RNs дать не могу.
CRUD Matrices 0.5 из 1 возможного, -0.2 за баги
⦁ Significantly accelerated the process of displaying generated CRUD2 matrices when multiple objects are selected in the tree.
Значительно ускорен процесс отображения сгенерированных матриц CRUD2, когда несколько объектов выбраны в дереве.
Для тестирования откроем демо-проект в 125 билде на закладке CRUD2. Запустим видеозапись и выполним несколько типов работы с курсором, как это принято в Проводнике операционной системы:
1. В дереве объектов закладки CRUD2 поставим курсор мышью на один объект. Удерживая клавишу CTRL покликаем по трём-четырём объектам из этого же дерева. Дождёмся полной перерисовки матриц.
2. В дереве объектов закладки CRUD2 поставим курсор мышью на один объект. Удерживая клавишу SHIFT кликнем мышью на 4-5 объекте из этого же дерева, но ниже или выше. Дождёмся полной перерисовки матриц.
3. В дереве объектов закладки CRUD2 поставим курсор мышью на один объект. Удерживая клавишу SHIFT нажмём стрелку вниз или вверх 4-5 раз. Дождёмся полной перерисовки матриц.
4. В дереве объектов закладки CRUD2 в любом месте кликнем мышью левой клавишей и, не отпуская нажатую левую клавишу мыши, протянем выделение вниз или вверх на 4-5 объектов. Подождём несколько секунд.
Все эти же вариации запишем в видео-ролик на текущем билде. После сравнения записей по картинкам и времени, заметим следующее:
а) прошлый билд не отображал несколько объектов в одной матрице ни при каких видах выборки объектов, так что ни о каком "ускорении" речи быть не может, а лишь о самом сводном отображении в единой матрице, что говорит о неверной формулировке RNs;
б) четвёртый тип выделения объектов так и не заработал в текущем билде, что является недоправленным багом;
в) выделение объектов по типу 3 позволяет отметить не более двух объектов, что является либо недоработкой ускорителя из-за слишком быстрой переброски активного курсора из дерева в матрицу, либо старым багом об отсутствии таймера для прорисовки матрицы.
Из всего выявленного могу дать лишь 0.5 балла за новшество и снять -0.2 за обнаруженные баги.

BUGS FIXED 0.5+0.5+1+0=2 из 1+1+1+2=5 возможных
Core 0.5 из 1 возможного
⦁ Files in UTF-8 (with no BOM) and UTF-16 are now imported and analyzed correctly.
Файлы в UTF-8(без BOM) и UTF-16 форматах теперь импортируются и анализируются правильно.
Весьма обширное заявление тех.писательницы без отсылки к конкретным правилам сразу можно оценить нулевым баллом. Корректность новой работы импорта и анализа невозможно выяснить без конкретных примеров или хотя бы подробностей. Но поскольку минимальный тест на случайном скрипте в юникоде показал, что хотя бы импорт теперь проходит без коверкования символов, а анализ не изменился, то дам фиксу 0.5 балла. Вообще-то, такой фикс вполне можно было бы считать усовершенствованием, а не правкой бага.
Flowcharts, Call Trees, CRUD Matrices 0.5 из 1 возможного
⦁ The error “An error has occurred in the script on this page” is no longer raised on trying to open a diagram.
При открытии диаграммы больше не появляется диалог об ошибке скрипта на странице.
Поскольку тестируемым модулем являются страницы отображения диаграмм и матриц, то могу подразумевать, что исправлен баг из моего отчёта. В нём речь шла об HTML-скрипте для отображения результатов анализа. Эти закладки работают на движке HTML-браузера. После глобальных изменений в ядре приложения старые результаты анализа проекта получились несовместимы с новым движком. Это явное подтверждение того, что в ConquestSS абсолютно не производится регрессионное тестирование продуктов. Для чистоты эксперимента создайте проект со скриптами в CS старой версии 6 или 7, а затем откройте в 9 версии. Учтите, что первое открытие старых проектов в новой версии CS производит их перекодирование, так что для каждого теста нужны свои проекты. Но даже если вы создадите собственноручно эти проекты, то у меня нет никакой убеждённости, что они окажутся требуемого формата, потому что при обнаружении бага мне не удалось выяснить его точные причины. Авансом засчитаю баг исправленным, поэтому дам 0.5 балла.
Call Trees 1 из 1 возможного
⦁ Selecting all diagrams on the "All Call Trees" tab no longer causes the application to crash.
Выбор всех диаграмм дерева вызовов уровня проекта больше не приводит к краху приложения.
Осторожно! Последние версии CS автоматически открывают проект не только на последней активной закладке, но и восстанавливают положения курсора, то есть все выделенные объекты дерева, что является причиной краха приложения при самом старте. Если вы однажды откроете проект в прошлом билде и в дереве вызовов всего проекта развернёте третью папку демо-проекта до появления вертикального скроллера, выберете курсором вторую папку и все видимые объекты третьей, то баг отсутствия доступа к чему-то зациклится в этом билде. Исправить баг можно будет лишь в текущем билде, либо ручной правкой настроек проекта, которые нигде в хелпах не описаны (потому и я не буду раскрывать секреты). Наконец-то исправлен серьёзный баг, чем повышается готовность билда к публикации.
Project Report Generation 0+0=0 из 2 возможных
⦁ Libraries are now correctly extracted into a project report.
Библиотеки теперь правильно выгружаются в отчёт по проекту.
Скорее всего имеются ввиду библиотеки Oracle Forms. Их примеры есть в демо-проекте. Делаем два отчёта из прошлого и текущего билдов для выяснения объёма фикса, поскольку тех.писательница не удосужилась описать конкретику или дать отсылку на какие-нибудь стандарты. Визуально мне не удалось обнаружить ни единого различия, а для детального необходимо писать особый парсер. Поэтому никак не могу засчитать фикс.
⦁ A project report is now correctly shown in IE.
Отчёт по проекту теперь правильно показывается в Internet Explorer.
Взяв тестовые данные предыдущего пункта RNs попробуйте найти разницу. Мои варианты не показали никакой разницы, а значит и фикс не приносит билду балл.

Итого по билду: 0+0.5+2=2.5 из 1+2+5=8 возможных баллов дают 2.5/8=31.25% готовности, к сожалению, придётся ещё снять -0.2 балла за баги.

четверг, 5 декабря 2019 г.

ТО о SD 5.1.1.239

Отчёт о тестировании SQLDetective 5.1.1 (build 239), опубликованном  28 ноября 2019. Тесты основаны на пунктах Release Notes. Предыдущий билд выпустили месяц назад и в текущий попали фиксы накопившихся проблем.

IMPROVEMENTS  0.8 балла из 1 возможного, -0.2 за баги
Database Connection
⦁ Added the option “Switch to a new connection in the active window” to Preferences > Session, enabled by default. When disabled, starting a new database session does not change the database connection in the active window.
Добавлена опция переключения коннекта в активном окне в настройки приложения на страницу сессий, которая по-умолчанию включена. При выключенном состоянии запуск новой сессии базы данных не изменяет строку подключения к базе в активном окне.
Поскольку это новая опция в приложении, то тесты стоит осуществлять по чит-листу: название интуитивно понятное, краткое описание в хелпе имеется, расположение опции на странице "General / Session" логично и соответствует UI стандартам, сохранение и восстановление не отражается на других настройках, её можно найти в Preferences по наименованию. Для проверки функциональности выберем подходящие окна. Все окна в SD делятся на мультисессионные и коннекто-зависимые. К первым относятся те, что имеют комбобокс для смены строки коннекта и могут быть открыты без подключения к базе, ко вторым относятся те, что отображают содержимое базы без возможности мобильной смены сессии. Для новой опции необходимо проверить её распространение на окна первой группы и отсутствие воздействия на окна второй группы. Ко второй группе относятся мастера всех типов объектов, SmartDataset, Stored Program Editor. Перечислю мультисессионные окна, согласно структуре главного меню: Object Navigator (комбобокс на главном тулбаре), SQL Editor, HTM Editor (генерирует код для текущей схемы), Object List, View Differences, PL/SQL Profiler, Object Privileges (для открытия окна нужен хотя бы один коннект к базе), Find Object, Data Dependency Analyzer, Report Generator, Export Data (для открытия окна нужен хотя бы один коннект к базе), Import Data (для открытия окна нужен хотя бы один коннект к базе), Fast Copier, DB/Schema/Objects Compare, Schema Extractor, Schema Compiler, Schema Analyzer, Session Navigator, Storage Manager, DB Examiner, DB Monitor, Top Session Locator. Для ускорения теста открываем все перечисленные окна и подключаем или отключаем сессии БД. Осторожнее при работе с админскими утилитами, поскольку ошибки подключения обычного юзера могут прятаться под другие окна, чаще всего - за Fast Copier. Кроме подключения к базе надо проверять и отключение от сессии БД. Для интерфейсного продукта давно стоило внедрить эту экономию перерисовки. Но тесты показали, что не все окна его поддерживают при подключении сессии и все окна обновляют список коннектов при отключении сессии БД. Такая реализация говорит о непродуманности переделки UI и получает 0.8 балла. А поскольку некоторые окна меняют коннект с ошибкой базы "ORA-29275: partial multibyte character" и окно Fast Copier постоянно перекрывает диалоговые окна с предупреждениями и ошибками, то новшество теряет -0.2 балла за эти старые баги, до сих пор не исправленные.

BUGS FIXED   0.5+1+1.7-0.5+1+1+0+0=4.7  из 5+2+2+1+2+1+1+1=15 возможных, за баги -0.5-0.4=-0.9
SQL Editor  0+0.5+0+0+0=0.5  из 5 возможных
⦁ Fixed the work of the history panel splitter.
Исправлена работа сплиттера для панели с историей.
Поскольку баг конкретно не описан, то для воспроизведения в предыдущем билде поиграемся со статусом окна при открытии/закрытии и сворачивании/разворачивании/максимизации окна SQL Editor, смене позиций закладок вывода и редактора кода. Перечисленные места необходимо проверить в сочетании с опцией "Preferences / Code Editors / SQL Editor / Allow only one SQL Editor window". К сожалению, никакой разницы в работе сплиттера не выявлено по сравнению с предыдущим билдом, поэтому фикс не получает ни балла.
⦁ Splitter positions of the Dataset Manager and SQL History panels are now remembered and restored correctly.
Позиции сплиттеров настройщика данных и истории запросов теперь запоминаются и восстанавливаются корректно.
В чём может заключаться корректность по отношению к позициям сплиттера? Также, как и в предыдущем фиксе, изменения необходимо проверять в сочетании с опцией расположения закладок с результатами и редактора кода, поскольку программист мог пронумеровать элементы окна, чтобы не придумывать уникальные имена. С запоминанием и восстановлением позиции сплиттера были проблемы только у настройщика данных. Они исправлены, а пункт RNs получает лишь 0.5 балла, потому что описание фикса не соответствует действительности (упомянут элемент без изменений и использован эпитет correctly без отсылки к правилам).
⦁ The token with the leading ampersand “&” in a string literal is now always recognized as a possible substitution variable.
Вызовы через амперсанд в символьных строковых теперь всегда распознаются как возможные переменные подстановки.
Такое описание фикса более похоже на усовершенствование, а не на исправление проблемы. В настройках приложения существует опция "Preferences / Code Editors / Bind and Subst. Variables / When a Token with Leading '&' Appears in a String Literal" с доступными значениями: распознавать, не распознавать как переменную подстановки, предлагать пользователю выбрать вручную. Пользовательский вариант является дефолтным, как в предыдущем, так и в текущем билдах. Применяется распознавание амперсанда в SQL Editor и Stored Program Editor на одноимённых закладках. Так что описание пункта RNs не проясняет пользователю сделанные программистом изменения, а лишь запутывает. Надо полагать, что на самом деле поправлен лишь какой-то из частных случаев распознавания переменных подстановки. Любой из тестировщиков знает, сколько вариантов нужно для проверки символьного поля, эти же вариации применимы и к символьной строке с переменной подстановки. Поскольку программист пожадничал с собственными знаниями и не пояснил тех.писательнице подробности правки (а может ничего и не исправлено по-факту), то фикс не получает ни балла.
⦁ The height of the results panel is no longer minimized after switching back from the Stored Program Editor.
Высота панели с результатами больше не минимизируется после переключения из редактора хранимых программ.
Все мои попытки воспроизвести проблему в предыдущем билде не увенчались успехом, не спровоцировали её даже сочетания с опцией расположения редактора сверху результатов и максимизация окон, параллельное открытие нескольких окон одного типа и растяжение дополнительных панелей через сплиттер. Если бы описание было более конкретным и легко воспроизводилось, то можно было бы заметить работу программиста. Поэтому фикс не получает ни балла.
⦁ A literal is no longer truncated if there are line breaks in it.
Символьные больше не обнуляются, если в них есть перевод строки.
Совершенно непонятное описание фикса, для которого у меня нет никаких соображений, где и как такое можно было бы воспроизвести. Из-за неясной трактовки фикс не получает ни балла.
Smart Dataset  0+1=1  из 2 возможных
⦁ The “List index out of bounds” error no longer occurs on refreshing the dataset for a modified table.
Ошибка превышения количества больше не случается при обновлении данных для изменённой таблицы.
О том, как может быть изменена таблица следует искать в документации БД Oracle в рамках статьи ALTER TABLE. Поскольку ранее случалась ошибка о некоем количестве, то попробуем изменить состав таблицы по её столбцам. Будем полагать, что под модификацией таблицы подразумевается только структура объекта, а не его данные, поэтому побалуемся с таблицей из 3-4 полей без содержимого. Описание фикса не конкретизировано типами полей и наличием данных. Вероятно поэтому у меня не получилось воспроизвсти баг (открыть таблицу в SmartDataset, через мастер объекта удалить или добавить колонку, в гриде выполнить Refresh Data-F12 или Reopen Object) в предыдущем и текущем билдах. Пункту RNs не могу дать ни балла.
⦁ The error “ORA-00947: not enough values” no longer occurs on trying to perform an insert into tables with several object type fields of a similar type.
Ошибка о недостаточности значений больше не случается при попытке выполнить вставку данных в таблицы с несколькими полями объектного типа одинаковой вариации.
Первое, что меня смутило, это множественное число таблиц для вставки данных. Надеюсь, что это всего лишь опечатка тех.писательницы, поскольку через SmartDataset одномоментно редактируются данные только в одной таблице (служебное поле ROWID в запросе по правилам Oracle может быть лишь одно). Для минимального теста создаём объектный тип с одним атрибутом, на основе которого в таблице из трёх полей (символьное и два пользовательского типа) двум выбираем только что созданный тип. В гриде такая таблица будет состоять из трёх столбцов, два из которых имеют сложносоставные названия (имя поля и через точку имя атрибута объектного типа). В предыдущем билде описанный баг проявляется только при добавлении непустых данных, но не случается при их изменении. В текущем билде баг исправлен, то есть добавление и модификация данных в любом из столбцов этой таблицы не вызывают проблем. Исправление заслужило балл.
Database Examiner  1+0.7=1.7   из 2 возможных и -0.3-0.2=-0.5 за проблемы
⦁ The “Refresh Data” command is no longer active when a database connection is closed.
Команда обновления данных больше не активна после закрытия коннекта к базе.
Все страницы утилиты состоят из гридов, составленных из системных вьюверов, поэтому для теста выберем любую страницу. Баг проявлялся в предыдущем билде только для гридов, интерфейсным элементом для которых является самописный HisGrid, а простые списки из двух колонок на страницах Instances, Database и кнопка на основном тулбаре окна не оставляли подсвеченными две жёлтые стрелки. Поскольку аналогичные интерфейсные элементы используются повсеместно, то дисконнект следует поглядеть и во всех админских утилитах, окнах для работы с данными. Описанный баг оказался характерен лишь для окна DB Examiner. Но продолжение комплексного тестирования выявило проблему излишнего считывания привилегий при отсутствии коннекта к базе на странице Database. К сожалению, в ConquestSS игнорируеют полное тестирование и этот очевидный баг прошёл мимо группы разработки, то есть не исправлен в текущем билде. А текущим фиксом поправлен лишь мелкий интерфейсный глюк (клик по кнопке и горячей клавише F12 безопасный без коннекта). Пункт RNs получает балл за исправление и теряет -0.3 за невыявленный функциональный баг.
⦁ The “Find in All Columns” window now always opens on pressing Ctrl+F in the Database Examiner.
Окно поиска по всем колонкам теперь всегда открывается при нажатии горячей клавиши в окне утилиты.
Описание бага больше смахивает на усовершенствование, нежели исправление проблемы. На деле же горячая клавиша для поиска по данным гридов стала срабатывать только при наличии активного курсора в самом гриде, а вместо диалога поиска по тексту или файлам теперь открывается диалог поиска с интерфейсом локальной операционной системы, в котором всё ещё актуальны проблемы подписей элементов на региональном языке и мигающий курсор виден в области радио-кнопок вместо текстового поля ввода. Разность слов тех.писательницы и дела программиста приносит фиксу только 0.7 балла, а старые баги опять снимают -0.2.
Session Navigator  -0.5 из 1 возможного
⦁ If an Oracle directory does not exist in the database, it is now automatically created to get a trace file.
Если директория, как объект базы, не существует, то она автоматически создаётся для доступа к файлу трассировки.
Теоретическую часть об объекте Директория вам стоит изучить самостоятельно по статьям CREATE/ALTER/DROP DIRECTORY из документации Oracle DB. Только для Session Navigator этот объект, как и файл трассировки, не имеют надобности. Все данные, отображаемые в Session Navigator, берутся из системных вьюверов напрямую без директорий, а трассировка используется в SQL Editor и TKPROF Shell. Так что этот пункт RNs невозможно никак проверить из-за неадекватного описания или выбора модуля. К тому же опасные слова о том, что объект базы будет автоматически создан, тревожат меня отсутствием предупреждения о скрытых действиях в базе, которые может выполнять только юзер с админскими правами. Ни балла за такое дать не могу, да ещё сниму как минимум полбалла за возможные опасности и давно неправленный баг "ORA-29275: partial multibyte character" при открытии модуля.
Schema Compiler  1+0=1  из 2 возможных, но -0.4 за проблемы
⦁ When the “Auto Open” option is enabled, the Schema Compiler window now always opens automatically when a new session is created.
При включенной опции автооткрытия окно компилятора схемы автоматически открывается при создании новой сессии.
Опция автооткрытия окна настраивается в списке Window Settings рабочей области "Preferences / General / Workspace" и, как вы понимаете, должна одинаково работать для всех окон из этого списка. Для скорости теста включаем в настройках приложения автооткрытие всех окон и подключаем ещё одну сессию базы, желательно с админскими привилегиями. Компилятор схемы стал открываться при новом коннекте и фикс получает свой балл. Замечено было, что исправилась проблема с окнами ассистента кода и для быстрого копирования объектов, которые ранее всегда показывались поверх всех приложений, открытых в операционной системе. А встречающиеся проблемы в каждом открываемом окне (нехватка прав, испорченные скрипты браузера документации и прочее) всё также стопорят открытие последующих окон, за что есть смысл снять -0.2 балла. В списке окон на странице Preferences почему-то Telegram не расположен в алфавитном порядке. А вместе с компилятором схемы не открывалось (и до сих пор не открывается) автоматически окно Action Output с результатами действий приложения. Выявленные баги отнимают у билда ещё -0.2 балла. Почему-то последовательное групповое исключение окон из автооткрытия и в прошлом, и в текущем билдах включает галки для всех окон, но поскольку мне пока не удалось локализовать проблему, то за баг списывать баллы не буду.
⦁ The Schema Compiler customization is no longer cleared after disconnecting from an inactive session.
Настройки компилятора схемы теперь не очищаются после отключения активной сессии.
К настройкам утилиты относятся не только опции на соответствующей закладке, но и выбор типа компиляции, фильтры на объекты и схемы. Сравним все их в текущем и предыдущем билдах в сочетании с новой опцией про строку коннекта при подключении сессии. Кроме смены или сохранения строки подключения при новом коннекте никаких изменений в окне не замечено, поэтому считаю этот пункт RNs лишним и не даю за него балл. Опять же, бОльшая часть проблемы пришла от тех.писательницы, не конкретизировавшей фикс, и от программиста, не пожелавшего обучить её техническим вопросам.
Export Data Wizard 1 из 1 возможного
⦁ Exporting data from the Object Navigator no longer adds a non-existent object “.” to the export objects list.
Экспорт данных из навигатора объектов больше не добавляет несуществующий объект без имени и схемы в список объектов для экспорта.
Мастер экспорта данных можно открыть несколькими способами: из главного меню и главного тулбара, из открытого грида данных (SmartDataset, закладка Data в ContentSelector, все доступные гриды данных во всех утилитах приложения) по кнопке на тулбаре окна или из контекстного меню, через контекстное меню объекта данных в ObjectSelector. Из всех перечисленных вариантов только последний давал описанный баг в предыдущем билде и исправлен в текущем. Фикс получает балл, но тех.писательнице стоило вместо общего наименования окна Object Navigator указать его конкретное дерево - ObjectSelector.
Dataset/Datagrid  0 из 1 возможного
⦁ The QBE (Query By Example) and Find commands are no longer active when the dataset is closed.
Мастер настройки фильтров и диалог поиска больше нельзя активировать в закрытом наборе данных.
Очень странная формулировка, но попробуем её понять по фактической работе. О том, как вызвать мастер установки фильтров или диалог поиска, написано в топиках хелпа приложения. А вот что имелось ввиду под закрытым набором данных даже мне со знанием продукта с первых дней его разработки не понятно. На ум приходят такие действия: при открытом SmartDataset с данными закрыть сессию, открыть данные в SmartDataset в режиме только чтения без возможности редактирования, сменить активное окно. Но никакой из перечисленных вариантов поведения приложения не воспроизводит описанный баг. Поэтому не могу дать ни балла.
Main Window  0 из 1 возможного
⦁ The main application window no longer hides after opening the Database Connection window for the second time.
Главное окно приложения больше не прячется после открытия окна коннектов во второй раз.
Главное окно обязано быть под окном подключения к базе, в какой бы раз не делалось подключение. По описанному фиксу могу заключить, что тех.писательница скорее всего перепутала окна и, возможно, окно коннекта иногда пряталось под основное окно приложения. Но скорее всего проблема была и осталась совсем в другом. Это не раз мне удавалось воспроизвести в предыдущем и текущем билдах, когда новый коннект  автоматически открывал рабочие окна с какими-нибудь ошибками (недостаточно прав, проблемы с перекодировкой или в скриптах документации), диалоговые окна которых и прятались, создавая эффект подвисания приложения. Максимально за подобное описание проблемы и её якобы исправления не могу дать ни балла, а при плохом настроении (лучший подарок тестировщику - это билд с полностью закрытыми "зелёными" задачами и без порождённых багов) этот пункт получил бы от меня отрицательный балл.

Итого по билду: 0.8+4.7=5.5 баллов из  1+15=16 возможных, что равняется 5.5/16=34%, из которых баги отнимают   -0.2-0.9=-1.1 балла.

вторник, 3 декабря 2019 г.

Глобалы

Глобальными модулями в группе разработки продуктов компании ConquestSS называются такие компоненты трёх смежных приложений, код которых равнозначно применим в каждой программе. Например, самостоятельная библиотека OSD.DLL с полноценным интерфейсом и функционалом, интерфейсное окно ABOUT с информацией о продукте, текстовый парсер для сбора данных анализатора кода. Соответственно задачи, которые касаются только таких модулей, а не их внедрения в продукт, называются "глобалами". Для удобства фильтрации такие задачи объединены были в отдельный "продукт в BTS".
SQLDetective, ClearSQL, ClearDB - интерфейсные продукты, написанные в основном на Delphi. Но поскольку была внедрена система LFT, то многие стандартные элементы не могли удовлетворить требования, выработанные этой командой. Поэтому программисты ConquestSS вынуждены были дописывать или переделывать интерфейсные компоненты. Например, для выставления своих фонтов и отступов в ckeck-box, radio-button, list-view, плавное расцвечивание в progress-bar и многое другое. Переработка компонента оформлялась как глобал, а его внедрение в определённый продукт - задачей на конкретное приложение и его модуль. Но в большинстве своём задачи по внедрению в конкретный продукт игнорировались, не оформлялись, подразумевая процесс внедрения в рамках одной задачи-глобала.
Со временем появилась необходимость вести версионность некоторых глобальных модулей. До сих пор сохранилось отображение версии только для анализатора кода. Её номер вы можете увидеть в комментариях к отформатированному коду. Парсер кода - часто меняющийся в последнее время модуль, поскольку обязан поддерживать все новшества базы данных Oracle. Поэтому все три продукта вполне могут выпускаться регулярно, обновляя лишь один глобальный модуль - анализатор кода. А вот версионность другого глобала - OSD.DLL - помогла лишь однажды, когда он кардинально был переработан для работы отладчика. Но, к сожалению, не все старые версии смогли на лету сработаться с библиотекой, поэтому простое копирование файла в рабочую папку приложения не спасало положение, и для полноценной отладки приходилось пересобирать весь продукт с изменённой библиотекой. Не так давно OSD переместили в core продуктов и его версионность отжила свою надобность. У всех остальных модулей-глобалов вообще не велась версионность, достаточно было версий основных продуктов, в которые внедрялись эти глобалы. А при закрытии задач в BTS эти их внутренние версии вообще никогда не имели смысла.
Исходники продуктов, как и положено, хранятся в системе контроля версий (VCS), каждый в своей ветке. Для глобальных модулей была выделена самостоятельная ветка. При этом сборка каждого продукта, автоматизированная со временем, выбирала файлы не только из своей продуктовой ветки, но и мониторила обновления по дате редактирования ветку глобалов. Когда dev-ops реализовал полезняшку (подкинутую мной идею о добавлении комментариев в задачи Jira с номером билда, в который вошёл фикс), то это значительно упростило работу тестировщика, часто сомневавшегося "стоит ли начинать тест? перебилден ли продукт с требуемой версией глобала?". VCS Perforce связана с Jira через FishEye, а сборщик билдов написан на Python, поэтому кроме нотификаций в Slack о готовом билде, dev-ops легко реализовывал и многие другие важные для команды разработки напоминания и уведомления. Да, пока сборка велась в ручном режиме слишком силён был человеческий фактор и часто забывали включить в билд нужную версию глобала, либо ошибались с датами фиксов и накладывали старые баги на новый функционал. И тогда мы получали весьма жуткие временные баги от корявой сборки.
Конечно, такой вынос одинакового кода и интерфейса в отдельную папку VCS был весьма удобен программистам. Ведь у них значительно поубавилось работы. Код не приходилось триплить во все продукты, а лишь сделать одну правку. Но, к сожалению, не всегда задачи в BTS оформлялись на каждый конкретный продукт. Поэтому тестировщику приходилось в каждом из трёх продуктов проводить одни и теже тесты, да ещё удваивать (а то и утраивать) их из-за необходимости поддерживать несколько версий продукта (опубликованный, предыдущий опубликованный, разрабатываемый по спец.заказу или общий будущий). Программист комментировал свои фиксы только в VCS, по которым собирались внутренние Release Notes, то есть единожды. А тестировщик обязан был отметить фиксы в каждом продукте и его версиях. Поэтому пришлось в самописной BTS создать дополнительную таблицу (child для основной таблицы задач)  для таких отметок. Самописную BTS вполне удавалось заполнять в SmartDataset гриде своего же продукта SQLDetective, поскольку в основном это были обычные таблицы с набором справочников. Но для отметок глобалов в SD не сгодилась даже утилита DataDependencyAnalyzer. И после недолгих упрашиваний dev-ops смастерил мне формочку на пару гридов (parent - all_bugs, child - global_checks) со справочником версий продуктов. Да, такой дополнительный список усложнял сбор Release Notes для пользователей, поскольку РМ раньше фильтровал только общую таблицу задач, а теперь ему приходилось частенько припоминать о глобалах.
Когда же самописную BTS сменили на Jira, то систему глобалов не упразднили. Самостоятельный продукт Global Modules (GM) так и продолжил своё существование, но его ни минули пара революций. Команда разработки росла и новым тестировщикам тяжко было как понять систему глобалов, так и поддерживать её в актуальном состоянии. Некоторые модули имели реализацию только в определённых продуктах. Например, CRUD2 матрица или браузерный отчёт анализатора (CS Project Report, CDB Docu), которые формируются сразу для нескольких объектов базы, а потому не приемлемы для единичных объектов в SD. Участились отвлекания старожилов на разъяснения, поскольку даже пояснения к модулям, которое возможно заполнить в справочниках Jira, не отображается для выбираемых компонентов в процессе оформления задачи. Так что моя одноразовая акция по проставлению в комментариях каждого компонента продукта GM списка поддерживаемых продуктов не сильно помогла. Пришлось проводить проверку каждой новой задачи GM на применимость в продуктах и дописывать в Description важные примечания для разработчиков и тестировщиков, если фикс не должен был быть в каком-то из продуктов или его реализация имела продуктовые особенности. Тех.писательница, собиравшая Release Notes, тоже постоянно забывала упомянуть об изменениях за счёт глобалов, либо добавляла лишние пункты, не применимые в продукте, либо текст по опечатке содержал упоминание соседнего продукта. В продукте GM приходилось админу Jira дублировать версии конкретных продуктов после каждой сборки. Тогда ещё не был полноценно дописан авто-билдер, поэтому добавление производилось вручную после публикации, а поскольку не редки были случаи забывчивости, то чек-лист публикации пришлось пополнить отдельным пунктом для админа Jira. Даже РМ, собиравший бэклог публикации в Jira Structure, не всегда вспоминал, что стоит добавить и уже закрытую по другим продуктам GM-задачу, но ещё не внедрённую по текущему спринту. Эти неудобства послужили аргументом к прекращению поддержки GM. Несколько месяцев трёх тестировщиков было потрачено на перенесение имевшихся GM-задач в конкретные продукты. Спасибо, в Jira есть фичи клонирования и переноса задач из одного продукта в соседний, поэтому имевшиеся задачи разносились более менее быстро. А вот новые иногда забывались клонироваться. По окончании этой работы взвыли программисты, которые забывали открыть в Jira слинкованные одноимённые задачи, сменить им статус и отметить затраченное время, забывали в VCS упомянуть авто-фиксы по всем продуктам. Но те проггеры, которые не забывали про лишние телодвижения, были рады резкому скачку их производительности, ведь она утроилась по времени и количеству задач! Итак, тестировщики обрадовались конкретике, тех.писательница успокоилась при сборе Release Notes из-за уменьшения фильтра, но РМ в большей степени прислушивался к мнению программистов, которые ленились отмечать свою работу в клонированных задачах. Из-за этого РМ вопреки мнению большинства своим "царским указом" возобновил поддержку в Jira глобалов. Да притом изменил путь статусов на жёсткую схему, и один статус TESTING был разбит на несколько (сначала три, а потом и четыре) по количеству разрабатываемых продуктов TESTING_Prod1, TESTING_Prod2, TESTING_Prod3, TESTING_Prod4. Статусы можно было сменить только в обозначенном порядке, что очень осложнило работу тестировщикам, которые были закреплены за конкретными продуктами. Но РМ на это неудобство ответил распоряжением самоуправца и закрепил глобалы за одним тестировщиком из числа новичков. Юный тестировщик не возражал, так как не знал, что столкнётся с более сложной проблемой. На тот момент продукт ежедневно собирался при наличии фиксов в своей ветке, а поскольку какие-то из продуктов были "заморожены", то тестировщик не мог закрыть проверенную в продуктах 1 и 4 задачу, не имевшую реализации в продуктах 2 и 3 ввиду отсутствия нужного билда. Dev-ops-у пришлось опять менять авто-билдер, чтобы даже временно отложенные продукты всё равно ежедневно собирались, но лишь для тестирования. И РМ-у было наплевать на то, что некоторым задачам абсолютно не нужно было проходить хоть какую-то проверку в определённых продуктах, то есть авто-билдер гонялся впустую, тестировщик безрезультатно искал исполнения в пустом продукте, а тех.писательница опять стала ошибочно вносить "чужие" фиксы в Release Notes.
Из обеих революций для большинства членов команды разработки был вынесен единый вывод: "Глобалы - это зло!", но поскольку мнение ленивых и приближённых к РМ-у программистов перевешивало демократизм, то о каком бы-то ни было компромиссе мечтать не стоит. Кое-как соглашусь, что в VCS глобалы есть смысл сопровождать в собственной ветке, но и здесь не мало проблем с внутренней и общей версионностью. А в BTS никак не стоит объединять глобалы, поскольку они первые в числе забываемых. Если у вас Jira, то клонирование и перенос задач между продуктами легко снимут с вас проблемы актуализации багов и фич. Кабы в нашей старой самописной BTS была фича клонирования багов и разработок в другие продукты (SmartDataset в SD может дублировать строки только в одной таблице, а значит не давал полноценного клонирования по справочникам, да и не видно было потом линкованного исходника для клонов), то моя идея глобальных модулей ограничилась бы только VCS и в BTS не отразилась.