Материал: Обеспечения Базовый курс (3е издание) Версия книги 2 от 17. 04. 2023

Подробная классификация тестирования
Тестирование программного обеспечения. Базовый курс.
© EPAM Systems, 2015–2023
Стр: 88/301
• Операционное тестирование (operational testing
174
)
— тестирование, прово- димое в реальной или приближенной к реальной операционной среде
(operational environment
175
), включающей операционную систему, системы управления базами данных, серверы приложений, веб-серверы, аппаратное обеспечение и т.д.
• Тестирование удобства использования (usability
176
testing)
— тестирова- ние, направленное на исследование того, насколько конечному пользова- телю понятно, как работать с продуктом (understandability
177
, learnability
178
, op- erability
179
)
, а также на то, насколько ему нравится использовать продукт
(attractiveness
180
)
. И это не оговорка — очень часто успех продукта зависит именно от эмоций, которые он вызывает у пользователей. Для эффективного проведения этого вида тестирования требуется реализовать достаточно се- рьёзные исследования с привлечением конечных пользователей, проведе- нием маркетинговых исследований и т.д.
Важно! Тестирование удобства использования (usability
176
testing) и тестирование интерфейса пользователя (GUI testing
185
)
— не одно и то же! Например, корректно работающий интерфейс может быть неудобным, а удобный может работать некорректно.
• Тестирование доступности (accessibility testing
181
)
— тестирование, направ- ленное на исследование пригодности продукта к использованию людьми с ограниченными возможностями (слабым зрением и т.д.).
• Тестирование интерфейса (interface testing
182
)
— тестирование, направлен- ное на проверку интерфейсов приложения или его компонентов. По опреде- лению ISTQB-глоссария этот вид тестирования относится к интеграционному тестированию
{77}
, и это вполне справедливо для таких его вариаций как те- стирование интерфейса прикладного программирования (API testing
183
) и ин- терфейса командной строки (CLI testing
184
)
, хотя последнее может выступать и как разновидность тестирования пользовательского интерфейса, если че- рез командную строку с приложением взаимодействует пользователь, а не другое приложение. Однако многие источники предлагают включить в состав тестирования интерфейса и тестирование непосредственно интерфейса пользователя (GUI testing
185
).
174
Operational testing. Testing conducted to evaluate a component or system in its operational environment. [ISTQB Glossary]
175
Operational environment.
Hardware and software products installed at users’ or customers’ sites where the component or system under test will be used. The software may include operating systems, database management systems, and other applications.
[ISTQB Glossary]
176
Usability. The capability of the software to be understood, learned, used and attractive to the user when used under specified conditions. [ISTQB Glossary]
177
Understandability. The capability of the software product to enable the user to understand whether the software is suitable, and how it can be used for particular tasks and conditions of use. [ISTQB Glossary]
178
Learnability. The capability of the software product to enable the user to learn its application. [ISTQB Glossary]
179
Operability. The capability of the software product to enable the user to operate and control it. [ISTQB Glossary]
180
Attractiveness. The capability of the software product to be attractive to the user. [ISTQB Glossary]
181
Accessibility testing. Testing to determine the ease by which users with disabilities can use a component or system. [ISTQB
Glossary]
182
Interface Testing. An integration test type that is concerned with testing the interfaces between components or systems. [ISTQB
Glossary]
183
API testing. Testing performed by submitting commands to the software under test using programming interfaces of the applica- tion directly. [ISTQB Glossary]
184
CLI testing. Testing performed by submitting commands to the software under test using a dedicated command-line interface.
[ISTQB Glossary]
185
GUI testing. Testing performed by interacting with the software under test via the graphical user interface. [ISTQB Glossary]

Подробная классификация тестирования
Тестирование программного обеспечения. Базовый курс.
© EPAM Systems, 2015–2023
Стр: 89/301
Важно! Тестирование интерфейса пользователя (GUI testing
185
) и тестирование удобства использования (usability
176
testing)
— не одно и то же! Например, удобный интерфейс может работать не- корректно, а корректно работающий интерфейс может быть неудоб- ным.
• Тестирование безопасности (security testing
186
)
— тестирование, направ- ленное на проверку способности приложения противостоять злонамеренным попыткам получения доступа к данным или функциям, права на доступ к ко- торым у злоумышленника нет.
Подробнее про этот вид тестирования можно почитать в статье
«What is Security testing in software testing?»
187
• Тестирование интернационализации (internationalization testing, i18n test- ing, globalization
188
testing, localizability
189
testing)
— тестирование, направлен- ное на проверку готовности продукта к работе с использованием различных языков и с учётом различных национальных и культурных особенностей.
Этот вид тестирования не подразумевает проверки качества соответствую- щей адаптации (этим занимается тестирование локализации, см. следующий пункт), оно сфокусировано именно на проверке возможности такой адапта- ции (например: что будет, если открыть файл с иероглифом в имени; как бу- дет работать интерфейс, если всё перевести на японский; может ли прило- жение искать данные в тексте на корейском и т.д.).
• Тестирование локализации (localization testing
190
, l10n)
— тестирование, направленное на проверку корректности и качества адаптации продукта к ис- пользованию на том или ином языке с учётом национальных и культурных особенностей. Это тестирование следует за тестированием интернациона- лизации (см. предыдущий пункт) и проверяет корректность перевода и адап- тации продукта, а не готовность продукта к таким действиям.
• Тестирование совместимости (compatibility testing, interoperability testing
191
)
— тестирование, направленное на проверку способности приложения рабо- тать в указанном окружении. Здесь, например, может проверяться: o
Совместимость с аппаратной платформой, операционной системой и сетевой инфраструктурой (конфигурационное тестирование, configura- tion testing
192
).
186
Security testing. Testing to determine the security of the software product. [ISTQB Glossary]
187
«What is Security testing in software testing?» [
http://istqbexamcertification.com/what-is-security-testing-in-software/
]
188
Globalization. The process of developing a program core whose features and code design are not solely based on a single language or locale. Instead, their design is developed for the input, display, and output of a defined set of Unicode-supported language scripts and data related to specific locales. [«Globalization Step-by-Step», https://docs.microsoft.com/en-us/globaliza- tion/
]
189
Localizability. The design of the software code base and resources such that a program can be localized into different language editions without any changes to the source code.
[«Globalization Step-by-Step», https://docs.microsoft.com/en-us/globalization/
]
190
Localization testing checks the quality of a product's localization for a particular target culture/locale. This test is based on the results of globalization testing, which verifies the functional support for that particular culture/locale. Localization testing can be executed only on the localized version of a product.
[«Globalization Step-by-Step», https://docs.microsoft.com/en-us/globaliza- tion/
]
191
Compatibility Testing, Interoperability Testing. The process of testing to determine the interoperability of a software product
(the capability to interact with one or more specified components or systems). [ISTQB Glossary]
192
Configuration Testing, Portability Testing. The process of testing to determine the portability of a software product (the ease with which the software product can be transferred from one hardware or software environment to another). [ISTQB Glossary]

Подробная классификация тестирования
Тестирование программного обеспечения. Базовый курс.
© EPAM Systems, 2015–2023
Стр: 90/301 o
Совместимость с браузерами и их версиями (кросс-браузерное тести- рование, cross-browser testing
193
). (C
м. также тестирование веб-прило- жений
{83}
). o
Совместимость с мобильными устройствами (mobile testing
194
). (
См. также тестирование мобильных приложений
{83}
). o
И так далее.
В некоторых источниках к тестированию совместимости добавляют (хоть и подчёркивая, что это — не его часть) т.н. тестирование соответствия
(compliance testing
195
, conformance testing, regulation testing).
Рекомендуется ознакомиться с дополнительным материалом по те- стированию совместимости с мобильными платформами в статьях
«What is Mobile Testing?»
196
и «Beginner’s Guide to Mobile Application
Testing
»
197
• Тестирование данных (data quality
198
testing) и баз данных (database integ- rity testing
199
)
— два близких по смыслу вида тестирования, направленных на исследование таких характеристик данных, как полнота, непротиворечи- вость, целостность, структурированность и т.д. В контексте баз данных ис- следованию может подвергаться адекватность модели предметной области, способность модели обеспечивать целостность и консистентность данных, корректность работы триггеров, хранимых процедур и т.д.
• Тестирование использования ресурсов (resource utilization testing
200
, effi- ciency testing
201
, storage testing
202
)
— совокупность видов тестирования, про- веряющих эффективность использования приложением доступных ему ре- сурсов и зависимость результатов работы приложения от количества доступ- ных ему ресурсов. Часто эти виды тестирования прямо или косвенно примы- кают к техникам тестирования производительности
{91}
193
Cross-browser testing helps you ensure that your web site or web application functions correctly in various web browsers.
Typically, QA engineers create individual tests for each browser or create tests that use lots of conditional statements that check the browser type used and execute browser-specific commands. [
https://www.browserstack.com/cross-browser-testing
]
194
Mobile testing is a testing with multiple operating systems (and different versions of each OS, especially with Android), multiple devices (different makes and models of phones, tablets, phablets), multiple carriers (including international ones), multiple speeds of data transference (3G, LTE, Wi-Fi), multiple screen sizes (and resolutions and aspect ratios), multiple input controls
(including BlackBerry’s eternal physical keypads), and multiple technologies — GPS, accelerometers — that web and desktop apps almost never use. [
https://www.perfecto.io/blog/mobile-testing
]
195
Compliance testing, Conformance testing, Regulation testing. The process of testing to determine the compliance of the component or system (the capability to adhere to standards, conventions or regulations in laws and similar prescriptions). [ISTQB
Glossary]
196
«What Is Mobile Testing?» [
https://www.perfecto.io/blog/mobile-testing
]
197
«Beginner’s Guide to Mobile Application Testing» [
http://www.softwaretestinghelp.com/beginners-guide-to-mobile-application- testing/
]
198
Data quality. An attribute of data that indicates correctness with respect to some pre-defined criteria, e.g., business expectations, requirements on data integrity, data consistency. [ISTQB Glossary]
199
Database integrity testing. Testing the methods and processes used to access and manage the data(base), to ensure access methods, processes and data rules function as expected and that during access to the database, data is not corrupted or unex- pectedly deleted, updated or created. [ISTQB Glossary]
200
Resource utilization testing, Storage testing. The process of testing to determine the resource-utilization of a software product.
[ISTQB Glossary]
201
Efficiency testing. The process of testing to determine the efficiency of a software product (the capability of a process to produce the intended outcome, relative to the amount of resources used). [ISTQB Glossary]
202
Storage testing. This is a determination of whether or not certain processing conditions use more storage (memory) than esti- mated. [
«Software Testing Concepts And Tools», Nageshwar Rao Pusuluri]

Подробная классификация тестирования
Тестирование программного обеспечения. Базовый курс.
© EPAM Systems, 2015–2023
Стр: 91/301
• Сравнительное тестирование (comparison testing
203
)
— тестирование, направленное на сравнительный анализ преимуществ и недостатков разра- батываемого продукта по отношению к его основным конкурентам.
• Демонстрационное тестирование (qualification testing
204
)
— формальный процесс демонстрации заказчику продукта с целью подтверждения, что про- дукт соответствует всем заявленным требованиям. В отличие от приёмоч- ного тестирования
{87}
этот процесс более строгий и всеобъемлющий, но мо- жет проводиться и на промежуточных стадиях разработки продукта.
• Исчерпывающее тестирование (exhaustive testing
205
)
— тестирование при- ложения со всеми возможными комбинациями всех возможных входных дан- ных во всех возможных условиях выполнения. Для сколь бы то ни было слож- ной системы нереализуемо, но может применяться для проверки отдельных крайне простых компонентов.
• Тестирование надёжности (reliability testing
206
)
— тестирование способности приложения выполнять свои функции в заданных условиях на протяжении заданного времени или заданного количества операций.
• Тестирование восстанавливаемости (recoverability testing
207
)
— тестирова- ние способности приложения восстанавливать свои функции и заданный уровень производительности, а также восстанавливать данные в случае воз- никновения критической ситуации, приводящей к временной (частичной) утрате работоспособности приложения.
• Тестирование отказоустойчивости (failover testing
208
)
— тестирование, за- ключающееся в эмуляции или реальном создании критических ситуаций с целью проверки способности приложения задействовать соответствующие механизмы, предотвращающие нарушение работоспособности, производи- тельности и повреждения данных.
• Тестирование производительности (performance testing
209
)
— исследова- ние показателей скорости реакции приложения на внешние воздействия при различной по характеру и интенсивности нагрузке. В рамках тестирования производительности выделяют следующие подвиды: o
Нагрузочное тестирование (load testing
210
, capacity testing
211
)
— иссле- дование способности приложения сохранять заданные показатели ка- чества при нагрузке в допустимых пределах и некотором превышении этих пределов (определение «запаса прочности»).
203
Comparison testing. Testing that compares software weaknesses and strengths to those of competitors' products. [
«Software
Testing and Quality Assurance
», Jyoti J. Malhotra, Bhavana S. Tiple]
204
Qualification testing. Formal testing, usually conducted by the developer for the consumer, to demonstrate that the software meets its specified requirements. [
«Software Testing Concepts And Tools», Nageshwar Rao Pusuluri]
205
Exhaustive testing. A test approach in which the test suite comprises all combinations of input values and preconditions. [ISTQB
Glossary]
206
Reliability Testing. The process of testing to determine the reliability of a software product (the ability of the software product to perform its required functions under stated conditions for a specified period of time, or for a specified number of operations).
[ISTQB Glossary]
207
Recoverability Testing. The process of testing to determine the recoverability of a software product (the capability of the software product to re-establish a specified level of performance and recover the data directly affected in case of failure). [ISTQB Glossary]
208
Failover Testing. Testing by simulating failure modes or actually causing failures in a controlled environment. Following a failure, the failover mechanism is tested to ensure that data is not lost or corrupted and that any agreed service levels are maintained
(e.g., function availability or response times). [ISTQB Glossary]
209

Подробная классификация тестирования
Тестирование программного обеспечения. Базовый курс.
© EPAM Systems, 2015–2023
Стр: 92/301 o
Тестирование масштабируемости (scalability testing
212
)
— исследова- ние способности приложения увеличивать показатели производитель- ности в соответствии с увеличением количества доступных приложе- нию ресурсов. o
Объёмное тестирование (volume testing
213
)
— исследование произво- дительности приложения при обработке различных (как правило, больших) объёмов данных. o
Стрессовое тестирование (stress testing
214
)
— исследование поведе- ния приложения при нештатных изменениях нагрузки, значительно превышающих расчётный уровень, или в ситуациях недоступности значительной части необходимых приложению ресурсов. Стрессовое тестирование может выполняться и вне контекста нагрузочного тести- рования: тогда оно, как правило, называется «тестированием на раз- рушение» (destructive testing
215
) и представляет собой крайнюю форму негативного тестирования
{82}
o
Конкурентное тестирование (concurrency testing
216
)
— исследование поведения приложения в ситуации, когда ему приходится обрабаты- вать большое количество одновременно поступающих запросов, что вызывает конкуренцию между запросами за ресурсы (базу данных, па- мять, канал передачи данных, дисковую подсистему и т.д.). Иногда под конкурентным тестированием понимают также исследование работы многопоточных приложений и корректность синхронизации действий, производимых в разных потоках.
В качестве отдельных или вспомогательных техник в рамках тестирования производительности могут использоваться тестирование использования ресурсов
{90}
, тестирование надёжности
{91}
, тестирование восстанавливаемо- сти
{91}
, тестирование отказоустойчивости
{91}
и т.д.
Подробное рассмотрение нескольких видов тестирования произво- дительности приведено в статье «Автоматизация тестирования производительности: основные положения и области примене- ния»
217 212
Scalability Testing. Testing to determine the scalability of the software product (the capability of the software product to be upgraded to accommodate increased loads). [ISTQB Glossary]
213
Volume Testing. Testing where the system is subjected to large volumes of data. [ISTQB Glossary]
214
Stress testing. A type of performance testing conducted to evaluate a system or component at or beyond the limits of its antici- pated or specified workloads, or with reduced availability of resources such as access to memory or servers. [ISTQB Glossary]
215
Destructive software testing assures proper or predictable software behavior when the software is subject to improper usage or improper input, attempts to crash a software product, tries to crack or break a software product, checks the robustness of a software product.
[«Towards Destructive Software Testing», Kiumi Akingbehin]
216
Concurrency testing. Testing to determine how the occurrence of two or more activities within the same interval of time, achieved either by interleaving the activities or by simultaneous execution, is handled by the component or system. [ISTQB Glossary]
217
«Автоматизация тестирования производительности: основные положения и области применения»
[
http://svyatoslav.biz/technologies/performance_testing/
]