How to?

Testes automáticos

Os testes automáticos enquadram-se nos sistemas de builds utilizados e correm diariamente após o lançamento de novas builds, integrados com o TFS.

https://tfs.primaverabss.com/tfs/P.TEC.Elevation/Elevation3/INT-FW/_release

Depois do deployment dos ambientes DEV e ClientApp correm os testes automáticos, sendo possível no TFS verificar o estado de cada deployment:

Processos que correm durante os testes automáticos:

• Criação de uma nova base de dados [FW_PROTOTYPE_DEV_DEFAULT_AUTOMATION] a partir de uma base de dados default.
• Execução das séries de testes disponíveis, no caso da FW as séries de testes definidas são “Configuration”, “Sales” e “Taxes”.
• Depois de cada série de testes são gerados vários ficheiros com os resultados da execução que são copiados do ReadyAPI para
  \\techstorage\build-artifacts\framework\development\Tests\Release\$(Release.ReleaseName)(nome_da_serie)

Clicar em "tests" para verificar o estado dos casos de teste:

Em caso de testes com erro é possível consultar a lista de testes falhados e o relatório onde é possível ver o pedido e a resposta com o respetivo erro:

Após a execução dos testes são gerados vários ficheiros que constituem os resultados obtidos, sendo possível consultá-los em:

\\techstorage\build-artifacts\framework\development\Tests\Release

O ficheiro “overview-summary.html” apresenta os resultados num formato html com o resumo de toda a execução.

Tal como no TFS é possível consultar o detalhe do teste:

ReadyAPI

O ReadyApi é a ferramenta utilizada para a criação dos testes automáticos. Permite a criação de testes funcionais com diferentes graus de complexidade, tendo como fonte de dados ficheiros excel, onde procede a um conjunto de iterações enviando pedidos API e comparando a resposta com o resultado esperado, definido no mesmo ficheiro.

O acesso ao ReadyAPI é feito por acesso remoto à máquina 172.16.15.162.

A imagem abaixo mostra a estrutura de um caso de teste e a sequência de passos realizados na execução do teste.

O acesso aos ficheiros excel e o check in dos mesmos pode ser feito através do Visual Studio.

Aceder ao Source Control Explorer e clicar em:

Elevation3 > FW > Prototyping > Development > Tests > Api > DataSource

Caso seja feita qualquer alteração do lado do ReadyAPI é necessário o checkin do ficheiro XML:

Elevation3 > FW > Prototyping > Development > Tests > Api > ReadyAPI

no Visual Studio, para que a alteração seja disponibilizada.

Para saber mais sobre o ReadyApi clique aqui.

Com a evolução do produto e a cada implementação de novas funcionalidades é ponderada a necessidade de criação de novos testes automáticos, sendo estes acrescentados ao leque de testes já existentes, aumentando assim a cobertura de testes que permite a garantia de qualidade do produto a entregar.