一直都是使用 Robot Framework 來進行自動化的 UAT,但因為完整的 UAT 還包括了手動測試的部份,因此在 UAT 中 Test Case 的管理上就比較麻煩一點,可能完整的 test case 是存在 excel 裡頭,再由開發人員手動填入 Robot Framework 的測試結果。

這樣真的太低級了,這不但浪費時間、易出錯,而且很難管理啊,所以必需有一個更好的管理方式。

為了解決這個問題,我們導入了 TestRail。TestRail 是一套相當好用的 Test Case / Test Plan 管理系統,而且 API 相當完整,因此拿來跟 Robot Framework 整合真是再適合不過了。使用的流程為:

  • 在 TestRail 中建立Test Case
  • 如果該 Test Case 有對應的 Robot Framework 自動化測試 test case,記得在 test case 中的 Tags 欄位加上 CID:n,這個 n 便是在 TestRail 中的 CID(Case ID)
  • 當產品要進行完整測試時,便建立一個 Test Run,然後由 CI Server 呼叫 Robot Framework 開始進行自動化測試,接著再自動把測試結果更新到 TestRail 中對應的 Test Run Result 中(passed/failed)。接著團隊便可以知道還有那些 Test Case 未經測試(untested),只要針對這些 test case 去補足手動測試即可。

其中比較麻煩的便是 Robot Framework 的結果要如何傳入 TestRail,因此我們做了一個小工具來進行分析 Robot Framework 執行結果,並搭配 TestRail API 來進行更新,完整的程式碼已放在 github 上:https://github.com/diro/robot-testrail

Facebook Comments Box