一直都是使用 Robot Framework 來進行自動化的 UAT，但因為完整的 UAT 還包括了手動測試的部份，因此在 UAT 中 Test Case 的管理上就比較麻煩一點，可能完整的 test case 是存在 excel 裡頭，再由開發人員手動填入 Robot Framework 的測試結果。
這樣真的太低級了，這不但浪費時間、易出錯，而且很難管理啊，所以必需有一個更好的管理方式。
為了解決這個問題，我們導入了 TestRail。TestRail 是一套相當好用的 Test Case / Test Plan 管理系統，而且 API 相當完整，因此拿來跟 Robot Framework 整合真是再適合不過了。使用的流程為：
- 在 TestRail 中建立Test Case
- 如果該 Test Case 有對應的 Robot Framework 自動化測試 test case，記得在 test case 中的 Tags 欄位加上 CID:n，這個 n 便是在 TestRail 中的 CID(Case ID)
- 當產品要進行完整測試時，便建立一個 Test Run，然後由 CI Server 呼叫 Robot Framework 開始進行自動化測試，接著再自動把測試結果更新到 TestRail 中對應的 Test Run Result 中(passed/failed)。接著團隊便可以知道還有那些 Test Case 未經測試(untested)，只要針對這些 test case 去補足手動測試即可。
其中比較麻煩的便是 Robot Framework 的結果要如何傳入 TestRail，因此我們做了一個小工具來進行分析 Robot Framework 執行結果，並搭配 TestRail API 來進行更新，完整的程式碼已放在 github 上:https://github.com/diro/robot-testrail
Facebook Comments Box