連續(xù)運行自動化測試似乎很容易。CI系統(tǒng)是關(guān)鍵，可為敏捷開發(fā)團隊提供對其應(yīng)用程序運行狀況的及時可見性。如果自動測試通過，則該應(yīng)用程序運行狀況良好。如果測試失敗，則應(yīng)用程序會以某種方式損壞。還是？不幸的現(xiàn)實是，自動化測試并不總是給我們這樣的信心，特別是在運行Selenium測試時。Selenium測試可能由于多種原因而失敗，無論應(yīng)用程序是否以任何方式損壞或更改。這些問題在上一篇博客文章（UI測試自動化：輕松擺脫Selenium問題）中進行了詳細介紹。在這里，我將說明如何修改CI/CD管道以自動解決這些問題，從而提高對CI系統(tǒng)測試結(jié)果的信心。

Selenium CI的悲哀

CI/CD放大了Selenium測試問題。讓我們看看這是怎么發(fā)生的。首先，開發(fā)會進行一些代碼更改。CI系統(tǒng)檢測到更改并觸發(fā)構(gòu)建管道。編譯模塊，運行并通過單元測試（是！），然后打包應(yīng)用程序以進行部署。接下來，部署管道將觸發(fā)下一步，搭建測試環(huán)境，部署被測應(yīng)用程序，然后啟動集成測試，其中許多測試是使用Selenium編寫的。并非所有Selenium測試都通過了這一點，CI系統(tǒng)會通過電子郵件將測試失敗通知各個人。這些人會做出反應(yīng)，有時會花費大量時間進行調(diào)查和故障排除。產(chǎn)品所有者、經(jīng)理和其他相關(guān)方也可以在儀表板上看到故障，從而將注意力從其他方面轉(zhuǎn)移到其他方面。知道Selenium測試本身是不穩(wěn)定的，那么誰能相信CI/CD報告了真正的回歸或缺陷？排查誤報浪費了多少時間？

簡單地改進Selenium測試可能并非易事，有時涉及反復(fù)試驗，尤其是在問題斷斷續(xù)續(xù)或難以重現(xiàn)時。從一個構(gòu)建到另一個構(gòu)建，可能會四處走動的故障，沒有任何可歸咎的測試。它們可能是系統(tǒng)問題，也可能是環(huán)境問題。CI系統(tǒng)可以使用性能特性不一致的VM或基于云的執(zhí)行程序。測試在開發(fā)人員工作站上運行并通過，但CI自動化失敗。聽起來有點耳熟？

Selenium CI如何解決

開發(fā)是為了幫助應(yīng)對此類挑戰(zhàn)。Selenic可以自動分析和糾正Selenium測試問題，提供對這些問題的修復(fù)或洞察力，并在CI系統(tǒng)通知人類時使這些發(fā)現(xiàn)可用。負(fù)擔(dān)轉(zhuǎn)移到CI系統(tǒng)，而不是對來自CI系統(tǒng)通知的人員做出反應(yīng)。僅需兩個簡單的步驟，即可使用自動完成將Selenium測試作為CI/CD管道的一部分進行修復(fù)的過程。

注入Selenium代理

要集成，您可以對現(xiàn)有的測試執(zhí)行腳本進行單行更改。假設(shè)我在管道中有一個Maven執(zhí)行步驟正在驅(qū)動基于Java的Selenium測試。通常，我指定兩個Maven目標(biāo)：“清除”和“測試”，這兩個目標(biāo)作為命令行參數(shù)傳遞給Maven。在這里，您只是添加了一個額外的Maven命令行參數(shù)：

-DargLine=-javaagent:${SELENIC_HOME}/selenic_agent.jar=selfHealing=true,sessionId=${BUILD_TAG}

在Jenkins CI中，這可能看起來像這樣：

現(xiàn)在，只要在“SELENIC_HOME”變量所引用的位置安裝并許可了Selenic，就可以將Selenic代理注入到測試執(zhí)行過程中。Selenic代理可以做各種事情，但是出于穩(wěn)定測試的目的，我僅啟用“自我修復(fù)”功能，該功能試圖實時識別和修復(fù)Selenium測試問題。

要仔細考慮的一件事是您的Selenium測試是否全部存在于一個模塊中，或者是否存在多個模塊中的測試。通常出于組織目的將測試分為多個模塊。為了讓Selenic聚合來自多個測試模塊的信息，必須配置“sessionId”參數(shù)。在上面的示例中，我使用的是“BUILD_TAG”，它是Jenkins CI系統(tǒng)中的一個預(yù)定義變量，可以很好地實現(xiàn)此目的。無論使用哪種CI系統(tǒng)，我的建議都是使用CI系統(tǒng)提供的變量來構(gòu)造唯一的會話標(biāo)識符。

進行了單行更改后，Selenic會自動識別并糾正測試穩(wěn)定性問題，使每個人對CI系統(tǒng)發(fā)布的測試結(jié)果更有信心。但是，我建議再集成一個Selenic組件。

運行Selenic Analyzer

我們?nèi)绾沃?/span>Selenic發(fā)現(xiàn)了什么問題或糾正了什么問題？我應(yīng)該對Selenium測試進行一些更改，以避免Selenic發(fā)現(xiàn)的問題嗎？要獲取此信息，您可以將Selenic Analyzer運行為管道中的另一個執(zhí)行步驟。這是第二個單行更改，但仍然微不足道：

java -jar $SELENIC_HOME/selenic_analyzer.jar -report target/selenic-reports -sessionId ${BUILD_TAG}

在Jenkins CI中，這可能看起來像這樣：

Selenic Analyzer收集早期由Selenic Agent記錄的信息，對數(shù)據(jù)執(zhí)行一些附加分析，然后構(gòu)建一些報告，然后由CI系統(tǒng)將其存檔。默認(rèn)情況下，分析器處理來自最新會話的信息，但出于魯棒性的考慮，我建議使用配置Selenic Agent時使用的相同值顯式配置“-sessionId”參數(shù)。

Selenic Analyzer默認(rèn)情況下將報告寫入當(dāng)前工作目錄中。但是，為了使報告的歸檔更加容易，您應(yīng)該添加“-report”參數(shù)來指示Selenic將報告寫入項目的構(gòu)建輸出目錄中的“selenic-reports”文件夾中。完成此操作后，您將在管道中再添加一個步驟來存檔“target/selenic-reports/**”：

現(xiàn)在，通過CI系統(tǒng)，每個人都可以使用該報告文件。對于Jenkins CI，可以通過穩(wěn)定的URL方便地訪問報告：

//{ci_server}/job/{test_job}/lastSuccessfulBuild/artifact/target/selenic-reports/report.html

//{ci_server}/job/{test_job}/lastSuccessfulBuild/artifact/target/selenic-reports/report.json

第一個URL指向可以在Web瀏覽器中直接查看的Selenic HTML報告。第二個URL指向JSON報告，開發(fā)人員可以將其提供給Selenic IDE插件，以從上一次自動測試運行中導(dǎo)入建議。

其他注意事項

Selenic還有許多其他選項，您可以考慮根據(jù)測試環(huán)境和其他特定需求啟用它們。

Selenic記錄每個測試會話的數(shù)據(jù)。記錄的數(shù)據(jù)可作為知識庫，使Selenic能夠隨著時間的推移學(xué)習(xí)并做出更好的自我修復(fù)決策和建議。默認(rèn)情況下，此數(shù)據(jù)存儲在執(zhí)行測試的計算機上。因此，如果您有一個執(zhí)行程序池，那么您希望此數(shù)據(jù)位于所有執(zhí)行程序都可以訪問的共享文件夾中。可以通過將“data={path}”參數(shù)傳遞給Selenic Agent和將“-data {path}”參數(shù)傳遞給Selenic Analyzer來顯式配置數(shù)據(jù)位置，其中“{path}”將是共享文件夾的文件系統(tǒng)路徑。在Windows上，這可能是UNC路徑，例如\\HostName\SharedFolder。除非受到約束，否則記錄的數(shù)據(jù)還將無限期累積。最終可能導(dǎo)致高磁盤使用率。可以通過將“maxSessionDaysToKeep={num_days}”參數(shù)傳遞給Selenic代理來配置記錄的測試會話數(shù)限制。“{num_days}”是記錄數(shù)據(jù)的天數(shù)，而不是日歷天。換句話說，Selenic不會計算沒有記錄測試會話數(shù)據(jù)的任何日子。如果不經(jīng)常地、以不固定的間隔運行測試，或者由于服務(wù)器停機而導(dǎo)致您錯過了幾天的運行測試，這將很有幫助。

Selenic還可以配置為以各種粒度級別捕獲其他診斷信息。例如，可以將Selenic配置為捕獲每個Selenium操作或僅針對失敗操作的屏幕截圖。要啟用有關(guān)測試失敗的屏幕截圖，您可以將“screenshot= failures”參數(shù)傳遞給Selenic Agent。 Selenic Analyzer生成的HTML報告中提供了失敗的屏幕截圖。

CI/CD + Selenic = ?

的構(gòu)建旨在使用Selenium作為CI/CD的一部分來加速敏捷開發(fā)。開發(fā)人員和測試人員可以提高生產(chǎn)效率，減少追尋Selenium“幽靈”的時間，而將更多的時間用于處理真實事物。使用Selenic增強對Selenium測試結(jié)果的信心。。