在DevOps環(huán)境中，將性能測(cè)試作為持續(xù)交付管道的一部分正在成為一種最佳實(shí)踐。因此，性能測(cè)試必須是連續(xù)應(yīng)用程序交付不可或缺的一部分。

越來(lái)越多的團(tuán)隊(duì)意識(shí)到，性能下降與功能下降對(duì)應(yīng)用程序質(zhì)量的影響一樣大！因此，我們將重點(diǎn)放在性能測(cè)試上，以及如何將負(fù)載和性能測(cè)試最佳地集成到應(yīng)用程序交付中。

將性能測(cè)試集成到持續(xù)交付管道中

您可以通過(guò)將選定的性能測(cè)試添加到Jenkins或您選擇的連續(xù)集成工具中并使其定期運(yùn)行，來(lái)開(kāi)始將性能測(cè)試集成到連續(xù)交付管道中。

根據(jù)您的需求，您可以在構(gòu)建/測(cè)試基礎(chǔ)結(jié)構(gòu)中的以下一項(xiàng)或多項(xiàng)中運(yùn)行性能測(cè)試：

• 在每次構(gòu)建后，以減少的性能進(jìn)行“煙霧”測(cè)試。
• 每天進(jìn)行一次更全面的性能測(cè)試。
• 每周一次或根據(jù)基礎(chǔ)結(jié)構(gòu)可用性，進(jìn)行一組長(zhǎng)期運(yùn)行的測(cè)試以進(jìn)行耐久性測(cè)試，或進(jìn)行大量負(fù)載測(cè)試以進(jìn)行壓力測(cè)試。

然而，僅靠這本身是不夠的。

手動(dòng)分析負(fù)載測(cè)試報(bào)告可能很耗時(shí)，并且可能需要并非每個(gè)開(kāi)發(fā)人員都具備的特殊技能。如果沒(méi)有自動(dòng)執(zhí)行負(fù)載測(cè)試報(bào)告分析的功能，那么查看性能測(cè)試結(jié)果將變得很繁瑣。重要的績(jī)效信息也可能會(huì)被忽略。在這種情況下，您可能會(huì)連續(xù)運(yùn)行性能測(cè)試，但是這樣做的好處將會(huì)受到限制。

自動(dòng)收集和分析性能測(cè)試結(jié)果

要獲得連續(xù)性能測(cè)試的全部好處，您需要建立一種有效的機(jī)制來(lái)分析性能測(cè)試結(jié)果。Parasoft LoadTest及其LoadTest Continuum（Parasoft SOAtest的模塊）為您提供了有助于自動(dòng)收集和分析性能測(cè)試結(jié)果的工具，并為您提供了應(yīng)用程序性能的見(jiàn)解。

如何設(shè)置環(huán)境以連續(xù)執(zhí)行性能測(cè)試

以下步驟將幫助您設(shè)置環(huán)境以使用Parasoft LoadTest和LoadTest Continuum進(jìn)行連續(xù)的性能測(cè)試：

1. 查看并配置LoadTest項(xiàng)目QoS指標(biāo)以實(shí)現(xiàn)自動(dòng)化。
2. 部署和配置LoadTest Continuum以進(jìn)行負(fù)載測(cè)試報(bào)告收集。
3. 將LoadTest項(xiàng)目分批配置以執(zhí)行。
4. 作為連續(xù)集成的一部分，開(kāi)始運(yùn)行LoadTest項(xiàng)目批處理，并使用LoadTest Continuum定期檢查和分析性能測(cè)試結(jié)果。

我將在下面分別詳細(xì)介紹這些步驟。

第1步——查看和配置自動(dòng)化的QoS指標(biāo)

Parasoft LoadTest服務(wù)質(zhì)量（QoS）指標(biāo)是自動(dòng)化性能測(cè)試結(jié)果分析的關(guān)鍵功能之一。QoS指標(biāo)可將負(fù)載測(cè)試報(bào)告中的大量數(shù)據(jù)減少為一組有關(guān)您的應(yīng)用程序性能的成功/失敗答案。Parasoft LoadTest提供了豐富的QoS度量標(biāo)準(zhǔn)集，從可用閾值度量標(biāo)準(zhǔn)到自定義腳本度量標(biāo)準(zhǔn)，允許您使用LoadTest API進(jìn)行高級(jí)負(fù)載測(cè)試數(shù)據(jù)分析。

要準(zhǔn)備用于自動(dòng)化的性能測(cè)試，您需要查看LoadTest項(xiàng)目中的QoS指標(biāo)。運(yùn)行一個(gè)LoadTest項(xiàng)目并檢查報(bào)告：用于手動(dòng)分析負(fù)載測(cè)試報(bào)告的所有成功和失敗標(biāo)準(zhǔn)都應(yīng)表示為QoS指標(biāo)。將盡可能多的指標(biāo)轉(zhuǎn)換為“數(shù)字”指標(biāo)。數(shù)字QoS指標(biāo)不僅返回成功/失敗結(jié)果，而且還量化該指標(biāo)的關(guān)鍵性能指標(biāo)。例如，驗(yàn)證CPU利用率閾值的指標(biāo)還將提供實(shí)際的CPU利用率值作為數(shù)字指標(biāo)。

數(shù)字度量標(biāo)準(zhǔn)在LoadTest Continuum中被廣泛使用，以繪制隨時(shí)間變化的度量標(biāo)準(zhǔn)性能：

圖1.在LoadTest Continuum報(bào)告中繪制的數(shù)字度量結(jié)果。

為LoadTest項(xiàng)目配置QoS指標(biāo)后，就可以設(shè)置LoadTest Continuum進(jìn)行性能數(shù)據(jù)收集和分析了。

第2步——部署和配置LoadTest Continuum

部署和配置LoadTest Continuum ltc.war Web應(yīng)用程序歸檔文件（從9.10.2版開(kāi)始在SOAtest/LoadTest安裝目錄中提供），如LoadTest文檔的“LoadTest Continuum”部分中所述。

第3步——將LoadTest項(xiàng)目配置為批處理以執(zhí)行

將您的LoadTest項(xiàng)目組合到.cmd腳本中以批量執(zhí)行。通過(guò)LoadTest .cmd腳本，您可以指定將組成不同性能測(cè)試集的項(xiàng)目組，例如前面提到的“煙霧”測(cè)試，每日測(cè)試或周末測(cè)試。

配置.cmd腳本，以將報(bào)告數(shù)據(jù)發(fā)送到LoadTest Continuum，如LoadTest文檔的“將報(bào)告發(fā)送到LoadTest Continuum”部分中所述。設(shè)置您的持續(xù)集成工具，以在構(gòu)建過(guò)程中或定期運(yùn)行LoadTest .cmd腳本。例如，在Jenkins中，您可以使用“執(zhí)行Windows批處理”命令構(gòu)建步驟來(lái)運(yùn)行LoadTest .cmd腳本，如下所示：

%SOATEST_HOME%\lt.exe" -J-Xmx4096M -cmd -run "%WORKSPACE%\ltcontinuum.cmd

第4步——在Parasoft DTP中設(shè)置儀表板

Parasoft DTP包含報(bào)告和分析儀表板，使您可以使用各種小部件和報(bào)告來(lái)監(jiān)視軟件項(xiàng)目的運(yùn)行狀況和進(jìn)度。

使用Parasoft LoadTest Continuum DTP小部件，您可以將最新的LoadTest結(jié)果摘要添加到DTP項(xiàng)目?jī)x表板，并提供一種快速的方法來(lái)評(píng)估日常項(xiàng)目狀態(tài)檢查例程中性能測(cè)試結(jié)果的狀態(tài)。

該小部件顯示最近一次LoadTest運(yùn)行的總數(shù)，通過(guò)的和失敗的測(cè)試以及指標(biāo)的數(shù)量。要更詳細(xì)地查看結(jié)果，請(qǐng)單擊小部件中的項(xiàng)目鏈接，然后LoadTest Continuum頁(yè)面將在新選項(xiàng)卡中打開(kāi)。

圖2. DTP儀表板上的LoadTest Continuum小部件。

要在DTP中設(shè)置LoadTest Continuum自定義HTML窗口小部件，只需執(zhí)行以下步驟：

1. 在Parasoft DTP報(bào)告中心中，創(chuàng)建一個(gè)新的儀表板或打開(kāi)一個(gè)現(xiàn)有的儀表板。
2. 按添加小部件。在“添加小部件”對(duì)話框中，選擇“自定義”->“自定義HTML小部件”。
3. 將以下文件的內(nèi)容從LoadTest Continuum安裝復(fù)制到對(duì)話框的HTML文本區(qū)域：%TOMCAT_HOME%\webapps\ltc\dtp\ltc_dtp_widget.html
4. 使用自定義設(shè)置修改HTML：
1. 找到getServerURL()函數(shù)。使用LoadTest Continuum安裝的主機(jī)和端口修改返回值。
2. 找到getProjectName()函數(shù)。使用您要在小部件中跟蹤的項(xiàng)目的名稱修改返回值。
5. 按創(chuàng)建。

第5步——審查和分析性能測(cè)試結(jié)果

Parasoft LoadTest Continuum既是LoadTest報(bào)告的收集點(diǎn)，又是分析工具，可以組織多次運(yùn)行的負(fù)載測(cè)試數(shù)據(jù)。LoadTest Continuum將數(shù)據(jù)組織成一個(gè)信息金字塔，使您能夠以各種詳細(xì)程度查看性能測(cè)試結(jié)果，從頂部的高層每日摘要到核心的QoS指標(biāo)結(jié)果，再到詳細(xì)的負(fù)載測(cè)試報(bào)告，底部：

圖3. LoadTest Continuum每日摘要和測(cè)試指標(biāo)視圖。

考慮以下工作流程作為定期（每日）測(cè)試審查的示例：

1. 對(duì)于失敗的測(cè)試，請(qǐng)執(zhí)行以下步驟：
1. 打開(kāi)測(cè)試歷史記錄視圖，檢查測(cè)試是否定期或偶爾失敗。第一種情況很可能表明回歸。第二種情況是不穩(wěn)定。
2. 檢查測(cè)試的失敗指標(biāo)：
1. 對(duì)于數(shù)字指標(biāo)，請(qǐng)打開(kāi)“指標(biāo)歷史記錄”圖形視圖。使用指標(biāo)歷史記錄圖表獲得見(jiàn)解。例如，如果度量標(biāo)準(zhǔn)所屬的測(cè)試不穩(wěn)定，那么度量標(biāo)準(zhǔn)圖形的微小波動(dòng)通常表明度量標(biāo)準(zhǔn)閾值需要調(diào)整。較大的波動(dòng)表明代碼或基礎(chǔ)結(jié)構(gòu)存在問(wèn)題。
2. 打開(kāi)此測(cè)試的所有圖形鏈接。在同一測(cè)試中檢查其他數(shù)字指標(biāo)的圖，以查看未超過(guò)指標(biāo)閾值的波動(dòng)。
2. 如果尚未設(shè)置LoadTest Continuum DTP小部件，請(qǐng)先在LTC項(xiàng)目主頁(yè)面中檢查測(cè)試和指標(biāo)的成功/失敗摘要。
3. 對(duì)于失敗的項(xiàng)目，請(qǐng)單擊指向LTC項(xiàng)目頁(yè)面的鏈接以檢查詳細(xì)信息。
4. 首先在LoadTest Continuum DTP小部件中檢查最新負(fù)載測(cè)試運(yùn)行的狀態(tài)。
5. 對(duì)此指標(biāo)鏈接的“所有圖形”執(zhí)行相同的操作，以檢查其他測(cè)試的相似指標(biāo)是否受到影響。如果是，則表明您的應(yīng)用程序或基礎(chǔ)結(jié)構(gòu)存在系統(tǒng)性問(wèn)題，而不僅限于單個(gè)測(cè)試（請(qǐng)參見(jiàn)圖4）。
6. 要進(jìn)行更深入的分析，請(qǐng)打開(kāi)失敗測(cè)試的HTML或二進(jìn)制“負(fù)載測(cè)試”報(bào)告。

圖4.負(fù)載測(cè)試連續(xù)體相同度量標(biāo)準(zhǔn)視圖的所有圖形都顯示了在多個(gè)測(cè)試中CPU％度量標(biāo)準(zhǔn)的性能提高。

將性能測(cè)試過(guò)程集成到連續(xù)交付管道中對(duì)于確保軟件質(zhì)量至關(guān)重要。為了充分利用此過(guò)程，您需要為性能測(cè)試結(jié)果分析自動(dòng)化建立有效的機(jī)制。

與Parasoft保持連續(xù)

您可以在Parasoft SOAtest中使用Parasoft LoadTest和LoadTest Continuum進(jìn)行設(shè)置，該軟件提供了實(shí)現(xiàn)所有崇高測(cè)試結(jié)果分析自動(dòng)化目標(biāo)所需的一切。通過(guò)功能測(cè)試中的復(fù)雜自動(dòng)化，您可以獲取更高質(zhì)量的軟件。

學(xué)到更多：

• 通過(guò)這5種美妙的技術(shù)組合成為更智能的軟件測(cè)試人員
• 什么是DTP，為何如此強(qiáng)大？
• 了解有關(guān)Parasoft SOAtest和Parasoft LoadTest的更多信息