Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 1 Softw ar e qual ity assu r anc days Internat ional  Confer ence  of   Sof twar Qualit As sur ance sq adays .com M insk M ay 25 26, 201 8 Ale xander  Podel k o Or ac le. Sta m fo r d,  CT , USA Cont inuous Perform ance  T esting  Myths  and  Realities
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 2 “Traditional”  Approach Lo ad  / Pe rform an ce  Testin is: - Last m oment  bef ore  deployment - Las step in the waterfall proc ess - Larg cor pora tions - Expensive  tools  requiring  spec ial  sk ills - Protocol  leve rec ord - and - playback - Lab env ironmen t - Scale - dow env ironmen t - Che ck ing  agains give n requir emen ts  / SLAs  - Throwing  it back   over   the wall if   reqs are not  met -
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 3 Agenda Agil e Dev elo pme nt  & Perfo rman ce  Testing Contin uous  Performance  Testing Performance  Eng ine erin g Pu zz le:   Chan gin Dy nam ics D i scl ai m er:   T he  vi ew ex pressed  here ar m y   persona l   vi ew onl y   and   do not  nece ssaril y   r epresen t   t hose   of my   curr ent  or  previ ous  empl oy ers.   A l l   brands  and   t r ade m arks  m entio ned   are  t he  propert y   of thei r   ow ners.
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 4 Agil e De velopm ent Agi le de velop me nt  shou ld  be  rat he a t rivial  case  fo pe rfo rma nce  te sting - You  ha ve  a  work in sy st em eac h i ter ati on  to   tes ea rly  by   de fin iti on . - You  ne ed  pe rfo rma nc en gi ne er   for  th e whole   pr oj ec Sa vin gs  come f rom   detecting  pr obl ems  early You  ne ed  to   ad just re qu irem en ts  for  imp lem en ted   fun ction ali ty - Additi ona fun cti ona lity   will i mpac t pe rfo rman ce
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 5 The Main Issue on the Agile Side It  doe sn’t  [al ways work  thi s way   in  practice That  is why   you  have  “Hardening  Iterat ions”,  “Technical  Debt”  and  similar no tion s Same  ol d p robl em:   fun ctiona lit y gets  prio rity  over  performa nce
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 6 The Main Issue on the Testing Si de Perfo rman ce  Eng ine erin g t ea ms  do n’t  scale  well - Even  as su ming   tha t they   ar e c omp ete nt  an effe cti ve Increa sed  volum expo ses  the   pro ble m - Earl tes tin g - Each  it er ati on Reme die s:  au tom ati on ma king  pe rform an ce  everyo ne ’s  jo
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 7 Mentali ty  Change Makin pe rfo rman ce  eve ryon e’ job La te  reco rd/ playb ack  pe rfo rman ce  test ing  - > Early  Perfor mance  Engine ering System - level  req uire men ts  - > Compo ne nt - level req uire men ts Record/ playba ck  app roach   - > Programming   to  ge ne rat load /cre ate  stub s "Bl ack Box"   - > " Grey  Box”
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 8 Expl oratory  Testing Rathe ali en  for p erform ance  testin g,  but   probab ly m ore  relevant  than  for  function al  testing We l earn  ab out   sy stem’s  perfo rman ce  as we  start  to  run te st - Only  gu es se s for  ne w sy st ems Rather  a pe rformance  engi neerin proces bringi ng t he sys tem  to t he p roper  state  than   just  testing
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 9 Test Approach Dim ension New W ell - kno wn Sy stem T estin Ap pro ach Explorator Agile Automat ed  Regres sion T raditional