Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 1 Softw ar e qual ity assu r anc e  days Internat ional  Confer ence  of   Sof twar e  Qualit y  As sur ance sq adays .com M insk .  M ay 25 – 26, 201 8 Ale xander  Podel k o Or ac le. Sta m fo r d,  CT , USA Cont inuous Perform ance  T esting  Myths  and  Realities
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 2 “Traditional”  Approach • Lo ad  / Pe rform an ce  Testin g  is: - Last m oment  bef ore  deployment - Las t  step in the waterfall proc ess - Larg e  cor pora tions - Expensive  tools  requiring  spec ial  sk ills - Protocol  leve l  rec ord - and - playback - Lab env ironmen t - Scale - dow n  env ironmen t - Che ck ing  agains t  give n requir emen ts  / SLAs  - Throwing  it back   over   the wall if   reqs are not  met - …
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 3 Agenda • Agil e Dev elo pme nt  & Perfo rman ce  Testing • Contin uous  Performance  Testing • Performance  Eng ine erin g Pu zz le:   Chan gin g  Dy nam ics D i scl ai m er:   T he  vi ew s  ex pressed  here ar e  m y   persona l   vi ew s  onl y   and   do not  nece ssaril y   r epresen t   t hose   of my   curr ent  or  previ ous  empl oy ers.   A l l   brands  and   t r ade m arks  m entio ned   are  t he  propert y   of thei r   ow ners.
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 4 Agil e De velopm ent • Agi le de velop me nt  shou ld  be  rat he r  a t rivial  case  fo r  pe rfo rma nce  te sting - You  ha ve  a  work in g  sy st em eac h i ter ati on  to   tes t  ea rly  by   de fin iti on . - You  ne ed  pe rfo rma nc e  en gi ne er   for  th e whole   pr oj ec t  • Sa vin gs  come f rom   detecting  pr obl ems  early • You  ne ed  to   ad just re qu irem en ts  for  imp lem en ted   fun ction ali ty - Additi ona l  fun cti ona lity   will i mpac t pe rfo rman ce
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 5 The Main Issue on the Agile Side • It  doe sn’t  [al ways ]  work  thi s way   in  practice • That  is why   you  have  “Hardening  Iterat ions”,  “Technical  Debt”  and  similar no tion s • Same  ol d p robl em:   fun ctiona lit y gets  prio rity  over  performa nce
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 6 The Main Issue on the Testing Si de • Perfo rman ce  Eng ine erin g t ea ms  do n’t  scale  well - Even  as su ming   tha t they   ar e c omp ete nt  an d  effe cti ve • Increa sed  volum e  expo ses  the   pro ble m - Earl y  tes tin g - Each  it er ati on • Reme die s:  au tom ati on ,  ma king  pe rform an ce  everyo ne ’s  jo b 
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 7 Mentali ty  Change • Makin g  pe rfo rman ce  eve ryon e’ s  job • La te  reco rd/ playb ack  pe rfo rman ce  test ing  - > Early  Perfor mance  Engine ering • System - level  req uire men ts  - > Compo ne nt - level req uire men ts • Record/ playba ck  app roach   - > Programming   to  ge ne rat e  load /cre ate  stub s • "Bl ack Box"   - > " Grey  Box”
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 8 Expl oratory  Testing • Rathe r  ali en  for p erform ance  testin g,  but   probab ly m ore  relevant  than  for  function al  testing • We l earn  ab out   sy stem’s  perfo rman ce  as we  start  to  run te st - Only  gu es se s for  ne w sy st ems • Rather  a pe rformance  engi neerin g  proces s  bringi ng t he sys tem  to t he p roper  state  than   just  testing
Con tin u ous Perf orman ce  T es tin g   Myths  and  R eal itie s 9 Test Approach Dim ension New W ell - kno wn Sy stem T estin g  Ap pro ach Explorator y  /  Agile Automat ed  /  Regres sion T raditional