Mesurem per treballar o treballem per mesurar?
2048 EnllàMesurem per treballar o treballem per mesurar?
Escolta'l a
Aquesta setmana ens prenem un descans i deixem aparcat el món de la Intel·ligència Artificial per parlar d'un dels aspectes centrals en el desenvolupament de productes de software: les dades i les mesures. Parlem de mètriques útils i dels processos que ajuden a validar els nostres esforços com a enginyers i desenvolupadors de productes.
Seguiu-nos a les xarxes a X (Twitter) o LinkedIn. Visiteu la nostra web 2048enlla.cat. Per cert, si voleu rebre notificacions quan publiquem nous episodis us demanem que us doneu d'alta al nostre canal de Telegram.
David
0:06 Òscar, mesurem per treballar o treballem per mesurar?
Oscar
0:35 Hola, David. Idealment, hauríem de mesurar per treballar. Mmm, crec que a vegades acabem sent una mica esclaus d'aquestes mesures o d'aquestes mètriques que posem o que intentem seguir, i acabem fent feina o adaptant els processos per satisfer aquestes mètriques.
1:05 O sigui, la pregunta que em faig és: quin valor ens afegeixen les mètriques, no? Quin és l'objectiu? De quina manera… o, o quin és el, quin és el sentit, no?
1:17 De tenir mètriques, per què les fem servir? Idealment, per validar aquelles coses que volem dur a terme. Amb la qual cosa, hem de tenir una mica en compte tipus de mètriques, mètriques quantitatives, qualitatives.
1:35 Tema ampli, eh, avui.
David
1:37 Avui és un tema profund. Ah, per intentar introduir una mica o, o veure què ens porta aquesta situació de, d'esclavitud vers la mètrica, que estic completament d'acord, és un problema real, pensem una mica: com podem mitigar o, o quina cosa s'ha de, s'ha de fer quan dissenyem una mètrica o quan identifiquem una mètrica per evitar caure en aquest parany?
2:05 O no és ben bé en la fase de, d'establiment de la mètrica on el problema rau? Què, què en penses?
Oscar
2:15 Sí, penso que la mètrica o la fase d'establiment de la mètrica ve després d'entendre bé el problema, no? D'entendre bé què és el que volem validar i com podem mesurar-ho per, per donar-nos de manera ràpida que potser la hipòtesi és bona o no, i després quin tipus de, quin tipus de mètrica, no?
2:36 Hi ha molt… o sigui, és, és el que dèiem, és un tema molt ampli, no? Anem a, anem a coses quantificables: nombre d'usuaris d'una aplicació, tràfic, coses que sí que podem obtenir números reals en els quals podem dir: "Vale, estem prenent una sèrie de decisions perquè mesurem que el nostre tràfic, el nostre nombre d'usuaris és tal".
3:06 Mètriques que, per exemple, no crec que siguin tan objectives o que tinguin un… que puguin estar tan acotades: línies de codi i com les fem servir, com les relacionem amb, doncs, productivitat.
David
3:21 Mhm.
Oscar
3:22 Línies de codi afegides, pues intentem mesurar o intentem determinar productivitat d'equips en base a això. La meva opinió, això és més erroni que, que beneficiós.
David
3:35 Sí, sí, aquest, aquest últim cas el tinc, el tinc molt… estic molt convençut que ens hem fet molt mal, eh, a la nostra disciplina per intentar utilitzar, gairebé diria mètriques volumètriques, per intentar quantificar coses com la productivitat, perquè crec que això indica no entendre massa bé com es fa software, com s'escriu software, què és important, quines propietats són importants en el software.
4:04 I certament, el volum o la mida de, d'una contribució poques vegades té una correlació directa amb la qualitat de la solució que estem posant en marxa. Però tornant al tema del, de la mètrica, de-del disseny de la mètrica, deies una cosa, per exemple, en quant al nombre d'usuaris, com una mètrica bastant clara per, per comptar alguna cosa.
4:32 Hi ha una part quantitativa… eh, qualitativa d'aquestes mètriques que no, que no… que queda molt emmascarada. Sempre penso, per exemple, en el cas de, de les xarxes socials o de, fins i tot, d'empreses on el que ha primat ha estat fer créixer un nombre d'usuaris o fer créixer un nombre de subscriptors o coses d'aquest estil.
4:53 En aquestes empreses, per exemple, imaginem la situació que Twitter dissenya una mètrica on decideix que una manera de, de mesurar, eh, com d'actius estan els seus usuaris és comptar el nombre de retuits per usuari per dia o el nombre de retuits per, per tuits per dia o el, o el que sigui.
5:16 Clar, és molt perillós definir mètriques així, que certament sí que signifiquen que la gent està dedicant més hores a la plataforma, però indirectament penso que també crees una situació on hi haurà de cop i volta un equip que vulgui optimitzar les seves deci… o vull, vull prendre decisions per optimitzar aquesta mètrica i es crearan incentius bastant perversos.
5:38 Per exemple, tothom sap que el contingut que genera més controvèrsia segurament serà el que farà pujar aquesta mètrica més. Llavors, una mica inconscientment, suposem que inconscientment, has creat una mètrica que pot acabar danyant moltíssim la imatge de la teva eina com a plataforma o que pot crear una situació on no sigui un espai Còmode pels usuaris i fins i tot acabi danyant la reputació del teu, del teu, del teu servei.
6:10 Aquest és un exemple d'una mètrica que si va cap a dalt, en principi és correcte, però, però acabes generant uns incentius bastant perversos. Jo crec que en la fase de concepció de les mètriques s'ha de, s'ha d'evitar connectar directament l'èxit de, d'equips i de persones en un augment incondicional d'una mètrica o en un canvi incondicional d'una mètrica.
6:35 Això no soluciona el problema de fons, òbviament. El problema de fons és millorar la nostra… e-entendre com mesurar o com, com definir bé coses que poden… que correlen bé amb un problema estant, està ben… quan està ben solucionat i intentar entendre més la profunditat d'aquestes mètriques sense, sense convertir-nos en, en esclaus.
7:00 Però, però és un problema certament molt complicat.
Oscar
7:04 Però estic molt d'acord, eh? I, i, i crec que és un, és un, és un fil interessant per estirar. Però no creus que potser el que passa és que realment hi ha va… diversos tipus de mètriques, diversos… o sigui, o mètriques que tenen natures diferents i objectius diferents.
7:25 En aquest cas, mesurar l'èxit d'una plataforma mitjançant el nombre d'interaccions que un usuari pot tenir amb la plataforma, ja sigui nombre de retuits, ja sigui nombre de likes, en el cas de, en el cas de Twitter. Crec que és una mètrica interessant, però que és una mètrica que és això, o sigui, mesurar el, l'èxit o el grau d'interacció, no?
7:49 I és, és algo que pots tenir en compte. Traslladar aquesta mètrica directament a equips perquè mesurin el, la, el seu… o creïn els seus objectius en base a això, crec que és el que realment acaba confonent una miqueta i el que pot acabar en aquest, en aquesta perversió, no?
8:11 Perquè, evidentment, per poder tenir més interaccions podem facilitar l'accés a contingut una mica més polèmic i... Llavors, potser hauríem d'haver… de segregar bé, no? El que és quantitat amb qualitat i llavors obtenir uns objectius sòlids, quantificables, però que no posin en perill el… la imatge, no?
8:39 Llavors, és el que et deia, la, la perillositat de centrar-nos directament en les mètriques i acabar prenent decisions només per satisfer aquestes mètriques, quan realment, en diferents contextos, eh, són, són realment i tenen natures diferents.
David
8:54 Estic d'acord. Crec que tothom participa, participa d'aquest problema, en general, de la falta de, de, d'educació en, en, en què vol dir una mètrica. Per exemple, tenim… imaginem-nos, tot el món de les xarxes socials, torno a utilitzar l'exemple, és, és força clar.
9:15 Imaginem-nos que, que els anunciants que estan pagant diners per anunciar-se a Twitter, el que volen és volum. Jo crec que haurien de voler també una certa qualitat o, o vull dir, un, un, algun conversion rate que estigui alineat amb els seus objectius i tot això.
9:35 Però al llarg de tota aquesta cadena, dintre de Twitter i fora de Twitter, aquest… el créixer pel fet de créixer és el que acaba fent, creant aquests incentius perversos. Un anunciant vol més vista… vol més anuncis vistos.
9:51 Twitter per… sap que perquè hi hagi més, més anuncis vistos, ha de tenir contingut que atragui més gent. Llavors, Twitter decideix quina és la manera de tenir més contingut que atragui més gent.
10:02 Doncs, doncs fem que una de les mètriques que, que seguim sigui la de quants retuits té, té un, té un tuit. Això pot ser un accident inicialment, però realment hi ha una traducció en dòlars que entren en aquesta empresa perquè els anunciants pagaran més si allò té més, més, eh, visites.
10:22 I aquí és on s'ha trencat tot. Ningú en tota aquesta cadena, de dintre i de fora, realment acaba pensant: "Val, però la qualitat també importa. Val, però podria ser que això sigui un benefici molt gran econòmic en els propers mesos, però el dany irreparable de la, de la confiança que dona aquesta plataforma ens, ens faci mal a la llarga".
10:46 Tothom optimitza pel, pel número cru i per un termini molt… per un horitzó molt curt de temps i acabes en aquesta situació on, on les mètriques s'acaben desvirtuant. Això combinat, òbviament, amb la falta de tenir… amb, amb la falta de bones mètriques per capturar altres aspectes més qualitatius, òbviament, de, de les, de les plataformes.
Oscar
11:10 Sí, o sigui, el… és que el tema de les xarxes socials crec que és un tema controvertit, perquè realment les mètriques de, d'èxit de, de xarxes socials, i tornem, potser no només per centrar en Twitter, no?
11:27 Twitter, Instagram-
David
11:28 Sí, sí.
Oscar
11:28 YouTube... Plataformes on igual que on estem nosaltres també, a veure, no, no ens oblidem. Vull dir, acaben mesurant èxit per una sèrie de, de, d'interaccions que al final acaben, acaben repartint-se tant en el consumidor com en el que ofereix.
David
11:46 Sí, sí.
Oscar
11:47 Saps què vull dir? O sigui, tu com a, com a usuari de Twitter, com a usuari individual, evidentment, contra més seguidors tinguis, ehm, ehm, millor, és, és més exitós i pots arribar inclús a entrar en aquest programa de, de recompenses, monetització i, i tal.
12:06 Però clar, això... Posa en perill i a vegades és una mica... i, i, i crec que s… que s'observa ara mateix a Twitter, per dir-ho d'alguna manera, i a la… jo tinc el "feed" a vegades ple de coses que, que ni, ni vull seguir, ni segueixo o que bloquejo i que no tenen res a veure amb el que realment em pot interessar.
12:31 Precisament per això, no? Perquè el, el ràtio d'èxit de la plataforma es mesura amb el nombre d'interaccions que té, el nombre d'interaccions es trasllada a l'usuari i els usuaris acaben generant contingut o acaben que, que, bueno, vull dir, és, és, és com molt, és com molt ampli, no?
12:50 Com es trasllada i com s'acaba diversificant un concepte que no deixa de ser un número i un número que té sentit en determinats contextos, ampliat pràcticament a la manera amb la que, amb la que interaccionem en, en xarxes socials.
David
13:08 Sí, és cert que, que tots en participem una mica de, d'aquesta inflació dels, de les mètriques i el tema dels seguidors és un, és un exemple clar de tot això. Potser podríem parlar una mica de, de la fase de descobriment d'una, d'una mètrica.
13:30 Jo tinc una, una teoria. Jo hi crec molt en les mètriques com a eina per validar les feines que, que, que faig, les feines que han fet els meus equips i crec molt, una mica, com una manera de sentir-nos, de, de ser honestos cap a la nostra missió inicial com a equip, per saber que anem en la direcció correcta o per saber fins i tot que, que una idea en la que hi creiem molt realment no és, no està funcionant.
13:58 Totes aquestes coses són, són crucials. Però tinc una observació que m'hi trobo, m'hi he trobat bastantes vegades en la meva carrera. En, en anglès n'hi diríem "analysis paralysis", que seria com una mica la paràlisi de l'anàlisi, eh, on moltes vegades, sobretot en idees que són així més innovadores o que no s'han intentat mai, o que s'han intentat abans i no han funcionat, eh, quan les vols tornar a intentar, hi ha com una pressió al, a l'entorn per trobar la mètrica perfecta, per trobar la dada perfecta que ens dirà si això que estem fent està funcionant o si funcionarà o si val la pena invertir-hi.
14:41 Jo crec que és una paradoxa, perquè òbviament mesurar és la base del progrés, eh, científic i en molts, en… de molt progrés en la, en la, en la vida, però moltes vegades es creen algunes dinàmiques on, per no saber trobar una mètrica que correctament expliqui allò que volem mesurar, ni tan sols arribem a intentar fer alguna cosa, només perquè no és clarament mesurable o no és clarament… no es pot descriure clarament quin impacte tindrà allò o no ho sabem fer encara perquè no tenim prou informació.
15:17 Això és una cosa que, que a mi em preocupa força perquè crec que en nom de la, de "necessitem la mètrica perfecta", en nom d'aquesta, d'aquesta idea, moltes vegades ens tanquem possibilitats.
Oscar
15:31 Jo crec que ens tanquem possibilitats o que a vegades prenem decisions incorrectes per poder obtenir aquesta mètrica perfecta.
David
15:39 Mhm.
Oscar
15:39 A vegades, el que sateja aquesta mètrica o el que sateja aquest valor, li falta el context per poder decidir si realment la mètrica té sentit. O sigui, a mi una de les coses que, que, que m'he trobat és números o… que s'han d'assolir en tecnologia, suggerits o imposats per gent que no té un "background" tecnològic.
16:02 Això és un problema, perquè llavors acabes esbiaixat, acabes prenent decisions només per complir la mètrica. Aquí és on crec que comença el camí aquest de l'esclavitud de les mètriques. I a mi, a mi això és un tema que em preocupa, però em molesta moltíssim.
David
16:19 Jo crec… m'agrada fer una mica d'autocrítica en aquest aspecte. Crec que moltes vegades, com a enginyers, ens hem acostumat a viure i a veure una perversió en l'ús de les mètriques i en l'abús de les mètriques i, i les hem vist com una cosa amenaçadora o com una cosa innecessària.
16:43 Una mica hem estat cínics en aquest aspecte. Jo crec que l'autocrítica és que nosaltres hauríem enten… hauríem d'entendre més clarament que part de la nostra feina és poder explicar la nostra feina. I una manera de poder explicar la nostra feina és explicar-la amb dades.
17:03 Eh, en el cap de molta gent, de molts enginyers, es fa l'equació aquesta de: explicar la nostra feina vol dir que ens estan controlant. I, i crec que de vegades hem estat una mica al·lèrgics, m'ha passat a, a, a mi força vegades, hem estat una mica al·lèrgics a donar explicacions centrades en la dada perquè no hem sabut gestionar aquestes situacions, que realment són molt desafortunades i passen a tot arreu, d'un "approach" molt "top-down" per decidir les mètriques i per decidir la feina que fan els nostres equips i, i tot això.
17:39 A mi m'agradaria que, com a enginyers, poguéssim agafar més les regnes de, dels nostres, del nostre "outcome", per dir-ho d'alguna manera.
Oscar
17:48 Sí, i en línia amb el que dius, no? Vull dir, com a enginyers, a vegades ens trobem amb aquestes mesures que crec que ens fan una mica, i m'encanta el term… el terme que has fet servir, al·lèrgic.
18:02 Crec que és una molt bona manera de definir aquesta… tenir al·lèrgia a segons quin tipus de, de mètriques. L'exemple que t'he posat abans, el nombre de línies de codi. El nombre de línies de codi és algo Que és un número de línies de codi que s'han introduït en un període de temps.
18:20 Aquesta mètrica, què et diu? Bàsicament, això és nombre de línies de codi que s'han introduït en un temps per un equip, per un individu o per una àrea de, de negoci. Depèn de la dimensió que li vulguis donar.
18:35 Això per si sol no té cap valor. Això combinat amb altres dif… amb altres valors quantificables, sí que pot tenir un valor. Nombre de línies de codi creuat amb, eh, nombre de "bugs" reportats en el mateix període de temps.
18:56 Això sí que et pot donar un sentit a: "Vale, si estem anant pel bon camí, estem corrent massa, les decisions que prenem són correctes, tenim el coneixement necessari". Perquè evidentment, si el nombre de "bugs" s'acosta cada vegada menys o inclús supera aquest altre paràmetre, això sí que et pot donar una perspectiva i això sí que crec que és útil, tant com per enginyers, com per mànagers d'enginyers, com per optimitzar processos.
19:27 Però només centrar-te en valors, eh, individuals sense posar-los bé en context, crec que és on ve el problema i crec que d'aquí ve aquesta al·lèrgia, que a vegades no s'arriba a, a embolicar la mètrica o les mètriques amb el paquet adequat.
David
19:48 Correcte. La… el disseny de les mètriques. Has dit una cosa interessantíssima, és: les mètriques no poden ser un número absolut.
19:56 És, és molt perillós fer-ho així. Una bona, una bona eina inicial per, per contextualitzar-les més és sempre que siguin un quocient, que siguin una cosa en relació amb una altra.
Oscar
20:09 Mhm.
David
20:09 Per exemple, la mètrica, òbviament, és horrible. La mètrica de nombre de línies de codi que has afegit és un desastre, perquè a més a més no mesura cap realitat absoluta i una línia de codi pot ser diferent depèn del, del tipus de llenguatge de programació, amb el qual generes diferències estranyes.
20:25 Però, per exemple, una mètrica nombre de línies de codi afegides dividit per nombre de línies de codi eliminades, ja t'explica una història molt interessant. Clar, una història, quan tens un quocient d'aquesta manera, és molt difícil establir un "target".
Oscar
20:43 Mhm.
David
20:44 O serà un "target" que tindrà una certa variabilitat depenent del, del, del moment del, del cicle de desenvolupament del que estàs fent com a equip. Però és un "target" o és… aquest quocient ja et dona una eina molt poderosa per parlar: "Escolta, què va passar aquest mes on vam afegir deu vegades més línies de codi de les que vam eliminar en un context on estàvem fent un "refactoring"?
21:09 Què pa… estem fent un "refactoring" o estem afegint moltes capes a sobre del que ja teníem?" O a l'inrevés: "Què ha passat que per desenvolupar aquesta "feature" hem aconseguit eliminar moltes línies de codi?
21:22 Vol dir que l'hauríem d'haver fet abans perquè ens ha simplificat el problema que tenim entre mans?" Aquesta és una mesura molt, molt interessant. Però d'aquí, aquí hi ha un gran pecat i és que molta gent vol un número absolut que creix o puja o baixa, que on es pot, on es pot dibuixar una línia horitzontal a la gràfica per dir: "L'estem tocant, l'estem passant o estem per sota", o quant falta per arribar-hi, i els números absoluts tenen molt poc context.
21:51 Independentment de si parlem de qualitativa o quantitativa, els números absoluts són molt perillosos i donen a molta… a, a, a im… interpretacions molt pobres, per dir-ho d'alguna manera.
Oscar
22:03 Bueno, en ta… jo honestament crec que aquests números absoluts o, o la gent que fa servir aquests números absoluts, li manca el contexta per poder fer servir aquest número absolut.
David
22:15 Exacte.
Oscar
22:16 O sigui, realment són números absoluts que s'utilitzen en, en, a vegades en, en, en, en nivells més executius per prendre decisions. Clar, aquests números absoluts, sense el context necessari, poden promoure decisions o poden promoure o poden aixecar preocupacions que amb el context adequat, eh, poden ser fàcilment entenibles.
22:40 O sigui, has donat exemples claríssims, no? Ostres, hem afegit moltes línies de codi o n'hem tret moltes. Per què? Perquè estem enmig d'aquest procés de "refactor", de canvi d'estratègia, de...
22:50 Vull dir, però per això mateix crec que és important associar aquests nombres absoluts o aquestes mètriques, eh, absolutes en contextos adequats. Llavors, és el que deia, no?
23:07 La natura de les mètriques. Mètriques potser molt més quantificables, el que parlàvem, no? A nivell de tràfic, a nivell de tassa d'errors, això són números, vale?
23:16 I números que pots combinar, que pots obtenir "feedback" sobre els teus processos i tal. Associar això a coses com, eh, performance d'equips, eh, desenvolupament individual, fer servir aquestes mètriques única i exclusivament o aïllades, crec que és erroni.
David
23:38 I tant.
Oscar
23:39 Crec que és, és, és erroni, és perillós.
David
23:42 El tema de la productivitat dels equips, sobretot en el context de empreses que han estat fent retallades i han intentat entendre una mica més quina feina té valor i quina feina no té valor, aquests números són molt perillosos. I la veritat és que, que tampoc hem tingut bones respostes com a indústria a, a com es mesura la productivitat d'un equip.
24:08 Sí que hi ha força literatura, hi ha un llibre que es diu "Accelerate", que, que introdueix uns conceptes força interessants. Hi ha força literatura avui en dia de- Altres factors o factors que informen o factors que ajuden a determinar la productivitat d'un equip.
24:22 Per exemple, la satisfacció. Per exemple, el temps de... que trigues en recuperar-te d'una sit… d'una anomalia.
Oscar
24:29 Sí.
David
24:29 Per exemple, eh, no sé, els teus processos de planificació, de, de, de com es, de com es fa la feina, eh, felicitat, altres, altres factors una mica més, més humans, que moltes vegades s'han de, s'han de mesurar utilitzant enquestes, per dir-ho d'alguna manera, però que donada la fre… una determinada freqüència i una determinada recurrència, acaben, mm, donant lloc a mètriques que són de bastanta, bastanta qualitat.
24:56 Eh, però encara hi ha una mica la indústria, potser, potser ve, potser ve una mica del, de les mentalitats antiquades, de com, de com es mesura productivitat en fàbriques, de com es mesura productivitat en feines repetitives.
25:10 Potser d'aquesta mentalitat ve aquesta obsessió que hi ha en optimitzar per números que realment no, no diuen res en quant a la productivitat. Potser una mica més d'empatia entre diferents funcions. Com deies tu, hi ha molta gent que, que busca aquestes mètriques, però que no en té ni idea de com funciona realment la disciplina de, jo què sé, d'enginyeria de software en general.
25:33 Potser una mica més d'empatia i gent que entengui una mica millor què vol dir escriure software, què vol dir desenvolupar producte, ajudaria a mitigar aquesta, aquesta falta de coneixements.
Oscar
25:47 Estic, estic molt d'acord. O sigui, com per acabar, crec que dius una, una cosa molt interessant sobre la, el, el conjunt, no? El, el paquet, la part quantificable, els valors absoluts i el que en volem extreure.
26:02 Hi ha parts que no són quantificables. O sigui, el, el feedback d'un equip, l'estat d'humor, mm, com interaccionen entre ells. O sigui, el ser capaços de fer servir mètriques juntament amb aquest, amb aquesta interacció més humana, no?
26:21 Aquestes enquestes amb aquest grau de satisfacció, que també pot arribar a ser quantificable, però-
David
26:27 Mm-hm.
Oscar
26:27 O sigui, treure un "score" a vegades acaba sent també una miqueta perillós, però unir mètriques de diferent natura per poder traslladar, mm, a objectius reals i a, i a, i al mateix, i al, al títol de l'episodi, no?
26:44 A, a fer servir aquestes mètriques com a aliades, com a eines, vale? Que les mètriques no es converteixin en el nostre objectiu diari com a desenvolupadors, com a mànagers, com a qualsevol decisió que, que haguem de prendre.
David
27:01 Haurem de convèncer molta gent, però no perdo l'esperança. Se'n parla molt últimament, sobretot en el context de la productivitat, i crec que finalment estem començant a entendre el valor de, de ser, de tenir organitzacions que estiguin, que estiguin informades o que estiguin, prenguin decisions gràcies a les dades.
Oscar
27:24 Sí.
David
27:25 Molt bé, Òscar.
Oscar
27:27 Moltes gràcies, David.
David
27:28 Fins aviat.
Oscar
27:29 Fins aviat.