Yaxshi OKR bilan xavfni qanday o'lchash mumkin.

Men ularni jiddiy qabul qiladigan kompaniyalarda Maqsad va Kalit natijaning (OKR) katta muxlisiga aylandim. Men OKR-ga mos keladigan va tanlangan xavfni kamaytirish (yoki oshirish) ni o'lchaydigan fikrlashtirilgan usulni tasvirlab beraman. Bu kelajakda bu xavfni kamaytirish uchun muhandislik sa'y-harakatlarini kamaytirish yoki ko'paytirish to'g'risidagi jamoaning qarorini xabardor qiladi.

Ushbu usul meteorologning ob-havoni qanday bashorat qilishiga o'xshaydi.

OKR-ga chuqur sho'ng'ish uchun siz buni o'qishingiz, ko'rishingiz yoki o'qishingiz mumkin.

OKR - bu motivatsion maqsadni ifodalash va guruhni ushbu maqsadga yo'naltiradigan o'lchanadigan natijalarning qisqa ro'yxatiga kirishning oddiy usuli. Ba'zida ular ijro etuvchi boshqaruvdan tortib barcha xodimlarga qadar kaskadga aylanadi. OKR - bu texnologiya kompaniyalari va men ishlaydigan ko'plab xavfsizlik guruhlari orasida keng tarqalgan amaliyot.

Masalan ol:

Maqsad: Ishlab chiqaruvchi noutbuklardan autentifikatsiyani yaxshilash.

Ushbu maqsad yomon emas, lekin xavflarni o'lchashning ko'plab imkoniyatlari o'tkazib yuborilgan.

Biz kamdan-kam uchraydigan, ta'sirchan xatarni miqdorni aniqlash usuli bilan kamaytiramiz.

Ushbu turdagi xatarlarni o'lchash odatda qiyin.

Tarixiy ma'lumotlar (hech qachon bunday bo'lmagan) bizning kelajagimiz to'g'risida juda kam ma'lumot beradi (bo'lishi mumkinmi?).

Oldindan bashorat qilish va taxmin qilish usullari bilan biz kelajakdagi stsenariyning yuzaga kelishi ehtimolini o'lchashimiz mumkin, hatto bizda bu stsenariy bo'yicha tarixiy ma'lumotlar yo'q bo'lsa ham. Biz guruhning "noaniqligini" xavf uchun proksi sifatida ishlatamiz va uni o'lchaymiz. Prognozlar bilan bog'liq kognitiv taraflarni boshqaramiz.

MAQSAD: Maqsadni "xavf stsenariysi" bilan yozing.

Sizning maqsadingiz stsenariyda ifodalangan xavfni kamaytirishdir.

Quyida xavfni kamaytirish uchun ilgari aytib o'tilgan maqsad berilgan. Yaxshilash uchun ba'zi xonalar bilan yozilgan:

Maqsad: Ishlab chiqaruvchi noutbuklardan autentifikatsiyani yaxshilash.

Bu har doim ham yomon maqsad emas, garchi uni stsenariy sifatida qayta yozish orqali yaxshilash mumkin.

Maqsad: "Dushman ishlab chiqaruvchi noutbukdan 3-chi chorakda ishlab chiqarishga erishdi" xavfini kamaytirish.

Ular o'xshash ko'rinadi, to'g'rimi?

  • Asosiy farq shundaki, stsenariy ehtimolga asoslangan. Ehtimoliy iboralarni bashorat qilish mumkin. Prognozlash yaxshi o'rganilgan, keng tarqalgan (masalan: ob-havo), miqdoriy va sizning noaniqligingizni o'lchaydi.

Noma'lum narsa bu sizning miyangizda sizni bir nechta variantlarni chalkashtirishga yoki ulardan biriga nisbatan kuchli his qilishga olib keladigan narsa. Ma'lum bo'lishicha, guruhning noaniqligi to'g'ridan-to'g'ri o'lchanishi mumkin. Biz mutaxassislarning noaniqligini o'lchash maqsadimiz uchun proksi qilib qo'yamiz.

  • Kichkina farq shundaki, stsenariy muhandisning ijodini mukofotlaydi.

Masalan, ishlab chiqarish ma'lumotlarini talab qiladigan ishlab chiquvchilar sonini kamaytirish autentifikatsiyani yaxshilaydimi? Yo'q, bu ozgina. Ammo bu xavfni kamaytiradi va asosiy natija o'zgartirilgan ob'ektga ko'proq mos keladi. Bu yaxshiroq maqsad edi, shuning uchun bizning asosiy natijalarimiz natijada yaxshiroq bo'ladi.

"Xavf stsenariysi" maqsadi echimni ko'rsatmaydi. U shunchaki toza prognozni tuzadi. Stsenariy kelajakda yuz bermasligi kerak bo'lgan voqea sifatida xavf-xatarni aniqlaydigan yaxshiroq ishni bajarishi mumkin.

Yaxshi bashorat qilinadigan stsenariy tahdid, vektor, aktiv yoki ta'sirning o'ylangan aralashmasini o'z ichiga oladi. Siz aniqlik doirasini kengaytirish yoki kengaytirish orqali ma'lum bir hajm yoki xavf haqida ijodiy qaror qilishingiz mumkin. Prognoz aniq muddatlar to'g'risida qaror qabul qilishi kerak.

ASOSIY NATIJALAR: Bosqichlar yoki ko'rsatkichlarni tanlang va prognozni bajaring.

Birinchidan, oson narsalar. Asosiy natijalarni o'lchash kerak. Google-ning ilk kunlarida Marisa Meyer shunday dedi:

"Agar bu raqam bo'lmasa, bu muhim natija emas."

O'lchashning bitta oddiy shakli ikkilik yutuqlar: bajarilganlik uchun 1, bajarilmasa 0. Masalan: "Biz XYZ biznes-ilovasini Yagona imzo qo'yish platformasiga qo'shdik". Agar buni amalga oshirgan bo'lsangiz, siz "1" olasiz!

Yana biri, "X xatolarni tuzatish" yoki "X hodisalarni kamaytirish" yoki "N muhandislarni yollash" kabi miqdoriy ko'rsatkichlarni tanlash. Bular zarur, umumiy va loyihaning maqsadlari va operatsion ko'rsatkichlarini aks ettiradi. Ehtimol siz bunga o'rganib qolgansiz. Ular ham yaxshi natijalarga erishishlari mumkin.

Biroq, ular bizning stsenariyimiz bilan bog'liq bo'lgan xavfni kamaytirishni haqiqatan ham o'lchamaydilar. Aksincha, ular bajarilgan ishlarning orqada qoladigan ko'rsatkichidir. Ushbu ish xavfni kamaytirishda muhim ahamiyat kasb etdi, ammo siz hali ham xavfni kamaytirishni o'lchay olmadingiz. Siz shunchaki o'z harakatlaringiz tufayli xavf kamayadi deb taxmin qilasiz.

Ammo qancha pul bilan? Agar u haqiqatan ham ko'payib ketgan bo'lsa-chi?

Xavfsizlik metrikasini ishonchlilikni o'lchash bilan taqqoslash

An'anaviy xavfsizlik o'lchovlari ma'lumotlarning ahamiyati uchun juda foydali. Ular tavakkalga nisbatan bizning noaniqligimiz haqida xabardor qiladilar, ammo xavfning ehtimoliy xususiyatini anglatmaydi va ko'pincha biz ma'lum bir stsenariy bo'yicha yuzaga kelishi mumkin bo'lgan noaniqliklarni ifoda etmaydilar.

Masalan, men tarixiy zaifliklar yoki regressiyalarning tarixiy soni xavfni to'g'ridan-to'g'ri ifoda etmaydi, deb o'ylayman, lekin bu, albatta, bog'liq bo'lgan stsenariyning paydo bo'lishi yoki bu ma'lumotlar natijasida yuzaga kelmasligi haqida mening noaniqligimni bildirishga yordam beradi.

Buning sababi shundaki, biz shaxsiy metrikaga bergan qiymat doimiy oqimda bo'ladi.

Har qanday o'ziga xos metrikalar mening eng ma'lumotli ma'lumot nuqtam bo'lishi mumkin ... uni biror narsa almashtirmaguncha. Mening fikrim eski ma'lumotlarga qarshi "oh crap" deb qichqiradigan yangi ma'lumotlarni yoki biz shu masala uchun yaratishga harakat qilgan har qanday mo'rt modelni eshitgandan so'ng darhol eski ma'lumotlarni yo'q qiladi.

Endi "qiyin qism" ga o'taylik. Keling, buni OKR qilaylik.

Aslida siz osib qo'yganingizda bu juda oson.

O'lchash uchun mo'ljallangan OKR-ning misoli:

Yuqorida aytib o'tilganidek, biz ushbu OKRni qurmoqchimiz, chunki u prognozlash va baholash usullari bilan xavflarni o'lchash uchun mos keladi.

Kichik AWS xavfsizligi bo'yicha guruh uchun OKR misoli:

Maqsad:

"Uchinchi chorakda AWS ishlab chiqarish ma'lumotlari jamoatchilikka oshkor bo'ldi" ehtimolini kamaytiring.

Asosiy natijalar:

  1. AWS_SECRET_KEY haqida eslatadigan buyruqlar # xavfsizlikni buzishda namoyon bo'ladi.
  2. Fotosuratlarni yig'ish quvuri AWS roliga o'tkaziladi.
  3. To'liq Xavfsizlik Maymun bizning qo'ng'iroqni aniqlash tomon quvurlar haqida ogohlantiradi.
  4. Prognozdan oldin va keyin va CloudTrail ovini bajaring.

Birinchi muhim natijalar (1-3) muhokama qilishni talab qilmaydi. Bular tegirmonda ishlaydigan muhandislik ishidir va siz xohlagan narsani tanlashingiz mumkin. So'nggi kalit natijasi (№4) - biz oldinga siljishga qaratilgan.

Ushbu xavf stsenariyini o'lchash uchun biz prognoz panelidan foydalanamiz. Bu bizning OKR asosidagi xavf stsenariyasini ehtimoliy tarzda o'lchash qobiliyatimizni oshiradi.

1. Ishga kirishdan oldin: "asosiy" bashorat.

Bu yilning uchinchi choragi uchun OKR deb faraz qilaylik. Iyun oyining boshida, OKR bilan tanish bo'lgan bir nechta xilma-xil va o'qimishli shaxslar stsenariyning ehtimoliy sharoitda bo'lishini taxmin qilishadi (foizlik ishonchi).

Bizning ishtirokchilarimiz maymun (), unicorn (), sigir () va pingvin (). Biz ularni ehtimollik nuqtai nazaridan o'ylash uchun qisqacha kalibrlaymiz (onlayn o'quv). Ular har qanday o'lchovlar, modellar, post -камslar, maslahatchilar auditi yoki infratuzilma diagrammalaridan foydalanishlari mumkin. Bularning barchasi foydali va ularning prognozlarini ma'lum qiladi.

Yuqoridagi prognozda CloudTrail ovi hech qanday noxush hodisani aniqlay olmasligiga 78% ishonch bor. Hodisa aniqlanishi mumkinligiga 14% ishonch va biz katta muammoga duch kelishimizga 6% ishonch bor.

Endi panellarning har bir toifasi uchun 33% javobi umuman aniqlik yo'qligini ko'rsatdi deb o'ylab ko'ring, go'yo ular deyarli ma'lumot yoki fikrga ega emaslar. Masalan, stsenariy boshqa tilda yozilgan bo'lishi mumkin. Bu erda bunday emas, ishtirokchilar har bir variant boshqasiga teng ekanligiga ishonishmaydi. Ular atrof-muhit va ularning tahdidlari to'g'risida bilimlarini hisobga olgan holda, biron bir voqea sodir bo'lmaydi deb o'ylashadi.

Shunday qilib, ushbu panel ehtimoliy nuqtai nazardan, o'sha davrda biron bir hodisa ro'y bermasligi haqida fikr bildirmoqda. Ammo kashf etilgan voqea mutlaqo mumkin emas. Bu boshqa ko'plab kompaniyalarda sodir bo'ladi. Ular bu sodir bo'lishi mumkin bo'lgan kichik ehtimollik borligiga ishonishlari kerak.

Aslida, panelist (Maymun ) biron narsa topiladiganday tuyuladi.

Maymunning guruhdan farqli fikri borligi yaxshi. Buni keyinroq muhokama qilamiz - panelning kelishib olishiga hojat yo'q!

2. Endi ishingizni bajaring, odatdagidek rivojlaning.

Chorakning o'rtasi odatdagidek maqsadlaringizga erishishga qaratilgan. Faqat ishla.

Bizning maqsadlarimizga binoan, guruh ogohlantiruvchi dasturlarni ishlab chiqadi, AWS rollarini ishlatish uchun refaktorni yaratadi va Security Maymunni joylashtiradi. Umid qilamanki, ular yaxshi ishlaydilar va hammasini oxiriga etkazishadi!

Ushbu usul siz bajaradigan kunlik ishlarga ta'sir qilmaydi. Bu shunchaki o'lchab bo'ladigan natijaga yo'naltiradi. Siz odatdagidek xavf-xatar bilan hujum qiling.

3. EOQ. Biz taraqqiyotga erishdik! Endi biz boshlang'ich bilan taqqoslaymiz.

Biz chorak oxirida ikkita narsani qilishga majbur bo'ldik.

Birinchidan, CloudTrail jurnallarini sinchkovlik bilan qidirib topamiz va tergov harakatlarida har qanday P0 hodisalarini o'chirib tashlashimiz mumkinligini bilib olamiz.

Ikkinchidan, keyingi chorak uchun noaniqligimiz bundan mustasno (to'rtinchi chorak) bundan mustasno.

Bizning panel yangi bilimlar bilan qurollangan. Ushbu chorakning rivojlanishi va CloudTrail ovining natijasi bizning stsenariy haqidagi fikrlarimizni tubdan o'zgartirdi.

Aytaylik, jamoa boshqa asosiy natijalarga erishdi va qoidabuzarliklarni baholash toza bo'ldi.

Biz yana bashorat qilamiz. Mana natijalar.

Endi biz ularning sa'y-harakatlari asosida panel qancha ishonch hosil qilganini yoki yo'qolganini ko'rishimiz mumkin. Ushbu misolda, bizning e'tiqodimiz aniqlik tomon ijobiy tomon yo'nalgan (33% dan uzoqroq). Bizning ishimiz panelimizning aniqligiga ta'sir ko'rsatdimi? Ushbu panel bunga ishonadi.

Bunday holda, biz ushbu xavf bilan bog'liq bo'lgan ishonchimizni yaxshiladik. Bizda to'g'ri yo'nalishda 5% miqdoriy yaxshilanish bor.

4. Ma'lumotlar asosida rahbarlik to'g'risida qaror qabul qiling.

Endi siz samarali qaror qabul qilish uchun qurollangansiz.

Bu har o'n chorakdan bittasida buzilishlarni taxmin qilish mumkin.

  • Bu yaxshimi?
  • Biz buni yanada yaxshilashni xohlaymizmi yoki boshqa xavf-xatarlarga duch kelamizmi?
  • Bizning maqbul chegaramiz qanday?
  • Undan ustun turish uchun bizga qancha kuch va resurs kerak?

Nega bunday yondashuv?

Odamlar turli xil ma'lumot manbalarini qayta ishlash va qaror qabul qilish uchun yangi ma'lumotlarni tezda o'zlashtirish uchun qurilgan.

Biz chorak davomida, shubhasiz, tanlagan xavflarimiz haqidagi ishonch darajamizni o'zgartiradigan ma'lumotlarga ega bo'lamiz.

Ushbu ma'lumotlar juda ko'p joylardan kelib chiqadi: o'z-o'zidan ishlaydigan ishning o'zi, sanoat tendentsiyalari, buzilishlar, ehtimol infratuzilmaning boshqa sohalaridagi zaifliklar to'g'risidagi xabarlar, o'zimizning ekspluatatsion tadqiqotlarimiz, portlashlarni yorituvchi tvit va boshqalar.

Ammo bizning ushbu ma'lumot manbalariga bo'lgan ishonchimiz dinamikadir. Xavfimizni ifodalash uchun biz individual, statik o'lchovlarga bog'liq bo'lolmaymiz, chunki qarorlarni qabul qilish qiymati tezda o'zgaradi. O'lchov vositasi sifatida prognoz usullarini takomillashtirish bo'yicha ko'rsatmalar ko'paytirilib, o'lchab bo'ladigan, chuqur tadqiq qilingan va ma'lum bo'lgan ushbu xavflar uchun biz o'z ishonchimizdan foydalanishimiz mumkin.

Aslida, mutaxassislarning tanlab olinishi boshqa sohalarda, masalan, Yadro, Aerokosmik va Atrof-muhitda ehtimoliy xavflarni baholashda muhim omil hisoblanadi.

Bu yangi emas, faqat biz uchun yangi.

Yomonlik xavfidan izolyatsiya qilish.

Agar qat'iylik bilan yaqinlashmasa, prognoz qilish xavflidir. Kognitiv tarafkashlik yaxshi o'rganilgan va bu topilmalar tez-tez takrorlanishi kerak. Yomon prognozlash xavfi uchun turli xil yumshatilishlar mavjud.

Tadqiqotlar bashorat qilish quyidagi hollarda yaxshilanishi mumkinligini himoya qiladi:

  1. Panelistlar ehtimoliy fikrlash va tarafkashlik to'g'risida o'ylashga o'rgatilgan.
  2. Yig'ilishlarning ta'sirini birlashtirish va yumshatish uchun guruhlar birlashtirildi. Istiqbolda xilma-xillik muhimdir!
  3. Panelchilar o'zlarining prognozlarining natijalari bilan bir necha bor to'qnash kelishmoqda (Kalibrlash). (Onlayn trening, yaxshi xulosa ochiq, ishonch kalibrlash)
  4. Ishtirokchilarga stsenariyni yanada yirikroq qismlarga ajratish tavsiya etiladi va ularga tushunishlari kerak bo'lgan ma'lumotlarga oshkora kirish huquqi beriladi.
  5. Haqiqiy "Qora oqqush" ni qat'iy tushunish. Sinoptiklarni aldashadi.
  6. Har bir xavfni bashorat qilishga va kamaytirishga urinmang, muqarrar muvaffaqiyatsizlikka tayyor bo'ling.
  7. Xodimlarni ishini boshqarishdagi muammo bo'lib qolgan qumli yuklarni oldini olish uchun reklama va maoshni OKR va prognoz natijalarini ajratib oling.

Ishtirokchilarga shunchaki "tezroq o'ylab ko'ring" deb bashorat qilishni so'rash, shubhasiz, yomon natijalarga olib keladi. Qattiq yondoshish o'lchovlarning (yig'ilishlarning) yuqori narxiga ega, ammo xatarli matritsa jadvallari usullaridan osonroqdir.

Ammo ... men har doim "buzishni taxmin qilaman", shuning uchun bu ishlamaydi!

Siz buzilgan deb taxmin qilish juda yaxshi. Men har qanday tashkilotga juda katta ehtimollik beraman (99%), qaerdadir, har qanday jiddiylik darajasida, o'zlari egalagan tizimda biron-bir nizo bor. Bu "buzilishni taxmin qilish" men uchun nimani anglatadi.

Ammo har bir vaqtda, har bir dushman tomonidan har bir tizimning har bir tarkibiy qismiga zarar etkazilishiga ishonish zararli. Oqilona odamlar, hatto FUD slingerlari ham bu qadar uzoqqa borishmaydi.

Aqlli chuqur pessimistik ong baribir boshqalarga qaraganda ko'proq yoki kamroq narsani shubha ostiga qo'yadi. Agar sizda odamlarning sa'y-harakatlari xavflarni yaxshilaydi degan ishonch bo'lsa, unda siz ushbu noaniqlikning pasayishini ehtimoliy nuqtai nazardan o'lchashingiz mumkin. Pessimist, shubhasiz, ularning ishini yomonlashtiradi, deb ishonmaydi.

Xulosa qilib aytganda, hatto pessimistik asosni ham yaxshilash mumkin, va bir nechta pessimistlar panelda bo'lish aslida juda yaxshi narsa.

Xavflarni baholash va prognoz qilishning kelajagi

Ko'p chorak davomida biz ehtimollik usulini yanada kuchaytirishimiz mumkin. Prognozlarimizni boshqarish uchun qizil jamoalar, Brier ballari va sanoat namunalarini kiritishimiz mumkin. Ma'lumotlar qiymati to'g'risida kelishib olishimiz va uning o'zgarishini kuzatishimiz mumkin. Teng xavfsizlik guruhlari bilan baham ko'rish uchun biz "Chatham House" yoki prognozlarni yashirib qo'yishimiz mumkin.

Biz bashorat qilingan natijalarni Monte-Karloning simulyatsiyasiga qo'shishimiz mumkin, bu bizga NASA, Yadro litsenziyasi va boshqa xavf-xatarlarni tushunishda kiberxavfsizlikdan ancha yuqori bo'lgan boshqa sohalardan saboq va tajriba olishimizga imkon beradi.

Tashkilotlar uchun xavflarni prognozlash amaliyotini qabul qilish uchun ko'plab imkoniyatlar mavjud. Yaxshi natijalarga erishish uchun katta energiya kerak emas. Kichik, masalan, tavakkalchilikka asoslangan OKR tashkilotingiz uchun xavfni kamaytiradi va tashkilotingizni miqdoriy xavf sari olib boradi.

Xulosa

OKRlar muhandislik guruhiga rahbarlik qilishning keng tarqalgan usuli hisoblanadi. Hisoblash va prognozlash usullariga mos keladigan OKR-larni yaratish bizga xavflarni kamaytirishda progressni yaxshiroq o'lchashimizga imkon beradi.

Ushbu usullar guruhning "qanday" ishlashiga xalaqit bermaydi, shunchaki natijada "qancha" o'zgarishi mumkinligini o'lchaydi. Agar sizda hozirda xavfni o'lchash usuli bo'lmasa, unda har qanday miqdoriy usul siznikiga qaraganda yaxshiroq tushishi kerak. Ushbu strategiya jamoani xavflarni kamaytirishning o'lchanadigan darajasiga moslashtirishda muhandislik amaliyotiga minimal ta'sir ko'rsatadi.

Keyingi o'qish

Xavflarni prognozlash: ushbu usul bo'yicha yuqori darajadagi taqdimot.

Xavfning oddiy tahlili: xavfni bashorat qilishga chuqur sho'ng'ish.

Tovuqni ozgina o'ldirish: Xavflarni prognoz qilishning cheklashlari va imkoniyatlarini o'rganish.

Xavfsizlik xavfini stsenariylarga ajratish: Xatarlarni stsenariylarning ierarxiyasiga, kengroqdan murakkabroq stsenariylarga bo'lish.

Tez va sekin mulohaza yuritish: Nobel mukofotini insonning tanqid xatolarini tadqiq qilish, asosan noxolislik ko'rinishidagi yutuq.

Superforastika: Qanday qilib bilish xatolarini yumshatish va samarali bashorat qiluvchi guruhlarga qurollantirish mumkinligini o'rganish.

Qanday qilib kiberxavfsizlik xavfini o'lchash: o'lchash usuli sifatida prognozni himoya qilishda katta manba. Qarorlarni qabul qilishda o'lchov rolini qo'llab-quvvatlaydigan kuchli munozaralar.

Rayan McGeehan Medium-da xavfsizlik haqida yozadi.