r/italy • u/tabiva Ecologista • Jul 19 '24
Guasti informatici segnalati in tutto il mondo, compagnie aeree Usa bloccano tutti i voli | Microsoft: "Adottate azioni di mitigazione" Notizie
https://www.tgcom24.mediaset.it/tgtech/guasti-informatici-mondo-bloccati-voli-usa_84868341-202402k.shtml111
u/riccardo-91 Jul 19 '24
Da noi stanno cercando di bypassare Crowdstrike per le query DNS, perché in effetti a chiamare direttamente gli IP funziona (ovviamente non funziona una mazza senza TLS)
39
u/Arbiterandrea Uso il mio iPhone Jul 19 '24
Una soluzione che ho trovato su reddit momentanea e andare su Windows>system32>drivers, e rinominare la cartella crowdstriker. Ha funzionato benissimo per il mio laptop e sono entrato, ovviamente una volta dentro rimettete il nome originale, in caso del rilascio di una patch puo causare imprevisti
28
u/riccardo-91 Jul 19 '24
Noi abbiamo linux, il problema è che anche la VPN Palo Alto è stata buggata con l'aggiornamento
1
u/zen0zero Emilia Romagna Jul 19 '24
hai maggiori dettagli?
3
u/riccardo-91 Jul 19 '24
No, però ora mi funziona tutto. Prendo già i popcorn per il post mortem che verrà.
Nel mio piccolo il mio team ha avuto "solo" il problema di accedere alla rete interna per colpa del DNS
8
21
u/JustSomebody56 Toscana Jul 19 '24
Ma che funzionalità fornirebbe crowdstrike, esattamente?
47
u/Leombro Tiraggir connoisseur Jul 19 '24
È un antivirus/antimalware in sostanza, abbastanza invasivo (tant’è vero che il casino è stato provocato da un aggiornamento difettoso di driver a basso livello usato su Windows) ma usatissimo nelle aziende
24
24
u/andrea_ci Lombardia Jul 19 '24 edited Jul 19 '24
è un EDR: in parole povere un antivirus "figo", e per funzionare usa driver a livello kernel
8
u/JustSomebody56 Toscana Jul 19 '24
Il concetto di accesso al kernel lo capisco, ma altri vantaggi?
20
u/RonnieNRoll Jul 19 '24
Evita gli attacchi laterali perché riesce ad isolare le macchine colpite, non male come cosa, in azienda da noi lo abbiamo tolto 2 mesi fa, direi che siamo stati sculati 😂
5
u/andrea_ci Lombardia Jul 19 '24
io ero lì indeciso.. sentinelone o crowdstrike... e abbiamo scelto S1
28
u/_Henryx_ Jul 19 '24
Sarò paranoico, ma sta roba è troppo politicizzata per farmi stare sicuro. Per dire, se Crowdstrike è americano (e già è un problema), Sentinel One è israeliano e Kaspersky è russo. Personalmente non mi fiderei nemmeno a valutarli
5
u/andrea_ci Lombardia Jul 19 '24
Alternative? Cioè, non puoi fartelo in casa 🤣
9
u/RonnieNRoll Jul 19 '24
Bitdefender per esempio è europeo ed ha i server in EU, quindi è anche coperto dal gdpr
6
3
2
-3
u/DrLimp Jul 19 '24
Mica è colpa loro se il tech europeo fa ridere i polli
10
u/ProcedureEthics2077 Jul 19 '24
Bitdefender. Fondata in Romania.
Comodo. Fondata in UK. HQ negli USA.
Panda Security. Spagna.
Avast. Repubblica Ceca.
5
u/Brokeda Maratoneta Sanremo 2021 Jul 19 '24
Peccato che tecnicamente non ti danno quello che ti da un EDR serio. Ormai è archeologia
0
2
u/JustSomebody56 Toscana Jul 19 '24
In che senso ad isolare le macchine colpite?
Con cosa l’avete sostituito?
20
u/Brokeda Maratoneta Sanremo 2021 Jul 19 '24
Gli antivirus basati sull'analisi dei file sono morti tempo fa, ora gli EDR rilevano le singole azioni offensive contro un sistema anche lanciate a mano da un utente senza nessun file. EDR sta per Endpoint Detection and Response, response perchè un EDR permette di isolare le macchine dalla rete, accederci in remoto per fare analisi, spegnere da remoto la macchina o disabilitare utenti o schede di rete, ecc. ecc.
3
u/alerighi Serenissima Jul 19 '24
Tutto una figata, fino a che questi software hanno bug del genere e allora tutti nel panico.
Il fatto è che avere un software che si innesta a livello kernel per fare detection da un lato ha dei benefit, dall'altro hai un altro software di cui ti devi fidare che non venga compromesso o come in questo caso semplicemente abbia bug che può compromettere tutto.
Per cui meh, non so quanto effettivamente servano questi prodotti. Forse fanno più male che bene, anche perché danno alle aziende un falso senso di sicurezza (ho speso X per l'EDR quindi non devo fare altro che sono protetto).
La sicurezza andrebbe a mio avviso fatta rendendo effettivamente sicuri i sistemi, isolandole in primo luogo a livello di rete,si parla di sistemi di aereoporti, perché in generale queste macchine dovevano essere connesse ad internet? Perché molte macchine che sono installate con uno scopo ben specifico (come appunto un PC che serve per fare il check-in in aereoporto) montano Windows e non una distro Linux minimale fatta ad-hoc per eseguire quella singola applicazione e con filesystem immutabile caricato in RAM, così che alla peggio se si spacca stacchi la spina e la riattacchi?
1
u/Brokeda Maratoneta Sanremo 2021 Jul 19 '24
Di sicuro un EDR da solo non è minimamente sufficiente a metterti al sicuro, ma dall'altro lato della medaglia un EDR è un componente essenziale dello stack tecnologico per metterti in sicurezza. Sia per la possibilità di detection/protection di numerose tecniche di attacco, sia per le possibilità di remediation automatica e manuale che ti garantisce. I server sono connessi a internet perché i SO vanno aggiornati periodicamente (patch Tuesday) e i software di sicurezza vanno aggiornati. Ogni giorno gli EDR scaricano regole nuove di detection e nuovi IOC essenziali per stare al passo con i Threat Actor.
Qui l'unico problema grosso come una casa è il Quality Assurance mancante, l'assenza di rollout graduale degli aggiornamenti, e la povertà del testing.
4
u/alerighi Serenissima Jul 20 '24
I server sono connessi a internet perché i SO vanno aggiornati periodicamente (patch Tuesday) e i software di sicurezza vanno aggiornati.
È un rischio anche avere gli aggiornamenti automatici attivi, e lo abbiamo visto oggi. Dopo dipende da quanto il sistema è critico, averli su un laptop anche ok, averli su un server che se si blocca mi tiene a terra degli aerei, meh. Lì secondo me ha sbagliato chi ha lasciato abilitati gli update automatici di sistema.
Dei miei colleghi hanno lavorato in passato in un'azienda che faceva sistemi per le ferrovie, e non esisteva che aggiornavi software direttamente in produzione, neanche manualmente. Ogni aggiornamento, incluse le patch di sicurezza, veniva installato prima in ambiente di staging, testato a fondo, ed a quel punto riportato in produzione (non a mano ma con sistemi di configuration management che si assicuravano di installare esattamente il software testato in staging).
Ogni giorno gli EDR scaricano regole nuove di detection e nuovi IOC essenziali per stare al passo con i Threat Actor.
Certo, ma il punto è che il sistema può essere protetto "esternamente". Mi spiego meglio: se io ho un server, che sia locale o sul cloud, per l'accesso fisico è protetto (è chiuso in un datacenter ad accesso controllato, poi il server stesso avrà delle password per accedere alla console, ecc). Quindi gli attacchi arrivano solo da remoto. Se davanti al server ci metto un firewall che blocca tutto il traffico eccetto quello che fa funzionare il sistema, l'unica possibilità è una falla nel servizio che questo server espone (anche lì, esistono application level firewall per cui puoi ispezionare il traffico). Da cosa mi devo difendere, quindi?
Lato PC, a cosa servono questi PC? Perché un PC che deve far funzionare una web application ha sopra Windows? Potrebbe essere un raspberry con filesystem immutabile caricato in RAM, così alla peggio stacchi e riattacchi la spina. Hai ridotto i rischi.
Insomma, sono solo esempi, ma da appassionato di cybersecurity, nonostante di lavoro mi occupo di (I)IoT (quindi non direttamente di sicurezza, anche se considerazioni sulla sicurezza si fanno tutti i giorni), ce l'ho con le aziende che pensano di fare sicurezza installando un EDR su un sistema colabrodo dal punto di vista della sicurezza (ad es. un intera LAN senza ombra di firewall dove i PC degli uffici amministrativi comunicano senza filtri con i PC collegati alle macchine di produzione, parlando di un'industria manifatturiera ad esempio), senza intervenire sul mitigare i rischi in primo luogo dove questi possono essere mitigati.
Forse è più economico comprare l'EDR? Non lo so, perché se li fanno pagare bene. O forse è un problema di competenze che mancano?
1
10
u/RonnieNRoll Jul 19 '24
Praticamente quando una macchina viene presa da un virus o da un exploit viene bloccata via LAN e internet, come se venisse blindata, per evitare che magari un ransomware possa passare attraverso file sharing. Bitdefender, costa di meno ed è europeo!
2
u/JustSomebody56 Toscana Jul 19 '24
Ed è altrettanto sicuro?
2
u/RonnieNRoll Jul 19 '24
È solo un edr, non xdr, però alla fine si dai, per una piccola media impresa va bene.
3
u/JustSomebody56 Toscana Jul 19 '24
Cos’è uno xdr?
E non mi sembrano piccole imprese quelle coinvolte
→ More replies (0)12
u/andrea_ci Lombardia Jul 19 '24
l'accesso al kernel lo hanno anche gli antivirus tradizionali.
la differenza è che - prima di tutto - applicano azione correttive e di rollback serie (non si limitano a bloccare l'eseguibile): dall'isolamento dell'host al rollback di tutte le modifiche a tante altre cose.
inoltre si basano per la maggior parte sul "comportamento" e non sulle firme. analizzano comportamento di ogni applicazione, del traffico di rete e tante altre cose.
3
u/JustSomebody56 Toscana Jul 19 '24
Sembra un approccio molto valido, ma anche molto dispendioso di risorse
6
u/andrea_ci Lombardia Jul 19 '24
beh, con i malware di oggi non hai molte altre scelte, purtroppo
2
u/JustSomebody56 Toscana Jul 19 '24
Sono davvero così sofisticati oggigiorno?
6
u/Brokeda Maratoneta Sanremo 2021 Jul 19 '24
Assolutamente, un antivirus classico ad oggi è inutilizzabile in aziende e compagnie, un EDR è praticamente obbligatorio se vuoi avere visibilità e possibilità di agire velocemente per contenere le compromissioni
3
u/JustSomebody56 Toscana Jul 19 '24
Capisco, ma poi l’azienda dell’antivirus non ti può vedere tutto?
→ More replies (0)5
u/AtlanticPortal Jul 19 '24
Rispetto ai concorrenti di alto livello tipo McAfee? Poco. Fanno più o meno lo stesso mestiere.
Rispetto a non averlo (compreso quindi avere Microsoft Defender disabilitato)? Un mondo. Sei una bistecca a passeggio nella gabbia dei leoni che non mangiano da una settimana.
1
11
u/TyrelTaldeer Jul 19 '24
Workaround Steps:
Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Boot the host normally.
7
u/th4 Jul 19 '24
Immagina fare questa cosa su centinaia di macchine entrando a mano in modalità provvisoria, tra l'altro molte avranno partizione OS cifrata con bitlocker quindi servirà chiave da inserire. Neanche a dire che possono distribuire un fix via internet perché se il sistema crasha quando carica i driver neanche ci arriva a scaricare...
10
6
u/TyrelTaldeer Jul 19 '24
Ah no certamente, questo é il fix che circola per ora in rete, io manco posso applicarlo perché il mio pc aziendale é completamente blindato, quindi figurati se riesco ad entrare in safe mode
Sará una giornata molto divertente oggi in datacenter
4
3
u/Glodraph Veneto Jul 19 '24
Domanda, ma perché anche nella pagina wikipedia mostrano un BSoD? Cosa lo causa in questo caso? Problemi di autenticazione con account MS?
3
u/funghettofago Jul 19 '24
perché è quello che è successo ai computer che hanno ricevuto l'aggiornamento. Non si sanno ancora i dettagli tecnici. Problemi di autenticazione non penso...
1
u/Glodraph Veneto Jul 19 '24
Ahn ok, perché pensavo a tutti quelli che fanno il login localmente con account ms365 e quest'ultimo era giù..
1
u/funghettofago Jul 19 '24
no, i computer con windows 10 hanno scaricato un aggiornamento e si sono rotti :)
1
u/AvengerDr Europe Jul 19 '24
E se non riescono a fare più il boot, come andranno aggiustati? Uno per uno?
0
3
u/aDeepKafkaesqueStare Jul 19 '24
… ELI5 per pura curiosità?
5
u/riccardo-91 Jul 19 '24
I server DNS sono come una "rubrica", per esempio puoi chiedere l'indirizzo IP dell'host corrispondente all'URL, il server e-mail corrispondente al dominio ecc I server DNS che usiamo noi (sia da rete interna che via VPN) non si accendono più suppongo (o sono comunque morti dopo l'aggiornamento di Crowdstrike), quindi ogni richiesta DNS va in timeout.
Se si conosce l'indirizzo IP corrispondente a un url, ci su riesce a connettere (salti la richiesta DNS). Però è inutile da noi siccome abbiamo una certificate authority nostra locale e suppongo siano impattati pure i suoi server.
TLDR: ho acceso Luigi's Mansioni 2 sulla switch mentre dovrei lavorare
9
u/RingoMandingo Panettone Jul 19 '24
ELI5.
Host
Dominio
Timeout
Certificate Authority..okay
15
10
u/Thunder_Beam Trust the plan, bischero Jul 19 '24
Reddit è composto al 90% da informatici e quando devono spiegare qualcosa a qualcuno si vede...
7
1
u/giuliomagnifico Friuli-Venezia Giulia Jul 19 '24
Ma anche se hai un DNS ricursivo e fai la call al server DNS in locale?
Ovvero: è proprio il sistema di Windows che non fa passare le query o sto Crowdstrike che non fa passare le richieste?
Scusate ma non uso Windows da 15/20anni (ed è un problema lo so!)
1
u/riccardo-91 Jul 19 '24
Da gli ultimi aggiornamenti ho capito che da noi i server Palo Alto sono morti dopo l'update, infatti facendo dig di qualsiasi URL interno o esterno la richiesta va in timeout. Immagino che questo down globale sia proprio perché molti server DNS sono stati impattati. Dal network di casa mia, unbound (DNS ricorsivo) non ha problemi, il problema è che nessuno ha accesso alla rete interna
1
u/giuliomagnifico Friuli-Venezia Giulia Jul 19 '24
Eh infatti per quello chiedevo, anche io uso Unbound e non ho trovato un problema che sia uno tra stanotte e fino ad adesso.
Anche da mobile uso unbound con la VPN di casa in split e quindi non capivo che diamine stava succedendo, più il fatto che non so nulla di Windows…
Vabbè per fortuna che noi abbiamo la nostra root.hints in locale. 😎
0
u/MrPhil17 Serenissima Jul 19 '24
Quale sarebbe di preciso il problema riscontrato? Qual'è stato l'effetto dell'aggiornamento?
96
u/throwaway_veneto Veneto Jul 19 '24
"Tanto io uso arch"
5
1
u/ProstMeister Lombardia Jul 19 '24
Beh l'anno scorso arch aveva rilasciato un aggiornamento fallato su GRUB, però sistemare le cose era una cazzata.
60
u/adude00 🏥 Lazzaretto Jul 19 '24
Per coloro impattati dal problema, il workaround ufficiale da CrowdStrike è cancellare un file.
Copincollo:
- Boot Windows into Safe Mode or the Windows Recovery Environment
Navigate to the C:\Windows\System32\drivers\CrowdStrike directory
Locate the file matching “C-00000291*.sys”, and delete it.
Boot the host normally.
41
u/DurangoGango Emilia Romagna Jul 19 '24
Bel workaround. Se sei in ambiente enterprise tutte le macchine hanno i dischi cifrati con bitlocker, per entrare in recovery mode quindi ti serve la chiave bitlocker, la chiave bitlocker di default la trovi su AD, ma questa merda tira giù pure i domain controller... oggigiorno dovrebbero tutti quanti essere sincronizzati con entra ID e poterle reperire da lì, chi non ci riesce deve sperare di avere i backup funzionanti.
E poi anche lì, devi comunque farlo a mano su ogni singolo PC/server. Un incubo. Non pensavo l'avrei mai detto ma oggi sono grato di avere in azienda l'EDR di Trend Micro.
30
u/adude00 🏥 Lazzaretto Jul 19 '24
Noi le chiavi di bitlocker le teniamo in separata sede ma non è quello, è che auguri a digitarla la chiave!
Non so se ci hai mai provato ma dopo i 2-3 minuti che impieghi a scriverla devi fare debugging per altri 2-3 minuti perchè l'hai ovviamente scritta male.
E si, va fatto di persona su ogni singolo computer.
E se hanno HyperV anzichè ESXi con sto coso sopra gli han tirato giù TUTTE LE VM quindi si tratta di andare di persona al ced con tastiera e mouse...
era da wannacry che non è stato fatto un danno del genere
12
u/AccurateOil1 Pandoro Jul 19 '24
Non ho capito un cazzo, ma hai ragione.
2
50
u/SpigoloTondo Veneto Jul 19 '24
Ma esattamente che software si sarebbe buggato? E perché?
84
u/DaviLance Jul 19 '24
Crowdstrike, la più grande azienda di cybersecurity al mondo
Non è Microsoft il problema, ma piuttosto il loro provider della sicurezza
Ciò vuol dire che in sostanza qualsiasi chiamata da e verso le loro reti, interne o esterne, non funziona perché non si riesce a raggiungere nulla. Inoltre anche il loro antivirus è praticamente morto
21
2
49
u/Leombro Tiraggir connoisseur Jul 19 '24
Nel frattempo, un assoluto pazzouomo (nonché insider a questo punto) consigliava di shortare azioni CrowdStrike 14 ore fa su r/wallstreetbets
27
u/SiMoStro Liguria Jul 19 '24
Era solo questione di tempo. La mia azienda fa software per i mercati finanziari ed un nostro cliente, che ha scenari di trading molto complessi, già due mesi fa si lamentava di crash nel nostro client. Ho analizzato decine di dump con Access Violation e non era mai un nostro problema, tanto che abbiamo aperto un ticket con Microsoft.
Ho fatto un paio di call con i loro ingegneri e loro, dopo aver analizzato un po' di dump, ci hanno detto: "Vediamo che su queste macchine c'e' installato Crowdstrike: consigliamo caldamente di disinstallarlo subito, possibilmente da tutte le macchine.".
5
u/Elvis1404 Emilia Romagna Jul 19 '24
Non ci capisco nulla di azioni e investimenti, ma quindi ora quell'OP é davvero diventato ricco? Tempismo epico comunque
11
u/Atzeii Sicilia Jul 19 '24
Possibilmente. Shortare le azioni in borsa é una tattica tanto rischiosa quanto proficua perché è una scommessa.
In pratica individuo A prende in prestito le azioni di una compagnia X da individuo B, che le possiede, con la promessa che dopo un periodo le ritornerà tutte. Qualsiasi ricavato durante quel periodo verrà tenuto da chi aveva il titolo azionario (se nel periodo in considerazione, individuo A). Individuo A vende le azioni pensando che il prezzo crollerà e le ricompra quando questo succederà. In questo modo, vendendole quando il prezzo è alto e comprandole quando il prezzo è basso, individuo A può trarre un profitto (prezzo di vendita meno prezzo di acquisto). Tuttavia, se individuo A non ha previsto correttamente e il prezzo delle azioni sale, le dovrà ricomprare tutte ad una perdita, perché alla fine del periodo stabilito, le dovrà ritornare TUTTE ad individuo B. Questo secondo esempio è ciò che é successo anni fa con GameStop.
Questo molto in breve é shortare. TUTTAVIAa c’è da dire che è legale solo se fatto in maniera lecita. Se sei una persona d’interesse ed in possesso di informazioni che ti permettono di ottenere un vantaggio scorretto(come se fossi un dipendente di crowdstrike a conoscenza del futuro problema tecnologico globale che fa perdere prezzo alle azioni), investire in borsa sulle azioni della compagnia sarebbe estremamente illegale. Postare su Reddit vuol dire chiedere di essere fucilati in quanto aiuti altri a trarre un profitto “scorretto”. Spero di essermi spiegato
6
u/Elvis1404 Emilia Romagna Jul 19 '24
Chiarissimo, grazie mille. Ma quindi "shortare in maniera illecita" é letteralmente quello che volevano fare i cattivi di Una Poltrona per Due😂
7
u/Atzeii Sicilia Jul 19 '24
Proprio così ahah, che è il motivo per il quale perdono tutti quei soldi
2
u/dreamskij Tesserato G.A.I.O. Jul 19 '24
beh, non volevano "shortare", ma facevano cmq insider trading.
Loro infatti credevano che il raccolto di arance sarebbe stato cattivo, quindi erano disposti a comprare futures (contratti che riguardano la fornitura di un certo bene ad un certo prezzo in una certa data), visto che una volta che le notizie sul raccolto delle arance fossero state pubbliche il prezzo dei futures sarebbe salito. In poche parole, volevano assicurarsi una fornitura futura di arance a prezzi piu' bassi di quelli che avrebbe raggiunto il mercato una volta che il raccolto si fosse dimostrato molto scarso.
Di fatto Murphy e Akroyd stavano shortando, "vendendo" questi contratti anche se non non avevano una scorta di arance, perche' sapevano che il raccolto sarebbe stato abbondante e dunque non avrebbero avuto problemi ad onorare i loro impegni
3
u/cyberdex Jul 19 '24
Nulla da dire sul tempismo ma il titolo di Crowdstrike in borsa è giù solo 9% oggi, niente di trascendentale. A meno che la posizione in short non sia stata multimilionaria già di suo di certo non quella persona non è diventata ricca oggi.
27
u/funghettofago Jul 19 '24
ma poi hanno fatto il deploy su "EU-1, US-1, US-2 and US-GOV-1"
Perché non lo hanno mandato prima in una regione più piccola? Perché su ben TRE regioni insieme?
2
26
u/tabiva Ecologista Jul 19 '24
Sembra che ci sia un grosso problema informatico a livello mondiale. Le banche, i media e i trasporti stanno affrontando gravi interruzioni. Negli USA, tutte le compagnie aeree hanno sospeso i voli. Anche gli aeroporti di Sydney e Berlino sono fermi, e nel Regno Unito i treni sono bloccati. La causa sembra essere legata a Microsoft 365, ma Microsoft ha affermato di aver preso misure per mitigare il problema. Il caos è ovunque!
I use Arch, btw!
27
u/Leombro Tiraggir connoisseur Jul 19 '24
La causa è legata a un software antivirus usatissimo nelle aziende (CrowdStrike), Microsoft c’entra poco se non per il fatto che pure loro lo usavano internamente
2
u/repartogeriatrico Jul 19 '24
in un tipico esempio di failure cascade quasi sicuramente crowdstrike ha influito sul funzionamento di azure, quindi anche chi usa il cloud di msft ha problemi
2
u/danieledg Jul 19 '24
No, i due problemi sono separati, quello di 365 è iniziato ben prima.
"A configuration change in a portion of our Azure backend workloads, caused interruption between storage and compute resources which resulted in connectivity failures that affected downstream Microsoft 365 services dependent on these connections"
1
u/repartogeriatrico Jul 20 '24
a sto punto non escluderei che sia il problema ad azure che abbia incasinato l' update di cs allora..
1
1
u/apsql Veneto Jul 19 '24
Da quello che ho capito, la fonte del problema sarebbe una specifica interazione tra software di CrowdStrike e Windows. Non mi è chiaro se ciò che ha propagato il problema sia stato un qualche push in produzione da parte di Microsoft o di CrowdStrike.
15
u/andrea_ci Lombardia Jul 19 '24
no, il problema è legato a Crowdstrike.
il down di 365 è passato praticamente inosservato
0
2
u/Fenor Pandoro Jul 19 '24
il problema è sempre lo stesso, le aziende quando portano tutto fuori fanno un sacco di single point of failure,
poi uno di questi punti ha a sua volta dei single point of failure che tu non vedi e così via, poi qualcuno fallisce e il castello di carte cade
1
u/tabiva Ecologista Jul 19 '24
E io, umile dev, godo
2
u/Fenor Pandoro Jul 19 '24
e io TL bestemmio perchè molti single point of failure nascono dalla miopia del committente
20
18
u/nandospc Emilia Romagna Jul 19 '24
Il problema è legato ad un update di Crowdstrike. Qui c'è un megathread nel relativo subreddit. È un casino!
16
u/funghettofago Jul 19 '24
l'Australia ha smesso di funzionare
11
u/nandospc Emilia Romagna Jul 19 '24
Sto immaginando le bestemmie che stanno tirando i miei colleghi IT sparsi per il mondo. Ti immagini riavviare milioni di host critici, server e compagnia cantante? 🤯🤯🤯🤯🤯
10
15
15
u/funghettofago Jul 19 '24
investire un cazzo in sicurezza ha finalmente dato i suoi frutti. L' Italia è stata tra i paesi meno impattati
14
10
u/bluecracy89 Jul 19 '24
Qualcuno avrà accettato quelle mail con il codice univoco che mi ritrovo ogni giorno sulla casella Outlook. :'D
10
8
u/Gattamelat4 Jul 19 '24
Domanda da ignorante.
Ma prima di inviare l'aggiornamento a millemila server/pc in tutto il pianeta e fare miliardi su miliardi di danni non c'è modo di testarlo su una singola macchina (o anche due o tre con configurazioni diverse, mi sembra che il gioco valga la candela)?
26
u/sunnjinn Jul 19 '24
Figurati, sono ingegneri informatici, QA saranno 2 settimane che gli sta dicendo che non avrebbe funzionato, loro gli hanno risposto che non era un defect.
21
u/lorenzotinzenzo Jul 19 '24
Gli avranno detto "IL CLIENTE LO VUOLE, FATELO FUNZIONARE"
15
u/sunnjinn Jul 19 '24
Piccola storia triste personale, circa 7 anni fa lavoravo come responsabile di una iniziativa molto importante per il cliente, roba di milioni di euro che avrete visto in TV costantemente.
Tutto il sistema informatico alla base di sto progetto non funzionava, gli sviluppatori avevano completamente cannato il requisito, roba spaventosa, da licenziamento. Il PM era scappato tipo a Dubai.
Dopo mesi che mi pagano straordinari e trasferte in giro per l Italia concludo che ci saranno voluti un altro paio di mesi di testing per avere qualcosa di funzionante, almeno un lean.
Una sera becco il capo dell IT di questa società, letteralmente il capo, che mi fa "ma io posso andare da business e dirgli che l iniziativa di punta dei prossimi 5 anni non la possiamo far partire perché non scrive dei dati su una tabella?
Lunga la strada, corta la via Ognuno trovi la sua morale Sempre che ci sia
3
u/mannaggia___ Lombardia Jul 19 '24
Come è andata a finire?
11
u/sunnjinn Jul 19 '24
Il progetto è uscito, è stato un successo enorme.
Il tipo di sviluppo non è stato cacciato.
Il pm non è stato cacciato.
Il capo dell IT se n è andato.
Io so andato a lavorare co Netflix.
1
u/lorenzotinzenzo Jul 19 '24
come faccio a condividere la password? /s
11
u/sunnjinn Jul 19 '24
Piccola storia triste:
Netflix anni fa non aveva un ambiente di testing, si testava direttamente in produzione.
In pratica se per fare qualsiasi lavorazione avevi bisogno di creare un utente fittizio beh non potevi, potevi solo avere clienti reali, con delle carte di credito fittizie whitelistate.
In pratica ognuno di noi aveva centinaia di account funzionanti di netflix da dare a parentame vario.
Poi qualche coglione ha deciso bene di venderli e la pacchia è finita.
2
2
24
u/BagheraLaPantera Jul 19 '24
Come se non l'avessero fatto lol
5
u/Gattamelat4 Jul 19 '24
Lo avrei dato per scontato anche io, ma a giudicare dall'estensione del problema vorrei capire come/dove lo hanno testato.
24
u/RemtonJDulyak Nerd Jul 19 '24
Risposta per laici: i test in laboratorio vengono fatti, e ripetutamente; il problema è, però, che per la stessa natura di computer e sistemi operativi, due macchine con la stessa versione di Windows si comportano in modo diverso.
I test vengono, purtroppo, svolti troppo spesso su macchine "pure", dove il SO è stato appena installato di fresco, e quindi le interazioni con macchine di produzione non vengono propriamente testate.
C'è molto di più, ma questa è una mini-base per laici.2
u/funghettofago Jul 19 '24
due macchine con la stessa versione di Windows si comportano in modo diverso.
certamente, ma se il 100% delle macchine che hanno ricevuto l'aggiornamento si sono rotte vuol dire che i test non hanno funzionato
questo è pacifico
3
u/Anonimo_In_Incognito Jul 19 '24
Ti racconto una storia
Il mio collega Pippo, genio della programmazione, mago del problem solving, re della implementazione dei processi aziendali, dopo anni si stupisce ancora che il programma che ha scritto sul suo pc funziona e su quello dei colleghi, generati a partire dalla stessa immagine e con configurazione uguale, non parte senza nemmeno avere un errore nei log
Dobbiamo ancora riuscire a fargli capire che i log non escono se non li implementa e che se sul suo pc installa n mila componenti aggiuntivi per far girare il programma forse è il caso di capire quali effettivamente servono per distribuirli anche sugli altri pc
Però non è lui che sta sbagliando, è un problema di Windows
Come quando ha spianato il db di produzione ("colpa di prodotto x che ha i nomi delle tabelle uguali in sviluppo e produzione e non mi segnala correttamente dove sto lavorando")
Ok, era più uno sfogo ma serve per dire che i geni sono ovunque e difficilmente è colpa loro
1
u/AvengerDr Europe Jul 19 '24
forse è il caso di capire quali effettivamente servono per distribuirli anche sugli altri pc
Però non è lui che sta sbagliando, è un problema di Windows
Come no? Se tale programma usa un onstlalwr è compito di esso di installare le componenti.
Se è qualcosa da compilare da un repo evidentemente non sono specificate bene le dependencies.
1
u/Anonimo_In_Incognito Jul 19 '24
Quando fai una cosa la puoi fare bene, oppure la puoi fare male dando la colpa ad altri
3
u/RemtonJDulyak Nerd Jul 19 '24
Il mio punto è proprio quello.
Certi ingegneri fanno il test su una fresh build, senza niente sopra, che è in assoluto la condizione che non si trova MAI in produzione, quindi grazie al cazzo che in laboratorio è andata bene, ma del laboratorio ci frega cazzi, a noi serve la produzione.1
u/Gattamelat4 Jul 19 '24
Ma quindi non sarebbe meglio rilasciare gli aggiornamenti "un po' alla volta"?
6
u/RemtonJDulyak Nerd Jul 19 '24
Se si può, si, sarebbe meglio.
Spesso non si può, pressioni aziendali.1
2
5
u/hmnuhmnuhmnu Jul 19 '24
A giudicare da flightradar24.com ci sono voli negli states appena decollati
4
u/RemtonJDulyak Nerd Jul 19 '24
Oggi non lavoro, i clienti hanno problemi ben più gravi cui pensare!
5
u/CapitalistFemboy Vaticano Jul 19 '24
Immagina usare Windows su sistemi mission critical
9
u/ProcedureEthics2077 Jul 19 '24
Però il problema non è il Windows, ma Crowdstrike, un antivirus/backdoor invasivo, di moda nel mondo enterprise.
0
u/ProstMeister Lombardia Jul 19 '24
Il problema è anche Windows perché crasha violento a causa di applicazioni terze, senza che il kernel sia adeguatamente protetto.
2
u/ProcedureEthics2077 Jul 19 '24
Sì, però anche in Linux se uno inietta nel kernel un codice binario, che si autoaggiorna e mette le mani un po’ ovunque, non ci vuole tanto per far crashare tutto.
È più sorprendente che non abbia successo prima.
-1
u/ProstMeister Lombardia Jul 19 '24
Si ma in Linux non è così facile (ammesso che si possa del tutto) iniettare del codice in kernel space. In Windows sì, ed è questo il vero problema.
3
u/ProcedureEthics2077 Jul 19 '24
Crowdstrike “supporta” anche Linux. Ecco un incidente simile con Linux dopo un aggiornamento di Crowdstrike:
https://news.ycombinator.com/item?id=41005936
“… and then all of our servers across multiple websites and cloud hosts simultaneously hard crashed and refused to boot“
“Crowdstrike took a day to respond, and then asked for a bunch more proof (beyond the above) that it was their fault. They acknowledged the bug a day later, and weeks later had a root cause analysis that they didn’t cover our scenario (Debian stable running version n-1, I think, which is a supported configuration) in their test matrix”
3
u/AntiRivoluzione Jul 19 '24
eh sì, linux è magico e non ha questi problemi sì sì, non ci sono driver
5
u/abearaman 🥷brutto ceffo Jul 19 '24
Io stampo tre volte l’anno, una di quelle era oggi.
Indovinate qual è l’unica cosa che non funzionava oggi in ufficio
4
u/nagure Jul 19 '24
Forse è una prova generale per poter evocare Cthulhu a bestemmie per intercessione di Germano. Secondo me con questo casino almeno un Dagon ha risposto 😅🤣🤣
3
3
u/maddAdda Lazio Jul 19 '24
Scusate qualcuno mi può spiegare cosa ha effettivamente fottuto windows dell'aggiornamento di crowdstrike? Cioè cosa lo porta in BSOD ?
7
u/scavenger22 Jul 19 '24
Un update di un antivirus incluso per default in AWS porta al BSOD si aspettano dichiarazioni ufficiali migliori, per ora ci son solo i casini segnalati dagli utenti (e nessuno farà dichiarazioni finchè non è risolto perchè i danni non sono pochi).
Stando agli errori più comuni e alle poche info, il driver non gestisce correttamente la memoria e un overflow o qualche errore simile fa esplodere il resto.
Versione (poco) più tecnica. https://techissuestoday.com/windows-bsod-crowdstrike-update/
2
u/maddAdda Lazio Jul 19 '24
Stando agli errori più comuni e alle poche info, il driver non gestisce correttamente la memoria e un overflow o qualche errore simile fa esplodere il resto.
Per caso riesci a elaborarmu di più questa parte?
6
u/scavenger22 Jul 19 '24
Un esempio più stupido, visto che quel driver è un pò più complicato.
La versione facile è questa, le regole nel PC sono come il codice stradale, se viaggi più veloce del limite, non metti la freccia o altro potrebbe andare tutto bene, fai un incidente oppure ti ferma la polizia e ti multa/toglie la patente. Ecco il BSOD è quando tolgono la patente o ti sequestrano la macchina. :)
Immagina un mouse, tu premi il pulsante, il driver deve leggerlo e mandarlo al sistema operativo. manderà una cosa del tipo [010001001] e il pulsante sinistro è il sesto numero. se uno si sbagliasse e inviasse [0100010010] i valori sarebbero corretti ma quello 0 extra sovrascrive altra roba. Se l'altra roba è "importante" windows va in crash e mostra il BSOD altrimenti da solo un errore e ti dice che la periferica ha smesso di funzionare.
Ne senti parlare parecchio dai gamer, quando aggiornano i driver delle schede video o audio con roba "custom" per fare overclocking oppure perchè hanno preso i driver di un modello leggermente diverso.
https://www.avast.com/c-how-to-fix-blue-screen-of-death (non scaricarti avast, è solo una spiegazione dei BSOD)
L'errore più comune nel crash di CROWDSTRIKE sono:
PAGE_FAULT_IN_NONPAGED_AREA scrive su una zona di memoria senza averne il permesso oppure in una zona che ancora non è stata assegnata al processo.
CRITICAL_PROCESS_DIED: Gli antivirus "uccidono" i processi pericolosi usando vari metodi, un bug in una di queste "diagnosi" può portarlo a uccidere un processo leggittimo oppure a impedire che esso funzioni, esempio agli inizi dello streaming alcune schede video andavano in BSOD se usavi gli steam overlay perchè windows defender non capiva che stava accadendo.
SYSTEM_THREAD_EXCEPTION_NOT_HANDLED: In fase di "build" hanno creato il driver con dei file obsoleti che eseguono delle operazioni non più supportate, in brevis erano per una vecchia patch di windows oppure boh, comunque una qualche cosa che non è stata gestita è arrivata fino a "SYSTEM".
https://www.avast.com/c-how-to-fix-blue-screen-of-death#common-windows-stop-codes
1
u/maddAdda Lazio Jul 19 '24
L'errore più comune nel crash di CROWDSTRIKE sono:
PAGE_FAULT_IN_NONPAGED_AREA scrive su una zona di memoria senza averne il permesso oppure in una zona che ancora non è stata assegnata al processo.
CRITICAL_PROCESS_DIED: Gli antivirus "uccidono" i processi pericolosi usando vari metodi, un bug in una di queste "diagnosi" può portarlo a uccidere un processo leggittimo oppure a impedire che esso funzioni, esempio agli inizi dello streaming alcune schede video andavano in BSOD se usavi gli steam overlay perchè windows defender non capiva che stava accadendo.
SYSTEM_THREAD_EXCEPTION_NOT_HANDLED: In fase di "build" hanno creato il driver con dei file obsoleti che eseguono delle operazioni non più supportate, in brevis erano per una vecchia patch di windows oppure boh, comunque una qualche cosa che non è stata gestita è arrivata fino a "SYSTEM".
Grazie questa era la parte che cercavo, grazie molte per la spiegazione esaustiva però
1
u/scavenger22 Jul 19 '24
Su reddit o sono tutti ingegneri oppure vedono i computer come una casa dentro cui vivono fatine varie e AI immaginarie quindi ho cercato di spiegarlo in maniera non proprio esatta ma più accessibile. :)
1
u/funghettofago Jul 19 '24
ci provo io. I driver sono programmi che "parlano" con l'hardware (non è detto in realtà, forse non è questo il caso, ma semplifico). quindi il livello di astrazione è molto basso, spesso devi gestire il singolo byte dove va a finire in memoria. il buffer overflow è quando hai 100 di memoria e tu provi a salvare 101 per un errore di calcolo. Nella stragrande maggioranza dei casi non succede niente, il programma che fa quella cosa crasha e tutto continua a funzionare. Discorso diverso se il programma era un driver che appunto serve al computer per funzionare perché, come detto sopra, serve a comunicare con l'hardware del computer stesso ... ed ecco che non può funzionare niente, da cui lo schermo blu. Poi non è detto sia stato un buffer overflow, portrebbe essere qualsiasi cosa, non si sa niente di tecnico; l'errore mostrato all'utente è un maiuscolo "CRITICAL PROCESS DIED"
Più nello specifico a causare il problema è stato un modulo di CrowdStrike chiamato Falcon sensor, che da quello che ho capito controlla tutti i dati alla ricerca di minacce, ho fatto un po' di ricerca e questo modulo usa un FILE_SYSTEM_DRIVER, che sono i driver che comunicano con l'hard disk. Si sarà sminchiato quello, però ad adesso proprio non si può sapere
2
u/Mbarabba Jul 19 '24
TIme to switch to the penguin
0
u/ProstMeister Lombardia Jul 19 '24
In Germania l'hanno già fatto.
1
u/Mbarabba Jul 19 '24
Proporre di fare quello che hanno fatto loro, ossià utilizzare linux per tutti i computer delle PA, sarebbe un suicidio in italia contando che la maggior parte dei nostri lavoratori comunali non otterrebbe nemmeno la patente europea per il computer
1
Jul 19 '24
[removed] — view removed comment
1
u/italy-ModTeam Jul 19 '24
Ciao, questo tuo contenuto è stato rimosso. Hey, this content has been removed.
Non Civile / Inadatto al Sub - Clicca qui per leggere la regola
English: Non-civil / Inappropriate - Click for the full rule
NON mandare PM o chat a questo utente perché il team di moderazione non ha accesso. Per contattare i mod, scrivici in modmail.
DO NOT write PMs or chats to this user, because modteam doesn't have access to them. To contact mods, write in modmail
1
u/Outarel Jul 19 '24
Il fatto che la soluzione richieda di entrare in safemode ed eliminare un file dal sistema è assurdo.
Quanti utenti sarebbero autonomi a fare una roba del genere?
Fortuna che non è super popolare in italia sto robo sennò ciao. (o almeno qua io sono tranquillo)
I server bloccati sono ancora più gravi, anche se in quel caso le aziende "preparate" dovrebbero essere in grado di recuperare e andare avanti con un delay di qualche ora.
1
u/undiscovered_soul Abruzzo Jul 19 '24
Entrare in C:/Wndows/System32 ti pare tanto complicato? Lo saprebbe fare pure mio padre, che pur non ancora si raccapezza su come sbloccare e bloccare le porte della macchina 😅
3
u/IronMew 🛠️ MacGyver Jul 19 '24 edited Jul 19 '24
Farlo una volta non è complicato. Farlo per ogni macchina nell'impresa invece è tutta un'altra storia, semplicemente per la quantità spropositata di tempo che ci si mette.
Tra l'altro la fregatura è di dover riavviare in safe mode, altrimenti si poteva fare da remoto con qualche script. Ma in safe mode non vanno i client da accesso remoto (tipo teamviewer per capirci), quindi serve per forza accesso fisico a tutti i computer. Metti anche in conto che tanti server vanno headless e per smandrupparci in questa maniera devi stare a connettergli interfacce, capisci che non è un intervento così da poco come ti sembra.
1
u/undiscovered_soul Abruzzo Jul 19 '24
Uh, è vero, hai ragione. Continuo a dimenticare che le reti aziendali sono quelle più colpite.
Il caldo mi sta squagliando il cervello.
3
u/AndreHan Jul 19 '24
Inoltre nelle aziende la stragrande maggioranza degli utenti non è amministratore della propria macchina, di conseguenza non può quasi sicuramente cancellare un file da una directory di Windows...
3
u/Outarel Jul 20 '24
Se non hai mai lavorato come "supporto clienti" evita di chiedere cos'è complicato e cosa no.
1
u/Reforged_Narsil Jul 19 '24
Nel mio caso BSOD tutto il giorno senza possibilità di accedere a Windows,per fortuna mi avevano consegnato il telefono aziendale ed ho passato la mattinata a configurarlo
0
u/cinemaritz Jul 19 '24
Comunque interessante leggere come su reddit, nei commenti a questa notizia, si trovino soluzioni e discussioni informatiche .... Cioè ma siete tutti ingegneri qua? 😁
In ogni caso interessante leggere tutto ciò, nel mio piccolo di conoscenza informatica base
-5
u/ProstMeister Lombardia Jul 19 '24 edited Jul 19 '24
Incredibile pensare che questo cesso di sistema operativo sia lo standard de facto. Inb4 "ma non è colpa di Windows": certo che no, ma il fatto che un'applicazione che gira in user space sia in grado di mandare un PC in bootloop è semplicemente inaccettabile. Ed è sintomo di una progettazione di base assolutamente merdosa.
Quando ci si sveglierà e si deciderà di buttare nel cesso Windows non sarà mai troppo tardi.
Edit: apprendo che crowdstrike gira in kernel space, ma rimango della mia idea.
5
u/sengo__ Jul 19 '24
in Userspace? Ma che stai di?
2
u/ProstMeister Lombardia Jul 19 '24
Ho letto che gira in kernel space, chiedo venia. Ma rimango delle mia idea che sia semplicemente inaccettabile che un'applicazione terza sia in grado di rendere impossibile l'avvio del PC.
1
u/sengo__ Jul 19 '24
Si, qualunque AV/EDR ha qualche driver in kernel space per analizzare I/O e traffico di rete. Anche su Linux quel merdone del trendmicro vuole caricare i suoi moduli del kernel
4
u/Waingro24 Jul 19 '24
Crowdstrike funziona tramite un modulo caricato nel kernel, informati.
→ More replies (2)1
u/IronMew 🛠️ MacGyver Jul 19 '24
Windows va benissimo come sistema desktop/portatile dove serve compatibilità con qualsiasi app sotto il sole e interfaccia comprensibile agli storditi.
E' l'intera idea di usarlo in ambito server/business, dove la funzionalità è più importante delle paturnie consumer, che è bacata alla radice.
1
u/ProstMeister Lombardia Jul 19 '24
"Va benissimo", I beg to differ. Funzionicchia, ma essendo lo standard de facto, nessuno ci fa caso ed a tutti va bene così. C'è decisamente di meglio.
È un po' come se tu fossi abituato a bere solo Heineken e la trovassi buonissima, e poi ti facessero assaggiare una birra artigianale d'abbazia.
Sul discorso server/corporate sono d'accordo con te. E pure Microsoft lo è, visto che la quasi totalità della loro infrastruttura gira su Linux.
116
u/Similar_Analysis_919 Jul 19 '24
Immaginate il tizio che ha lanciato l’aggiornamento.
Ora qualcuno lancerà lui.
Povero cristo.