Już jest platforma pozwalająca wykrywać, reagować i naprawiać zagrożenia dla systemów Machine Learning

Home / Aktualności / Już jest platforma pozwalająca wykrywać, reagować i naprawiać zagrożenia dla systemów Machine Learning

Uczenie maszynowe (ML) stosowane jest obecnie w większości technologii, wpływających na prawie każdy aspekt naszego życia. Wraz ze wzrostem znaczenia Machine Learning, rośnie również liczba taktyk i technik do ich skutecznego obchodzenia. W październiku 2020 r. organizacja MITRE, przy wkładzie 11 firm m.in. IBM, NVIDIA i Bosch, Microsoft opracowała Adversarial ML Threat Matrix, otwartą platformę dla branży IT security. Jej celem jest umożliwienie analitykom bezpieczeństwa wykrywanie, reagowanie i naprawianie zagrożeń dla systemów Machine Learning.

W ciągu ostatnich czterech lat firma Microsoft odnotowała znaczny wzrost liczby ataków na komercyjne systemy ML. Raporty rynkowe również zwracają uwagę na ten problem: 10 najważniejszych strategicznych trendów technologicznych firmy Gartner na rok 2020, opublikowanych w październiku 2019 r., Przewiduje, że „do 2022 r. 30% wszystkich cyberataków sztucznej inteligencji będzie wykorzystywało zatruwanie danych testowych czy kradzież modeli AI.”.

Mimo to ankieta przeprowadzona przez Microsoft wskazała na wyraźny dysonans poznawczy, zwłaszcza wśród analityków bezpieczeństwa. Uważają oni, że ryzyko dla systemów ML to futurystyczny problem. I to właśnie jest problem ponieważ cyberataki na systemy ML są obecnie w fazie wzrostu.

W 2020 r. widzieliśmy pierwszy CVE opublikowany dla komponentu ML w systemie komercyjnym, a SEI/CERT wydał pierwszą notę o podatności, zwracając uwagę, ile z obecnych systemów ML może być poddanych na ataki polegające na błędnej klasyfikacji, naruszające poufność, integralność, i dostępność systemów ML.

Nota dumnie głosi:

„Modele uczenia maszynowego trenowane przy użyciu zstępowania gradientu mogą zostać arbitralnie zmuszone do dokonania błędnych klasyfikacji, które mogą wpłynąć na klasyfikowane elementy. Wpływ błędnej klasyfikacji różni się znacznie w zależności od celu modelu ML i systemów, których jest on częścią.”

Społeczność akademicka bije na alarm od 2004 roku i rutynowo pokazuje, że systemy ML, jeśli nie są starannie zabezpieczone, mogą być zagrożone.

Adversarial ML Threat Matrix powstał, ponieważ odpowiedzią wobec narastających ataków na systemy ML jest posiadanie struktury, która systematycznie ewidencjonuje taktyki i techniki używany do naruszania bezpieczeństwa systemów machine learning. Tabelaryczne taktyki i techniki mogą zostać skutecznie wykorzystane do wzmocnienia strategii monitorowania krytycznych systemów ML w organizacji.

Kilka najważniejszych założeń dotyczących Adversarial ML Threat Matrix

To pierwsza próba zestawienia znanych technik przeciwnika przeciwko systemom Machine Learning. Jest to żywy dokument, który będzie rutynowo aktualizowany.

W Matrycy wymieniono tylko znane zło. Adversarial ML to aktywny obszar badań, w którym stale odkrywane są nowe klasy. Autorzy są otwarci na input społeczności bezpieczeństwa.

W tej chwili framework nie sugeruje środków obrony, ponieważ w tej dziedzinie nie osiągnięto konsensusu.

To nie jest to struktura priorytetyzacji ryzyka – A-ML Threat Matrix zestawia tylko znane techniki; nie zapewnia środków do ustalania priorytetów ryzyk.

Celem Adversarial ML Threat Matrix jest umiejscowienie ataków na systemy ML w ramach, którego analitycy bezpieczeństwa mogą zorientować się w tych nowych i nadchodzących zagrożeniach. Matryca ma strukturę podobną do frameworka ATT&CK, ze względu na jej szerokie zastosowanie w społeczności analityków bezpieczeństwa w ten sposób analitycy bezpieczeństwa nie muszą uczyć się nowej lub innej struktury, aby dowiedzieć się o zagrożeniach dla systemów ML. Ponieważ Adversarial ML Threat Matrix jest ukształtowany na wzór ATT&CK Enterprise, zachowuje terminologię: na przykład nagłówki kolumn nazywane są „Taktykami”, a poszczególne elementy nazywane są „Technikami”.

Istnieją jednak dwie główne różnice

ATT&CK Enterprise jest generalnie zaprojektowany dla sieci korporacyjnej, która składa się z wielu komponentów podrzędnych, takich jak stacja robocza, hosty bastionu, baza danych, sprzęt sieciowy, active directory, komponent chmury i tak dalej. Taktyka przedsiębiorstwa ATT&CK (wstępny dostęp, wytrwałość itp.) to naprawdę kluczowe informacje o pierwszym dostępie do sieci korporacyjnej; trwałość w sieci korporacyjnej. W Adversarial ML Threat Matrix przyznajemy, że systemy ML są częścią sieci korporacyjnej, chcieliśmy podkreślić wyjątkowość ataków.

Różnica: w matrycy zagrożeń ML „taktykę” należy rozumieć jako „rozpoznanie podsystemu ML”, „wytrwałość w podsystemie ML”, „unikanie podsystemu ML”. Kiedy przeanalizowaliśmy rzeczywiste ataki na systemy ML, odkryliśmy, że osoby atakujące mogą stosować różne strategie: polegać wyłącznie na tradycyjnej technice cyberbezpieczeństwa; Polegaj wyłącznie na przeciwstawnych technikach ML; lub Zastosuj połączenie tradycyjnych technik cyberbezpieczeństwa i technik ML.

Kiedy przeanalizowaliśmy rzeczywiste ataki na systemy ML, odkryliśmy, że osoby atakujące mogą stosować różne strategie: polegać wyłącznie na tradycyjnej technice cyberbezpieczeństwa; Polegaj wyłącznie na przeciwstawnych technikach ML; lub Zastosuj połączenie tradycyjnych technik cyberbezpieczeństwa i technik ML.

Różnica w Adversarial ML Threat Matrix „Techniki” występują w dwóch wersjach:

Techniki zaznaczone na pomarańczowo są specyficzne dla systemów ML.
Techniki zaznaczone na biało mają zastosowanie zarówno do systemów ML, jak i innych niż ML i pochodzą bezpośrednio z Enterprise ATT&CK.

Matryca zagrożeń ML nie jest jeszcze częścią macierzy ATT&CK.

Matryca zagrożeń przeciwdziałających ML jest również znacząco inna, ponieważ ataki na systemy ML z natury różnią się od tradycyjnych ataków na sieci korporacyjne. Adversarial ML TM oparty jest na danych z realnych ataków na systemy ML, które MITRE potwierdziło jako skuteczne. Odkryto również, że atakując system ML, atakujący używają kombinacji „tradycyjnych technik”, takich jak phishing i rozprzestrzenianie wewnętrzne, wraz z technikami dedykowanymi stricte ML. Głównym celem frameworku jest zwrócić uwagę na zagrożenia atakami na infrastrukturę Machine Learning i pomóc ustrukturyzować techniki tych ataków.