Azure Machine Learning
Azure Machine Learning
Rețele neuronale
Datele de referință pot fi obținute la cerere folosind ___________.
Toate opțiunile sunt corecte
Un mic amprente de memorie poate fi dobândit prin ______________.
Jungla Deciziilor corectă
Procesul de determinare a cauzelor care joacă un rol în creșterea prețului locuințelor într-o
zona particulară pentru a modela un predictor de prețuri pentru case se numește ___________.
Inginerie de caracteristici corectă
În general, modelele de învățare automatizată liniare sunt asociate cu __________.
Antrenament rapid corect
Un cluster K-Means este considerat bine definit dacă clusterul este ________.
Elipsă corectă
Care dintre următoarele afirmații este falsă despre datele de antrenament și datele de testare în Azure ML Studio?
Împărțirea datelor de antrenament și a celor de testare ar trebui să urmeze o regulă de bază de 80 : 20.
Ce serviciu poate fi folosit împreună cu Azure ML Studio Services pentru a prezice mașina
Eșec în timp real prin datele colectate de la senzori?
Azure Stream Analytics corect
Creezi un job Azure Stream Analytics în care dorești să apelezi un Azure Machine
Serviciu web de învățare care este gestionat într-o altă subscripție Azure. Ce poate fi
terminat de utilizat serviciul web de învățare automată?
Funcția Azure ML este adăugată la lucrarea de analiză a fluxurilor, specificând URL-ul și cheia
pentru serviciul web. corect
Pentru a preveni rularea modulului Importare Date de fiecare dată când efectuam un experiment, atunci când datele sunt
importat din Azure Blob storage, putem folosi _____________.
Rezultate în cache
-------------------------------------------------
Azure - Învățare Automată
Învățare Automată pe Cloud
According to Microsoft:
Învățarea automată este o tehnică de știința datelor care permite calculatoarelor să folosească datele existente
date pentru a prezice comportamentele, rezultatele și tendințele viitoare.
Pe măsură ce avansezi, vei învăța cum să folosești Azure Machine Learning Studio ca un
soluție integrată, de la început până la sfârșit, de știința datelor și analiză avansată, care permite date
cercetătorii să pregătească datele, să dezvolte experimente și să implementeze modele la scară cloud.
Cum funcționează?
Azure Machine Learning Studio este un serviciu cloud în Azure care îți permite să
experimentează cu datele și creează modele predictive.
(2) Un set de date experimental este preluat și un flux de lucrări de transformări care urmează să fie aplicate la
datele sunt definite.
(3) Modele diferite sunt antrenate și testate pentru a crea un model de experiment predictiv
cu acuratețea necesară.
(5) Experimentul tău predictiv poate fi apoi publicat ca un serviciu web, care client
aplicațiile și procesele pot apela pentru a genera valori prezise
Pe ce se bazează?
Azure Machine Learning este construit pe baza:
Jupyter Notebook
Apache Spark
Docker
Kubernetes
Python
Conda
Biblioteca de Învățare Automată Microsoft pentru Apache Spark
Toolkit-ul Cognitiv Microsoft.
Azure ML este compatibil cu scikit-learn, TensorFlow și Spark ML
Conda acționează ca un manager de pachete pentru pachete python compatibile, cum ar fi sckit-learn.
matplotlib, TensorFlow, etc...
Apache Spark și bibliotecile sale dependente ajută la colectarea datelor din joburile de Big Data
care poate fi conectat cu Azure ML Studio.
Alte instrumente ML
În plus față de Azure Machine Learning Studio, există o varietate de opțiuni la
Microsoft va construi, desfășura și gestiona modelele dvs. de învățare automată.
Este în prezent în previzualizare și oferă mediului un suport mult mai bun pentru
framework-uri deschise în python, cum ar fi Tensorflow, sci-kit learn etc..
Suportă Jupyter Notebooks, Instrumentele Visual Studio Code pentru AI, Azure Batch AI și
Implementare containerizată.
Mergând înainte
Pe măsură ce avansezi cu cursul, vei învăța
Foloseste funcționalitatea Azure ML pentru a curăța datele, a crea modele ML și a le desfășura ca aplicații web
servicii.
Platforma Azure ML
Aceasta ajută la înțelegerea utilizării platformei Azure ML pe web pentru a genera predicții.
crearea și desfășurarea modelelor ML.
Fluxul de lucru urmat pentru a genera servicii web din seturi de date este următorul:
Spațiu de lucru
Spațiu de lucru
Spațiul de lucru este o provisionare oferită în abonamentul Azure, care poate fi denumită ca un
teren de joacă pentru experimentarea în învățarea automată.
Experiment de antrenament
Experiment Predictiv și
Colecție de servicii web pentru un utilizator.
Pentru a explora platforma Azure ML, trebuie să avem un abonament Azure și trebuie să
creează un spațiu de lucru.
Caiete
Caiete
Platforma Azure ML are suport încorporat pentru a executa scripturi R și Python folosind
Jupyter Notebook.
Notebooks pot fi folosite pentru a transforma, curăța, vizualiza datele și a antrena modele.
conform cerințelor.
Ele pot fi plasate ca parte a unui experiment sau pot fi utilizate pentru
vizualizare/transformare separat pentru seturi de date particulare.
Proiecte
Proiecte
Proiectele ne permit să gestionăm cu ușurință diverse resurse.
Tabloul Proiectelor oferă sinteze ale tuturor activelor, adică experimente, caiete de sarcini și
seturi de date folosite de noi și adăugate la proiect.
Putem, de asemenea, să împărtășim munca noastră privind experimentele și serviciile web pentru ca alții să învețe și
explorați.
Seturi de date
Un experiment Azure ML necesită cel puțin un set de date pe baza căruia este creat modelul.
Datele pot fi importate direct sau în Azure Storage și folosite pentru a crea un
model.
Joburile Hive sau U-SQL sunt folosite pentru a curăța și pregăti pentru analiză.
Un proces de afaceri stochează volume mari de date într-o bază de date sau într-un depozit de date.
Aceaste date pot fi stocate pe Azure Storage și pot fi ușor importate în Azure ML.
Spațiu de lucru. Datele pot fi, de asemenea, importate din Hive sau baza de date Azure SQL.
Mai departe în acest subiect, veți învăța diferite tipuri de date folosite în experimente și
moduri de a le folosi
Mai multe fișiere pot fi încărcate în spațiul de lucru Azure ML, dar dimensiunea maximă este mai mică.
decât 2 GB.
Cu toate acestea, importul de până la 10 GB de date din alte surse este posibil.
Dacă trebuie să lucrezi cu volume de date și mai mari, eșantionarea statistică
tehnicile trebuie folosite pentru a preleva zece gigabytes de date pentru antrenament.
Date de antrenament
Seturile de date sunt clasificate în general în două tipuri din perspectiva Azure ML.
În funcție de clientul care utilizează serviciul, datele de referință care trebuie folosite pot fi variate.
în consecință, pentru a oferi personalizare și flexibilitate serviciului web.
Datele pot fi, de asemenea, importate din SQL Server pe premise sau din mai multe alte surse online.
surse folosind modulul Import.
Formate multiple de date, cum ar fi .txt, .csv, .[Link], .tsv, .[Link], fișier Excel, Azure
tabel, tabel Hive, tabel bază de date SQL, .RData etc.. sunt acceptate.
Tipurile de date recunoscute de ML Studio sunt Șir, Întreg, Dublu, Boolean, Dată și oră
și TimeSpan.
Pentru mai multe detalii, consultați următoarele:
Importați date
Pregătiți datele
Scenarii pentru analize avansate.
Ciclul de viață
O soluție de știință a datelor implică:
Adoptarea ML Studio
Azure Machine Learning Studio ajută pe tot parcursul ciclului de viață al unei științe a datelor
soluție.
Am avut deja o privire asupra Importului de Date din diverse surse, care poate fi considerat
ca Extracție de date.
Azure ML Studio oferă aceste caracteristici prin intermediul Filtrelor, Scalării și Reducerii,
Manipulare și Eșantionare și Împărțire.
Cu toate acestea, Notebooks pot fi folosite pentru a vizualiza suplimentar datele într-o manieră necesară cu
Scripturi Python/R adăugând flexibilitate și funcționalitate.
Uitați-vă la următorul videoclip pentru a învăța cum să folosiți Notebooks pentru vizualizarea datelor.
Joacă
00:00
-06:09
Nebun
Setări
Intră în modul Fullscreen
Ele sunt împărțite în 4 clase majore atât pentru datele structurate, cât și pentru cele nestructurate.
Regresie
- Clasificare
Detectarea anomaliilor
Clustering
Utilizatorii pot, de asemenea, să scrie propriile scripturi Python și să le încorporeze în fluxul de lucru ML.
pentru modele personalizate și optimizate folosind Notebooks și biblioteci ML suportate precum
sci-kit learn, Tensorflow, etc.
Model de regresie
Urmăriți acest videoclip pentru a înțelege cum să antrenați un model de regresie dintr-un eșantion
set de date folosind serviciul de experimentare Azure ML.
Model de clasificare
Uitați-vă la acest videoclip pentru a înțelege cum să antrenați un model de clasificare dintr-un eșantion
set de date folosind serviciul de experimentare Azure ML.
Consultați următoarele linkuri pentru o mai bună înțelegere a metodelor de învățare supravegheată
în ceea ce privește platforma Azure ML: Inginerie de caracteristici, Selectarea algorimului și Evaluarea ML
Model.
Învățare nesupravegheată
Învățarea nesupravegheată este folosită pentru a lucra cu date nestructurate și nelabelate.
Clusteringul este cea mai frecvent utilizată metodă prin care datele similare sunt grupate.
găsirea caracteristicilor și gruparea acestora pe baza setului lor de caracteristici.
Clustering K-Means
Urmăriți videoclipul pentru a învăța cum să utilizați algoritmul de clasificare K-Means și să vizualizați datele
după grupare.
Recomandatori
Recomandatorii, așa cum sugerează numele lor, sunt utilizați în sectoare de comerț electronic, reclame și
platforme sociale etc. Ele recomandă articole de interes în funcție de utilizatori
interacțiune anterioară.
Urmărește următorul videoclip pentru a învăța cum să modelezi un sistem de recomandare pe platforma Azure ML.
Ce urmează?
În acest subiect, ai învățat cum să creezi un model ML din seturi de date preluate și
diferite tipuri de modele ML acceptate pe platforma Azure ML.
Treci la următorul subiect pentru a învăța cum să desfășori modelele ML ca servicii web.
Refer the following links for further info on: K-Means Clustering and Match Box
Recomandator.
Odată ce modelele antrenate sunt testate pentru acuratețe și optimizate, acestea trebuie să fie
implementat pentru consum prin API.
This topic helps to learn to deploy the trained model as a web service using a
experiment predictiv.
Experiment predictiv
Experimentul predictiv este creat din Experimentul de antrenament de succes.
Aceasta definește fluxul de lucru al procesării cererilor web pentru a genera predicții.
Webservice
Un serviciu web trebuie să fie creat dintr-un experiment predictiv pentru a consuma generația.
model ML.
Crearea unui serviciu Web generează puncte finale API care pot fi accesate prin
Chei API primare și secundare.
Punctele finale ale API-ului iau inputuri necesare de modelul ML și oferă un output JSON cu
predicții.
Acum că bazele creării și implementării unui serviciu web sunt înțelese, treceți la următorul pas.
la următorul subiect pentru a învăța mai multe despre gestionarea și personalizarea serviciilor web.
Scufundări adânci - Servicii web
Acest subiect acoperă
Management
Consum și
Personalizarea serviciilor web conform cerințelor clientului.
De asemenea, vei învăța despre metrici și jurnalizare în ceea ce privește utilizarea serviciilor web.
Serviciile web pot fi create pentru a recupera datele de referință dintr-o bază de date.
Parametrii pot fi transmişi pentru a recupera date de referință din baza de date necesară
serviciu clienți diferiți.
Consum
Serviciul web poate fi consumat din API-ul publicat fie în
API-urile sunt construite ca API-uri REST și pot fi consumate de aplicația client necesară.
prin transmiterea parametrilor necesari ca o cerere HTTPS.
Microsoft Excel, împreună cu Plug-in-ul Azure ML, poate fi de asemenea utilizat pentru a consuma
serviciu.
Consumarea API-urilor
Videoclipul următor explică cum să consumi serviciul API folosind punctele finale API și
de asemenea, folosind Excel.
Parametrii
Serviciul Web poate fi personalizat pentru a prelua parametrii necesari pentru a accesa suplimentar
date.
De exemplu, puteți specifica o bază de date pentru a obține datele. Aceasta va fi furnizată ca
un parametru suplimentar pe lângă parametrii necesari pentru o predicție.
Aceasta ajută la consumul personalizat al clienților, astfel încât fiecare client să folosească același lucru.
serviciu pentru predicție, dar datele de ieșire/recuperare sunt diferite pentru fiecare dintre ele.
Monitorizare
Platforma Azure ML permite gestionarea serviciilor web prin intermediul statisticilor de utilizare și
Jurnalizare.
Tablourile de bord oferă o prezentare generală a numărului total de solicitări efectuate către API și
rata lor de succes/eșec pe o perioadă selectată de timp. De asemenea, oferă media
calculați timpul și latentele asociate cu API-ul.
Logging-ul poate fi activat pentru un răspuns JSON mai detaliat fișierele stocate automat
pe Azure storage furnizând un raport detaliat al cererii și răspunsului.
Monitorizare și Înregistrare
Vizionați următorul videoclip pentru o explicație detaliată despre înregistrare și monitorizare.
Lansați activitatea practică și utilizați un Cont Azure Personal Trial sau un Trial Gazdă de 8 ore pentru a
începe să lucreze într-un Spațiu de lucru Azure.
Cu toate acestea, dacă dorim să folosim modele ML în scenarii cu seturi mari de date adică pentru
Big Data, procesarea trebuie efectuată în loturi la intervale planificate și în mod optim
timpuri pentru a reduce latența și a promova modul asincron de obținere a predicțiilor
pentru datele noastre.
Conductă
Constă dintr-o serie de activități, care sunt efectuate folosind legătura
servicii.
Crează seturi de date, care definesc inputul și outputul pentru fiecare activitate.
Azure ML în Pipeline
Când procesarea loturilor de Big Data se face prin pipeline, predicțiile pot face parte din
pipeline with Azure ML being used as a linked service.
Activitatea de execuție în loturi Azure ML este utilizată pentru a apela un serviciu web predictiv dintr-o
conductă.
Setul de date de intrare este transmis serviciului web de intrare și, rezultatul prezis
de la serviciul web se returnează continuând la activitatea următoare din pipeline.
Alte servicii conectate sunt surse de date, cum ar fi Azure Storage sau Azure SQL Database.
și servicii de calcul, precum Azure HD Insight sau Azure Data Link Analytics.
Folosind pipeline-ul
Verifică următorul videoclip pentru a învăța cum să folosești un pipeline pentru a automatiza predicțiile
using Azure Data Factory.
Ce zici de recalificare?
Într-un scenariu de Big Data, recalibrarea modelului ar putea fi necesară destul de frecvent, deoarece
datele generate sunt de mari dimensiuni și pot varia pe intervale scurte de timp.
Avem nevoie de date proaspete pentru a antrena modelul ML pentru a îmbunătăți acuratețea modelului.
schimbarea fluxului de date.
Cu toate acestea, având în vedere cantitatea de date care trebuie gestionată în timpul Big Data
Procesele sunt în desfășurare, acesta nu este nici eficient, nici recomandat.
În această situație, Azure Data Factory Pipeline și serviciul de actualizare resurse Azure ML
vine în ajutor pentru a automatiza reînvățarea modelelor ML.
Automatizarea reînvățării
Pentru a automatiza procesul de reantrenare, Azure ML ne oferă o funcție pentru a publica
experiment de antrenament ca un serviciu web de recalificare.
Activitatea de execuție în loturi Azure ML este utilizată pentru a apela serviciul web de recalibrare pentru a
generați un nou model ca fișier.
Fișierul modelului este transmis unei Activități de Actualizare Resursă Azure ML care actualizează ...
experiment de evaluare înlocuind modelul existent.
Continuând
Consultați linkurile următoare pentru mai multe informații despre Pipeline-uri Predictive și Actualizarea Resurselor
Activitate.
Pe măsură ce procesarea Big Data pentru predicții este analizată, treceți la următoarea temă
pentru a învăța procesarea datelor în timp real pentru predicții folosind Webservices de Azure ML
Platformă.
Procesul de streaming
Un proces de streaming este considerat ca procesare de date în timp real.
Azure includes a number of services that you can use to implement a streaming
proces pentru date în timp real.
Sunt adesea hub-uri de evenimente sau hub-uri IoT care sunt folosite pentru a prelua date în timp real.
scale.
Job de streaming: Folosit pentru a procesa datele. În general, un Azure Stream Analytics
interogare.
Rezultatul așteptat ar putea fi orice, de la o actualizare a bazei de date până la o realitate
tabloul de bord al timpului cu analiza.