Cele mai bune lucruri din viață nu sunt la scară

Cele mai mari cuvinte cheie din tehnologie nu vor reuși, deoarece acestea nu fac doar o scară.

Pe măsură ce inovăm rapid cu tehnologia nouă, trebuie să avem în vedere dacă inovațiile noastre sunt sau nu practice și fezabile. Într-o lume în care numărăm utilizatori în mii și timp de rulare în milisecunde, este mai important ca niciodată să asigurăm noi scale de tehnologie.

Acesta este motivul pentru care este șocant faptul că cele mai mari trei cuvinte cheie din tehnologie nu reușesc complet să se extindă.

Desigur, vorbesc despre cele trei categorii în care se pare că toate noutățile tehnologice apar în zilele noastre:

  1. Inteligență artificială
  2. Blockchain
  3. Realitate mixtă (XR, AR / VR)

Se pare că aproape orice folosește sau adaugă acestea și este totuși neplăcut cât de dureros (și absolut imposibil) este să scalăm aceste servicii.

Avem nevoie de mai mult hardware

Primul și cel mai important neajuns rămâne hardware. Nu este un secret că cerințele hardware pentru tehnologie cresc în mod exponențial de la an la an, atât ca preț, cât și caietul de sarcini. Acest lucru devine efectiv un factor de blocare în adoptarea pe scară largă, iar în cazul blockchain-ului, acesta este un criminal.

Blockchain se bazează de obicei pe „mineri” care blochează „minele” și permit rețelei să execute cele mai de bază sarcini (adică verificarea tranzacțiilor). Procesul de „extragere” este ceva în care nu voi intra în profunzime, ci implică executarea unor funcții criptografice mari, proces cunoscut sub numele de „hashing”.

Problema cu hashing este că necesită o cantitate semnificativă de putere de calcul; de fapt, o cantitate atât de mare, care este eficientă pentru minerirea blockchain-ului, necesită hardware special, fie un GPU, fie un ASIC. Pentru a fi chiar cel mai mic miner, veți avea nevoie de un GPU cu specificitate înaltă (să fim reali, Intel HD Graphics este standard pentru consumatori chiar acum, deci, practic, fiecare GPU de mai sus care este specificat înalte) sau un ASIC dedicat. Aceasta crește o factură destul de mare, cu majoritatea dispozitivelor care se ridică în sute până la mii de dolari pe unitate, fără a ține cont de consumul mare de energie electrică care este considerat un cost de exploatare.

marea lipsă de GPU din 2018

Acesta s-a dovedit a fi un factor de blocare semnificativ în adoptarea blockchain-ului. De fapt, din acest motiv, prețurile GPU au scăzut, iar stocurile au dispărut, lăsând minerii potențiali fără niciun fel de instrumente, prăbușind industria jocurilor de calculator și inhibând cercetătorii să acceseze hardware hardware de ultimă generație. Chiar și producători de GPU precum Nvidia care au profitat de această creștere au vorbit în cele din urmă despre deficitul sever ca o cauză directă a blockchain-ului.

Un an mai târziu, majoritatea acestor tehnologii blockchain au dispărut, iar prețurile criptomonedelor majore s-au prăbușit până la un sfert din evaluarea lor. Cea mai răspândită preocupare în legătură cu blockchain este eșecul său la scară, iar hardware-ul rămâne (și va continua să fie) un factor de blocare în reducerea tehnologiei blockchain.

Cu toate acestea, această problemă nu se limitează la blockchain. Inteligența artificială se bazează pe același hardware (GPU) și acest lucru devine un factor de blocare și în acel domeniu; cele mai multe startup-uri viitoare nu își pot permite să construiască o fermă enormă de GPU precum Google, iar achiziționarea de energie de calcul de la furnizorii de cloud precum AWS vine la o creștere a prețurilor de 4x care crește o factură enormă a serverului.

Cu XR, problema este și mai exasperată. Pentru a rula aceste experiențe, consumatorii trebuie să redea imagini, iar dispozitivul consumatorului trebuie să proceseze aportul senzorial. Acest lucru pune sarcina în mare parte pentru consumatori, ceea ce sună excelent pentru întreprinderile care doresc să intre în spațiul XR, dar cauzează o problemă majoră cu reducerea.

De exemplu, să luăm Oculus VR. Oculus a fost unul dintre primele căști VR lansate și rămâne un nume popular în domeniu, fiind de atunci achiziționat de Facebook și solidificându-și locul pe piață.

„Specimen minim ridicol” pentru Oculus; USB 3.0, un GPU Nvidia bun, 8 GB RAM ...

Din păcate, Oculus funcționează aproape exclusiv pe PC-urile desktop, în plus, necesitând specificații mari de la GPU. Se confruntă cu aceleași capcane ca și blockchain și AI, dar cu îngrijorări mult mai mari: în timp ce cu AI, o afacere ar putea arunca doar bani la infrastructura lor pentru a rezolva temporar problema, cu XR sarcina cade asupra consumatorilor. Ciclul de adopție al AR / VR se bazează pe GPU-urile consumatorilor pentru a deveni mai răspândite și cu o specificație mai mare, precum și pentru a aștepta ca prețurile să scadă până la niveluri accesibile pentru utilizatorii obișnuiți. Este un proces care ar putea dura decenii - în timp ce CEO-ul Nvidia, Jensen Huang, declară că legea lui Moore favorizează GPU-urile, timpul necesar pentru dezvoltarea suficientă necesară pentru ridicarea specificațiilor, în timp ce scăderea prețurilor se ridică încă la câțiva ani.

Pentru cele mai mari trei cuvinte cheie din punct de vedere tehnic, este o sentință amăgitoare.

Runtime

Când vorbim despre timpul de execuție în calcul, înseamnă în general în milisecunde, deoarece utilizatorii au crescut pentru a se aștepta la interacțiuni instantanee.

Din păcate, acest lucru nu este deloc cazul cu toate cele trei tehnologii de mai sus.

Cu blockchain, exploatarea unui singur bloc durează mai mult și mai mult pe măsură ce trece timpul. S-a ajuns la punctul în care nu mai este rentabil pentru persoanele fizice să exploateze criptomonede mari, iar grupurile miniere au început să apeleze la fotografii în rețea. Pentru o tehnologie „descentralizată”, aceasta favorizează o centralizare groaznică.

De asemenea, vrăjește doom pentru cel mai mare caz de utilizare al blockchain-ului (probabil): cryptocurrency. Criptocurrency prosperă pentru tranzacții rapide, fără autorități centralizate, peste granițe și fără taxe mari.

Cu toate acestea, odată cu eșecul la scara blocului și cu timpul (timpul = energia electrică) necesară pentru a mina un bloc, comisioanele asociate tranzacțiilor au crescut la valori maxime record; la apogeu, Bitcoin a atins un punct în care taxele asociate cu majoritatea tranzacțiilor mici au fost mai mari decât costul efectiv al tranzacției, ceea ce o face total inutilă și un eșec total pentru consumatorii de zi cu zi. Tranzacțiile au început să dureze ore, iar reglementarea din cauza scurgerii, prețul în creștere al Bitcoin a făcut dificilă trecerea Bitcoin peste granițe.

Cryptocurrency a devenit tot ceea ce a promis că va distruge.

Cu inteligența artificială, apare o problemă foarte diferită. Timpul de inferență pentru multe modele de scară largă durează câteva secunde, ceea ce sună ca o perioadă mică de timp, dar începe să crească și să devină o cifră de blocare atunci când se discută despre bazele de utilizare în mii.

Mai mult, cifrele menționate pentru timpul de referință din cele mai multe modele sunt dificile - trebuie să citești între linii sau, mai degrabă, la următoarea linie care, de obicei, scrie „așa cum se găsește în stiva noastră GPU XYZ”, în care „stiva GPU XYZ” costă câteva mii de dolari și trebuie să fie pe deplin dedicat acelei sarcini inferențiale.

Stiva TPU Google care este adesea folosită pentru instruirea modelelor lor

Desigur, cercetările se fac aici, dar cercetarea care se desfășoară se concentrează aproape complet pe timpul de formare, ceea ce aș crede că nu este foarte important. Pentru antrenament, o săptămână nu este o afacere mare - orice start-up poate păstra o săptămână pentru a antrena un model care va deveni piatra de temelie a afacerii lor.

Problema mai mare constă în inferența. La nivel de rădăcină, instruirea necesită inferență - inferența este de obicei citată ca faza „înainte” a unei rețele, iar aceasta trebuie să apară în formare înainte de realizarea fundalului. Cu toate acestea, în formare, toate datele care trebuie deduse sunt disponibile la început.

Cu alte cuvinte, întregul lot poate fi procesat simultan (adică 100 de imagini în același timp), datorită scalării matematice - înmulțirea unei matrice mai mari a mai multor matrice este mai eficientă decât înmulțirea mai multor matrice de 1 matrice (cu alte cuvinte , este mai eficient să faci mai mult odată). Acest lucru se ridică până la un anumit punct, similar cu ideea diminuării rentabilităților în economie, dar rămâne faptul că formarea parțială ne permite să scalăm inferența asupra unor cantități mari de date.

Din păcate, într-un sens practic, prelucrarea loturilor este rareori cazul.

Este rar ca un model să aibă inferențe pe 200 de imagini simultan; este mai probabil ca 200 de imagini să fie trimise pentru a fi prezentate într-un minut. Va exista un blocaj dur în timpul de referință pe imagine; chiar și un timp de referință, o treime de secundă (ceea ce este nesimțit de rapid - acestea sunt timpurile lăudate de cel mai rapid dintre modele, cum ar fi modelul de predicție a propoziției super-optimizate de Gmail) va avea ca rezultat doar 180 din acele imagini procesate pe minut. Chiar și la încărcarea mică de 200 / min, modelul nu reușește să se extindă, iar pentru a evalua întârzierea în creștere, trebuie să creeze o a doua instanță pentru a echilibra.

Este o pastilă greu de înghițit într-o lume în care sunt date sarcini mari; de fapt, Node’s Express a luat foc înainte de a susține doar câteva mii de conexiuni / secundă, similar cu bazele de date populare NoSQL, fiind criticate pentru faptul că au un blocaj la câteva mii de tranzacții / secundă.

un baraj care este garantat să izbucnească

Este o cifră nemaiauzită în lumea AI, care se confruntă cu un gât greu de la câteva sute de secundă în ceea ce privește inferențele separate asupra unei singure instanțe a unui model, chiar și cu cele mai avansate optimizări pe care le puteți face.

Cu XR, există o problemă foarte, foarte diferită. Problema constă în imersiune - pentru imersiune și evitarea văii neobișnuite, interacțiunile trebuie să aibă loc, iar redarea trebuie să se ajusteze mai repede decât pot percepe oamenii. Cu alte cuvinte, câteva sute de milisecunde nu sunt suficient de rapide.

Cu XR, măsurăm lucrurile în cantități mici de milisecunde. Măsurăm latența acceptabilă ca sub ~ 20ms (cifră cu care mulți jucători nu ar fi de acord, deoarece 100+ fps și sub 10 ping este considerat normal pentru majoritatea echipamentelor).

Este o cifră care rămâne un blocaj și nu suntem în niciun moment; în timp ce tehnologia XR se concentrează intens asupra acestui aspect și au fost realizate numeroase descoperiri în acest domeniu în ceea ce privește intrarea și redarea senzorială regulată, încă ne confruntăm cu probleme în ceea ce privește interacțiunea; XR deschide o gamă infinită de posibilități de interacțiune, care nu pot fi procesate foarte repede de majoritatea motoarelor.

Motorul de imagine mărit ARCore, prezentat la Google I / O 2018

Mai mult decât atât, pentru a rula mărirea imaginii cu ceva mai complicat decât omografia, latența este prea mare pentru a fi considerată „acceptabilă” de majoritatea experiențelor. Cel mai rapid pe care l-am testat până acum este ARCore Augmented Images de Google, care folosește omografii (există, de asemenea, o demo-ul Augmented Faces, care este puțin mai lent și are o latență / decalaj vizibilă).

Demonstrația ARCore Augmented Faces

Este o mare problemă

Numai în ultimii doi ani, numărul avansurilor în aceste trei domenii este insurmontabil.

În AI, am observat generarea limbajului natural sărind înainte cu GPT-2, care își câștigă reputația de Imagenet al NLP. Deschide o nouă lume de posibilități cu procesarea textului. De asemenea, am văzut că rețelele convoluționale și GAN-urile cresc pentru a adopta imagini de 4 k și intrăm într-o eră în care AI poate imita imagini HD și poate genera conținut care pare ochi credibil.

Odată cu blockchain, câmpul a devenit mai puțin noroios, mai multe puncte de numerar murind și făcând mai mult loc expunerii cu platformele existente. Steamul a crescut semnificativ în ultimul an, împreună cu Stellar și utilizarea blockchain-ului în tehnologia obișnuită. JPMorgan, BofA și Facebook și-au anunțat toți blockchain-ul și blockchain-ul aplicat înregistrează o creștere cu platforme precum DLive care au început să meargă mainstream (DLive a format recent un parteneriat cu cea mai mare personalitate a Youtube cu prima sa platformă creatoare).

În XR, am văzut că nivelul de telefon XR și AR devin o realitate cu multe îmbunătățiri pentru ARCore. Este posibil să integrăm AI în XR și să dezvoltăm experiențe care să permită un anumit nivel de interacțiune umană (nu ne aflăm încă la atingere fizică, dar există proiecte care permit o altă interacțiune, cum ar fi Fiddler AR).

Acestea sunt toate domeniile care au un impact semnificativ și mare asupra viitorului tehnologiei și în care civilizația umană merge în ansamblu. Acestea sunt tehnologii care nu afectează economia; o redefinesc; nu afectează societatea și interacțiunea; o revitalizează. Aceasta face posibilă o revizuire a întregii noastre culturi și, la nivel de rădăcină, este denumită o altă revoluție industrială.

Pentru o mișcare care are o influență atât de mare asupra publicului larg răspândit, este vital și esențial să se poată extinde pentru a sprijini publicul cu ușurință. Până la punerea în aplicare a acestora, aceasta împiedică adoptarea și constituie o barieră de intrare dificilă în materie de inovație în afara marilor corporații.

Sper să vedem mai multă inovație în scalarea acestor tehnologii. La Epic.ai ne-am concentrat pe dezvoltarea aplicațiilor care se bazează foarte mult pe AI și blockchain - suntem prea familiari cu limitările de scalare; este o problemă la care vom lucra puternic în următorii câțiva ani și o problemă pe care sperăm că industria se va uni pentru a o rezolva.

Hei! Sunt Tomer, antreprenor și producător. S-ar putea să mă cunoașteți de la Mevee, Crane și Shots, Slides, și acum investorintelligence.io printre alte produse pe care le-am lansat! Acest articol face parte dintr-o serie mai extinsă, pe care o scriu în mare parte pe baza experiențelor mele și este făcut în principal din opinia mea și a echipei mele.

Sper că acest lucru vă va ajuta să evitați să faceți aceleași greșeli pe care le-am făcut și să vă amintiți să continuați transportul!

Vă rugăm să aplaudați dacă ați găsit acest lucru valabil și urmați-mă pentru mai multe scrieri ca aceasta, în timp ce împărtășesc povești despre cum arată dezvoltarea software și antreprenoriatul în viața reală.

Această poveste este publicată în „Startup”, cea mai mare publicație de antreprenoriat mediu, urmată de +442.678 de persoane.

Abonați-vă pentru a primi poveștile noastre de top aici.