Intel AI Analytics Toolkit für Linux-Benutzerhandbuch

Inhalte verstecken

1 Intel AI Analytics Toolkit für Linux

2 Produktinformationen

3 Produktnutzung

4 Komponenten dieses Toolkits

5 Konfigurieren Sie Ihr System – Intel® AI Analytics Toolkit

6 Erstellen und betreiben Sie eine Sample Verwenden der Befehlszeile

7 Laden Sie einen Container herunter

8 Verwenden von Cloud-CI-Systemen

9 Fehlerbehebung für das Intel® AI Analytics Toolkit

10 Hinweise und Haftungsausschlüsse

11 Dokumente / Ressourcen

11.1 Referenzen

12 Verwandte Artikel

Intel AI Analytics Toolkit für Linux

Produktinformationen

Das AI Kit ist ein Toolkit, das mehrere Conda-Umgebungen für Machine-Learning- und Deep-Learning-Projekte enthält. Es umfasst Umgebungen für TensorFlow-, PyTorch- und Intel oneCCL-Bindungen. Es ermöglicht Benutzern, ihr System zu konfigurieren, indem sie Umgebungsvariablen festlegen, Conda verwenden, um Pakete hinzuzufügen, Grafiktreiber zu installieren und Hangcheck zu deaktivieren. Das Toolkit kann auf einem Command Line Interface (CLI) verwendet werden und lässt sich ohne spezielle Modifikationen einfach in bestehende Projekte integrieren.

Produktnutzung

Konfigurieren Sie Ihr System, indem Sie Umgebungsvariablen festlegen, bevor Sie fortfahren.

Um an einer Befehlszeilenschnittstelle (CLI) zu arbeiten, verwenden Sie das Skript setvars.sh, um die Tools in den oneAPI-Toolkits über Umgebungsvariablen zu konfigurieren. Sie können das setvars.sh-Skript einmal pro Sitzung oder jedes Mal, wenn Sie ein neues Terminalfenster öffnen, als Quelle verwenden. Das Skript setvars.sh befindet sich im Stammordner Ihrer oneAPI-Installation.
Aktivieren Sie bei Bedarf verschiedene Conda-Umgebungen über den Befehl „conda activate “. Das AI Kit enthält Conda-Umgebungen für TensorFlow (CPU), TensorFlow mit Intel Extension für Sample TensorFlow (GPU), PyTorch mit Intel-Erweiterung für PyTorch (XPU) und Intel oneCCL-Bindungen für PyTorch (CPU).

Erkunden Sie die zugehörigen Erste Schritte SampDatei, die in der Tabelle im Benutzerhandbuch verlinkt ist, um weitere Informationen zur Verwendung der einzelnen Umgebungen zu erhalten.

Die folgenden Anweisungen gehen davon aus, dass Sie die Intel® oneAPI-Software installiert haben. Informationen zu Installationsoptionen finden Sie auf der Seite Intel AI Analytics Toolkit. Befolgen Sie diese Schritte zum Erstellen und Ausführen alsampDatei mit dem Intel® AI Analytics Toolkit (AI Kit):

Konfigurieren Sie Ihr System.
Erstellen und betreiben Sie eine Sampihnen.

Anmerkungen: Standard-Python-Installationen sind vollständig kompatibel mit dem AI Kit, aber die Intel® Distribution für Python* wird bevorzugt.
Es sind keine besonderen Änderungen an Ihren bestehenden Projekten erforderlich, um sie mit diesem Toolkit zu verwenden.

Komponenten dieses Toolkits

Das AI-Kit enthält

Intel® Optimierung für PyTorch*: Die Intel® oneAPI Deep Neural Network Library (oneDNN) ist in PyTorch als standardmäßige mathematische Kernel-Bibliothek für Deep Learning enthalten.
Intel® Extension for PyTorch:Intel® Extension for PyTorch* erweitert die PyTorch*-Fähigkeiten mit aktuellen Funktionen und Optimierungen für eine zusätzliche Leistungssteigerung auf Intel-Hardware.

Intel® Optimierung für TensorFlow*: Diese Version integriert Grundelemente von oneDNN in die TensorFlow-Laufzeit für eine beschleunigte Leistung.
Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* ist ein heterogenes, hochleistungsfähiges Deep-Learning-Erweiterungs-Plugin, das auf der TensorFlow PluggableDevice-Schnittstelle basiert. Dieses Erweiterungs-Plugin bringt Intel XPU-Geräte (GPU, CPU usw.) in die TensorFlow-Open-Source-Community für die KI-Workload-Beschleunigung.

Intel® Distribution für Python*: Holen Sie sich eine schnellere Python-Anwendungsleistung direkt nach dem Auspacken, mit minimalen oder keinen Änderungen an Ihrem Code. Diese Distribution ist in Intel® Leistungsbibliotheken wie die Intel® oneAPI Math Kernel Library und die Intel®oneAPI Data Analytics Library integriert.
Intel® Distribution of Modin* (nur über Anaconda verfügbar), die es Ihnen ermöglicht, die Vorverarbeitung nahtlos über mehrere Knoten hinweg zu skalieren, indem Sie diese intelligente, verteilte Datenrahmenbibliothek mit einer identischen API wie Pandas verwenden. Diese Verteilung ist nur verfügbar, wenn Sie das Intel® AI Analytics Toolkit mit dem Conda* Package Manager installieren.

Intel® Neural Compressor: Stellen Sie schnell Inferenzlösungen mit niedriger Genauigkeit auf gängigen Deep-Learning-Frameworks wie TensorFlow*, PyTorch*, MXNet* und ONNX* (Open Neural Network Exchange) Laufzeit bereit.
Intel® Erweiterung für Scikit-learn*: Eine nahtlose Möglichkeit, Ihre Scikit-learn-Anwendung mit der Intel® oneAPI Data Analytics Library (oneDAL) zu beschleunigen.
Das Patchen von scikit-learn macht es zu einem gut geeigneten Framework für maschinelles Lernen, um mit realen Problemen umzugehen.

XGBoost Optimized by Intel: Dieses bekannte Machine-Learning-Paket für Gradienten-verstärkte Entscheidungsbäume beinhaltet eine nahtlose Drop-In-Beschleunigung für Intel®-Architekturen, um das Modelltraining erheblich zu beschleunigen und die Genauigkeit für bessere Vorhersagen zu verbessern.

Konfigurieren Sie Ihr System – Intel® AI Analytics Toolkit

Wenn Sie das AI Analytics Toolkit noch nicht installiert haben, finden Sie weitere Informationen unter Installieren des Intel® AI Analytics Toolkit. Um Ihr System zu konfigurieren, legen Sie Umgebungsvariablen fest, bevor Sie fortfahren.

Legen Sie Umgebungsvariablen für die CLI-Entwicklung fest
Für die Arbeit an einem Command Line Interface (CLI) werden die Tools in den oneAPI-Toolkits über konfiguriert
Umgebungsvariablen. So legen Sie Umgebungsvariablen fest, indem Sie das setvars-Skript verwenden:

Option 1: Source setvars.sh einmal pro Sitzung
Source setvars.sh jedes Mal, wenn Sie ein neues Terminalfenster öffnen:

Sie finden das Skript setvars.sh im Stammordner Ihrer oneAPI-Installation, normalerweise /opt/intel/oneapi/ für systemweite Installationen und ~/intel/oneapi/ für private Installationen.

Für systemweite Installationen (erfordert Root- oder Sudo-Rechte):

. /opt/intel/oneapi/setvars.sh

Für private Installationen:

. ~/intel/oneapi/setvars.sh

Option 2: Einmaliges Setup für setvars.sh
Damit die Umgebung automatisch für Ihre Projekte eingerichtet wird, schließen Sie die Befehlsquelle ein
/setvars.sh in einem Startskript, wo es automatisch aufgerufen wird (replace
mit dem Pfad zu Ihrem oneAPI-Installationsort). Die Standardinstallationsorte sind /opt/
intel/oneapi/ für systemweite Installationen (erfordert root- oder sudo-Rechte) und ~/intel/oneapi/ für private Installationen.
Zum Beispielample können Sie die Quelle hinzufügen /setvars.sh Befehl zu Ihrem ~/.bashrc oder ~/.bashrc_profile oder ~/.profile file. Um die Einstellungen für alle Konten auf Ihrem System dauerhaft zu machen, erstellen Sie ein einzeiliges .sh-Skript in /etc/pro Ihres Systemsfile.d-Ordner, aus dem setvars.sh stammt (weitere Einzelheiten finden Sie in der Ubuntu-Dokumentation zu Umgebungsvariablen).

HINWEIS
Das Skript setvars.sh kann mithilfe einer Konfiguration verwaltet werden file, was besonders hilfreich ist, wenn Sie bestimmte Versionen von Bibliotheken oder des Compilers initialisieren müssen, anstatt standardmäßig auf die „neueste“ Version zu setzen. Weitere Einzelheiten finden Sie unter Verwenden einer Konfiguration File zum Verwalten von Setvars.sh.. Wenn Sie die Umgebung in einer Nicht-POSIX-Shell einrichten müssen, finden Sie unter Setup einer API-Entwicklungsumgebung weitere Konfigurationsoptionen.

Nächste Schritte

Wenn Sie Conda nicht verwenden oder für GPUs entwickeln, erstellen und führen Sie eine Sample Projekt.
Fahren Sie für Conda-Benutzer mit dem nächsten Abschnitt fort.
Für die Entwicklung auf einer GPU fahren Sie mit GPU-Benutzer fort

Conda-Umgebungen in diesem Toolkit
Im AI Kit sind mehrere Conda-Umgebungen enthalten. Jede Umgebung wird in der folgenden Tabelle beschrieben. Nachdem Sie die Umgebungsvariablen wie zuvor angewiesen auf die CLI-Umgebung gesetzt haben, können Sie mit dem folgenden Befehl nach Bedarf verschiedene Conda-Umgebungen aktivieren:

conda aktivieren

Weitere Informationen finden Sie in den zugehörigen Erste Schritte-S der jeweiligen Umgebungample in der folgenden Tabelle verlinkt.

Verwenden Sie die Conda Clone-Funktion, um Pakete als Nicht-Root-Benutzer hinzuzufügen
Das Intel AI Analytics-Toolkit ist im Ordner „oneapi“ installiert, für dessen Verwaltung Root-Berechtigungen erforderlich sind. Möglicherweise möchten Sie neue Pakete mit Conda* hinzufügen und verwalten, aber ohne Root-Zugriff ist dies nicht möglich. Oder Sie haben Root-Zugriff, möchten aber nicht jedes Mal das Root-Passwort eingeben, wenn Sie Conda aktivieren.

Um Ihre Umgebung ohne Root-Zugriff zu verwalten, verwenden Sie die Clone-Funktion von Conda, um die benötigten Pakete in einen Ordner außerhalb des Ordners /opt/intel/oneapi/ zu klonen:

Identifizieren Sie im selben Terminalfenster, in dem Sie setvars.sh ausgeführt haben, die Conda-Umgebungen auf Ihrem System:
- Conda-Env-Liste
  Sie werden ähnliche Ergebnisse sehen:
Verwenden Sie die Klonfunktion, um die Umgebung in einen neuen Ordner zu klonen. Im Bspample unten heißt die neue Umgebung usr_intelpython und die geklonte Umgebung heißt base (wie im Bild oben gezeigt).
- conda create –name usr_intelpython –clone base
  Die Klondetails werden angezeigt:

Aktivieren Sie die neue Umgebung, um Pakete hinzufügen zu können. conda aktiviert usr_intelpython
Stellen Sie sicher, dass die neue Umgebung aktiv ist. Conda-Env-Liste
Sie können jetzt mit der Conda-Umgebung für Intel Distribution for Python entwickeln.

So aktivieren Sie die TensorFlow*- oder PyTorch*-Umgebung:

TensorFlow

conda Tensorflow aktivieren

PyTorch

conda aktiviert pytorch

Nächste Schritte

Wenn Sie nicht für GPUs entwickeln, erstellen und führen Sie eine Sample Projekt.
Für die Entwicklung auf einer GPU fahren Sie mit GPU-Benutzer fort.

GPU-Benutzer
Für diejenigen, die auf einer GPU entwickeln, befolgen Sie diese Schritte:

GPU-Treiber installieren
Wenn Sie die Anweisungen im Installationshandbuch zur Installation von GPU-Treibern befolgt haben, können Sie diesen Schritt überspringen. Wenn Sie die Treiber nicht installiert haben, befolgen Sie die Anweisungen im Installationshandbuch.

Benutzer zur Videogruppe hinzufügen
Bei GPU-Compute-Workloads haben (normale) Nicht-Root-Benutzer normalerweise keinen Zugriff auf das GPU-Gerät. Stellen Sie sicher, dass Sie Ihre normalen Benutzer zur Videogruppe hinzufügen; Andernfalls schlagen für das GPU-Gerät kompilierte Binärdateien fehl, wenn sie von einem normalen Benutzer ausgeführt werden. Um dieses Problem zu beheben, fügen Sie den Nicht-Root-Benutzer zur Videogruppe hinzu:

sudo usermod -a -G video

Hangcheck deaktivieren
Deaktivieren Sie Hangcheck für Anwendungen mit lang andauernden GPU-Rechenlasten in nativen Umgebungen. Dies wird nicht für Virtualisierungen oder andere standardmäßige GPU-Verwendungen wie Spiele empfohlen.

Eine Arbeitslast, die mehr als vier Sekunden für die Ausführung der GPU-Hardware benötigt, ist eine lang andauernde Arbeitslast. Standardmäßig werden einzelne Threads, die sich als lang andauernde Workloads qualifizieren, als hängend betrachtet und beendet. Durch Deaktivieren des Hangcheck-Zeitlimits können Sie dieses Problem vermeiden.

Anmerkungen: Wenn der Kernel aktualisiert wird, wird Hangcheck automatisch aktiviert. Führen Sie das folgende Verfahren nach jedem Kernel-Update aus, um sicherzustellen, dass Hangcheck deaktiviert ist.

Öffnen Sie ein Terminal.
Öffnen Sie den Grub file in /etc/default.
Im Grub file, suchen Sie die Zeile GRUB_CMDLINE_LINUX_DEFAULT=”” .

Geben Sie diesen Text zwischen den Anführungszeichen ("") ein:
Führe diesen Befehl aus:
sudo update-grub
Starten Sie das System neu. Hangcheck bleibt deaktiviert.

Nächster Schritt
Nachdem Sie Ihr System konfiguriert haben, fahren Sie mit Erstellen und Ausführen einer Sample Projekt.

Erstellen und betreiben Sie eine Sample Verwenden der Befehlszeile

Intel® AI Analytics-Toolkit
In diesem Abschnitt führen Sie ein einfaches „Hello World“-Projekt durch, um sich mit dem Prozess des Erstellens von Projekten vertraut zu machen, und erstellen dann Ihr eigenes Projekt.

Anmerkungen: Wenn Sie Ihre Entwicklungsumgebung noch nicht konfiguriert haben, gehen Sie zu Konfigurieren Sie Ihr System und kehren Sie dann zu dieser Seite zurück. Wenn Sie die Schritte zum Konfigurieren Ihres Systems bereits ausgeführt haben, fahren Sie mit den folgenden Schritten fort.

Sie können entweder ein Terminalfenster oder Visual Studio Code* verwenden, wenn Sie von der Befehlszeile aus arbeiten. Einzelheiten zur lokalen Verwendung von VS Code finden Sie unter Grundlegende Verwendung von Visual Studio Code mit oneAPI unter Linux*. Informationen zur Remoteverwendung von VS Code finden Sie unter Remoteentwicklung von Visual Studio-Code mit oneAPI unter Linux*.

Erstellen und betreiben Sie eine Sampdas Projekt
Die sampDie folgenden Dateien müssen auf Ihr System geklont werden, bevor Sie die s erstellen könnenampdas Projekt:

Eine Liste der Komponenten, die CMake unterstützen, finden Sie unter Verwenden von CMake mit oneAPI-Anwendungen.

Erstellen Sie Ihr eigenes Projekt
Es sind keine besonderen Änderungen an Ihren vorhandenen Python-Projekten erforderlich, um sie mit diesem Toolkit zu verwenden. Bei neuen Projekten folgt der Prozess eng dem Prozess zum Erstellen von sample Hello World-Projekte. Weitere Informationen finden Sie in der README-Datei von Hello World files für Anweisungen.

Maximierung der Leistung
Sie können Dokumentation erhalten, die Ihnen hilft, die Leistung für TensorFlow oder PyTorch zu maximieren.

Konfigurieren Sie Ihre Umgebung

Anmerkungen: Wenn Ihre virtuelle Umgebung nicht verfügbar ist oder Sie Pakete zu Ihrer virtuellen Umgebung hinzufügen möchten, stellen Sie sicher, dass Sie die Schritte unter Verwenden der Conda-Klonfunktion zum Hinzufügen von Paketen als Nicht-Root-Benutzer ausgeführt haben.

Wenn Sie außerhalb eines Containers entwickeln, beziehen Sie das folgende Skript, um die Intel® Distribution für Python* zu verwenden:

- /setvars.sh
Wo Hier haben Sie dieses Toolkit installiert. Standardmäßig ist das Installationsverzeichnis:

Root- oder Sudo-Installationen: /opt/intel/oneapi
Lokale Benutzerinstallationen: ~/intel/oneapi

HINWEIS: Das Skript setvars.sh kann über eine Konfiguration verwaltet werden file, was besonders hilfreich ist, wenn Sie bestimmte Versionen von Bibliotheken oder des Compilers initialisieren müssen, anstatt standardmäßig auf die „neueste“ Version zu setzen. Weitere Einzelheiten finden Sie unter Verwenden einer Konfiguration File um Setvars.sh zu verwalten. Wenn Sie die Umgebung in einer Nicht-POSIX-Shell einrichten müssen, finden Sie weitere Konfigurationsoptionen unter Einrichtung der oneAPI-Entwicklungsumgebung.

Um Umgebungen zu wechseln, müssen Sie zuerst die aktive Umgebung deaktivieren.
Die folgende example demonstriert die Konfiguration der Umgebung, die Aktivierung von TensorFlow* und die Rückkehr zur Intel-Distribution für Python:

Laden Sie einen Container herunter

Intel® AI Analytics-Toolkit
Mit Containern können Sie Umgebungen zum Erstellen, Ausführen und Profiling von oneAPI-Anwendungen einrichten und konfigurieren und diese mithilfe von Images verteilen:

Sie können ein Image installieren, das eine Umgebung enthält, die mit allen erforderlichen Tools vorkonfiguriert ist, und dann innerhalb dieser Umgebung entwickeln.

Sie können eine Umgebung speichern und das Image verwenden, um diese Umgebung ohne zusätzliche Einrichtung auf einen anderen Computer zu verschieben.
Sie können Container je nach Bedarf mit verschiedenen Sätzen von Sprachen und Laufzeiten, Analysetools oder anderen Tools vorbereiten.

Docker*-Image herunterladen
Sie können ein Docker*-Image aus dem Containers Repository herunterladen.

Anmerkungen: Das Docker-Image ist ca. 5 GB groß und das Herunterladen kann ca. 15 Minuten dauern. Es werden 25 GB Speicherplatz benötigt.

Bild definieren:
image=intel/oneapi-aikit Docker ziehen „$image“
Ziehen Sie das Bild.
Docker-Pull „$image“

Sobald Ihr Image heruntergeladen ist, fahren Sie mit Verwenden von Containern mit der Befehlszeile fort.

Verwenden von Containern mit der Befehlszeile
Intel® AI Analytics Toolkit Laden Sie vorgefertigte Container direkt herunter. Der folgende Befehl für die CPU lässt Sie an einer Eingabeaufforderung innerhalb des Containers im interaktiven Modus zurück.

CPU
image=intel/oneapi-aikit docker run -it „$image“

Verwenden von Intel® Advisor, Intel® Inspector oder VTune™ mit Containern
Bei Verwendung dieser Tools müssen dem Container zusätzliche Funktionen bereitgestellt werden: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it „$image“

Verwenden von Cloud-CI-Systemen

Mit Cloud-CI-Systemen können Sie Ihre Software automatisch erstellen und testen. Siehe das Repo in Github zum BeispielampKonfigurationsdateien files, die oneAPI für die gängigen Cloud-CI-Systeme verwenden.

Fehlerbehebung für das Intel® AI Analytics Toolkit

Hinweise und Haftungsausschlüsse

Intel-Technologien erfordern möglicherweise eine aktivierte Hardware, Software oder Dienstaktivierung. Kein Produkt oder keine Komponente kann absolut sicher sein.
Ihre Kosten und Ergebnisse können variieren.

© Intel Corporation. Intel, das Intel-Logo und andere Intel-Marken sind Marken der Intel Corporation oder ihrer Tochtergesellschaften. Andere Namen und Marken können als Eigentum anderer beansprucht werden.

Produkt- und Leistungsinformationen

Die Leistung variiert je nach Verwendung, Konfiguration und anderen Faktoren. Erfahren Sie mehr unter www.Intel.com/PerformanceIndex.
Beachten Sie Revision Nr. 20201201

Durch dieses Dokument wird keine Lizenz (ausdrücklich oder stillschweigend, durch Rechtsverwirkung oder anderweitig) an geistigen Eigentumsrechten gewährt. Die beschriebenen Produkte können Konstruktionsmängel oder Fehler enthalten, die als Errata bekannt sind und dazu führen können, dass das Produkt von den veröffentlichten Spezifikationen abweicht. Aktuelle gekennzeichnete Errata sind auf Anfrage erhältlich.

Intel schließt alle ausdrücklichen und stillschweigenden Gewährleistungen aus, einschließlich, aber nicht beschränkt auf die stillschweigenden Gewährleistungen der Marktgängigkeit, der Eignung für einen bestimmten Zweck und der Nichtverletzung von Rechten Dritter, sowie jegliche Gewährleistung, die sich aus dem Verlauf der Leistung, dem Geschäftsverlauf oder der Verwendung im Handel ergibt.

Dokumente / Ressourcen

Intel AI Analytics Toolkit für Linux [pdf] Benutzerhandbuch
AI Analytics Toolkit für Linux, AI Analytics Toolkit, Analytics Toolkit für Linux, Analytics Toolkit, Toolkit