Ollama für Smart CodeInsight konfigurieren

Nach oben zu Smart CodeInsight

In einer der nächsten Versionen von RAD Studio werden eine oder mehrere vorkonfigurierte Docker-Images von Ollama mit Code Llama bereitgestellt, um das Setup und die Integration zu vereinfachen. In der Zwischenzeit können Sie die verfügbaren allgemeinen Schritte (EN) ausführen.

Hinweis: Ein Ollama-Docker-Image kann auf einem ausgewiesenen Linux-Server und dem Windows-Linux-Untersystem (WLS) installiert werden. Zur Erleichterung der Konfiguration können Sie den Einsatz von Docker Desktop in Betracht ziehen. Dieses Tool ist kostenlos und unterliegt lediglich einer bestimmten EULA: Größere Organisationen müssen eine Lizenz käuflich erwerben. Details dazu finden Sie auf dieser Seite (EN).

Hinweis: Lesen Sie für Nvidia-GPU- oder AMD-GPU-fähige Images die Anweisungen hier (EN).

Im Folgenden finden Sie eine übersichtliche Anleitung zur Installation, zum Start und zur Nutzung von Ollama. Führen Sie die folgenden Schritte aus.

Sicherstellen, dass Docker richtig installiert ist

Stellen Sie sicher, dass Docker in den folgenden Fällen wie unten beschrieben installiert ist.

Docker Desktop unter Windows

1. Überprüfen Sie die Docker Desktop-Installation, indem Sie im Startmenü danach suchen.
2. Überprüfen Sie den Status der Docker-Engine, indem Sie sie öffnen.
3. Überprüfen Sie die Docker Desktop-Engine mit dem folgenden PowerShell-Befehl:

   docker --version

Docker unter WSL2

1. Öffnen Sie ein WSL2-Terminal.
2. Führen Sie die folgende Befehlszeile aus.

   docker --version

3. Überprüfen Sie den Status der Docker-Engine, indem Sie den folgenden Befehl ausführen:

   sudo service docker status

   Achtung: Die Ausgabe sollte angeben, dass Docker aktiv ist (ausgeführt wird).
4. Wenn Docker nicht ausgeführt wird, können Sie es mit dem folgenden Befehl starten:

   sudo service docker start

Ollama ausführen und verwenden

1. Stellen Sie sicher, dass Docker richtig installiert ist und dass die Docker-Engine ausgeführt wird.
2. Öffnen Sie PowerShell oder CMD (Eingabeaufforderung) und führen Sie den folgenden Befehl aus:

   docker login

3. Melden Sie sich mit Ihrem Benutzernamen und Passwort für Ihren Docker Hub an.
4. Installieren Sie das Embarcadero-Image und führen Sie es aus:

   docker run --name Embarcadero_Codellama -p 11434:11434 radstudio/codellama:latest

   Hinweis: Bitte beachten Sie die folgenden Informationen, wenn Sie die obigen Schritte ausführen:

   • -name ist falsch, und --name mit zwei Bindestrichen ist richtig.
   • Sie können den Container umbenennen (EN), aber wenn Sie "Embarcadero_Codellama" ändern, müssen Sie auch die nachfolgenden Befehle ändern.
   • Sie können jede Portnummer im folgenden Format verwenden: ‘-p 12345:54321’
     • Linke Zahl (12345): Das ist der Host-Port. Er stellt den Port auf Ihrem lokalen Rechner dar (der Rechner, auf dem Docker ausgeführt wird), den Sie an den Container binden möchten.
     • Rechte Zahl (54321): Das ist der Container-Port. Er stellt den Port im Docker-Container dar, über den Ihre Anwendung empfängt.
5. Testen Sie Ollama in der Befehlszeile (optionaler Schritt).

   docker exec -it Embarcadero_Codellama ollama run codellama

   1. Stellen Sie eine beliebige Frage und überprüfen Sie die Antwort.
   2. Beenden Sie den Chatmodus mit Strg+D oder /bye.
   3. Sie können die Befehlszeile jetzt schließen.
6. Verwenden Sie für die Seite "Optionen" der IDE die folgenden Anmeldeinformationen:
   • URL: http://localhost:11434/api/generate
   • Modell: codellama