DeepSeek Harness und Pi: denselben Fehler in beiden beheben

Was tatsächlich geprüft wurde

Eingaben und Erfolgskriterien festlegen

Eingaben sind orders.csv, report.mjs und report.test.mjs. Erwartet werden eine kleine Änderung in report.mjs, drei bestandene Prüfungen, die Summe 2000 und eine Erklärung. Kein Agent darf Daten verändern oder Tests abschwächen. Notieren Sie Modell, Anbieter, Werkzeuge, zusätzliche Prompts und Zeit; bei unterschiedlichen Bedingungen ist die Abweichung nicht allein dem Harness zuzuschreiben.

Warum diese Prüfungen zur Übung gehören

Pi-Entwickler Mario Zechner betont in seinem Designbeitrag von 2025 sichtbaren Kontext und wenige Werkzeuge. Hier heißt das: Halten Sie fest, welche der drei Dateien jedes Harness tatsächlich gelesen und welche zusätzlichen Anweisungen es geladen hat. Anthropic unterscheidet im Evaluationsbeitrag Gesprächsprotokoll und Endergebnis. Prüfen Sie daher Werkzeugprotokoll, gespeicherte report.mjs und unveränderte Tests, nicht nur die Schlussmeldung. Der Beitrag von 2025 erklärt den Entwurf; heutige Pi-Befehle stammen aus der aktuellen Dokumentation.

Ein kleines Projekt mit sichtbarem Fehler anlegen

Verwenden Sie Node.js 24 und ein Bash-Terminal in einem neuen Wegwerfverzeichnis: Bash unter macOS/Linux, Git Bash oder WSL unter Windows. harness-lab darf noch nicht existieren. Das Beispiel benötigt keine npm-Abhängigkeiten, Konten, privaten Daten oder Produktionsdateien. Das vereinfachte CSV enthält keine Kommas in Anführungszeichen; es ist keine Übung für einen allgemeinen CSV-Parser.

create_harness_lab() {
mkdir harness-lab || return
cd harness-lab || return
cat > orders.csv <<'CSV'
id,status,cents
A,paid,1200
B,refunded,700
C,paid,800
D,pending,400
CSV
cat > report.mjs <<'JS'
export function totalPaid(csv) {
  const rows = csv.trim().split(/\r?\n/).slice(1);
  return rows.map(row => row.split(','))
    .filter(([, status]) => status !== 'pending')
    .reduce((sum, [, , cents]) => sum + Number(cents), 0);
}
JS
cat > report.test.mjs <<'JS'
const { default: assert } = await import('node:assert/strict');
const { readFileSync } = await import('node:fs');
const { default: test } = await import('node:test');
const { totalPaid } = await import('./report.mjs');
const csv = readFileSync(new URL('./orders.csv', import.meta.url), 'utf8');
test('only paid orders count', () => assert.equal(totalPaid(csv), 2000));
test('refunds alone count as zero', () => assert.equal(totalPaid('id,status,cents\nB,refunded,700\n'), 0));
test('an empty ledger counts as zero', () => assert.equal(totalPaid('id,status,cents\n'), 0));
JS
cp report.mjs report.original.mjs
node --test report.test.mjs
}
create_harness_lab

Beim ersten Lauf müssen zwei Prüfungen scheitern und eine bestehen. Der Fehler zählt die 700 Cent einer erstatteten Bestellung mit: 2700 statt 2000. Die Regel lautet: Nur Zeilen mit Status paid zählen; refunded und pending tragen null bei. Alle Beträge sind ganze Cent.

Zwei Verzeichnisse mit identischem Ausgangszustand

Kopieren Sie vor der ersten Agentenänderung. DSH nutzt harness-lab, Pi harness-lab-pi; beide enthalten denselben Fehler und die Originalsicherung. Ein Gesprächszweig ist kein eigener Git-Arbeitsbaum: Lassen Sie beide Agenten während des Vergleichs nicht dasselbe Verzeichnis bearbeiten.

copy_harness_lab() {
  (cd .. && test ! -e harness-lab-pi && cp -R harness-lab harness-lab-pi)
}
copy_harness_lab

Die Aufgabe in DSH durchführen

1. 01

   Laufzeit und Modell prüfen

   Folgen Sie dem verlinkten Alpha-Schnellstart samt Quellbuild des exakten Commits. Tragen Sie Zugangsdaten unter Settings → Models ein, niemals im Prompt, und notieren Sie das gewählte Modell.

2. 02

   Projekt ausdrücklich auswählen

   Fügen Sie den absoluten Pfad zu harness-lab über die Arbeitsbereichsauswahl hinzu. Eine neue Web UI hat keinen ausgewählten Arbeitsbereich, auch wenn dsh in einem Projektverzeichnis gestartet wurde.

3. 03

   Wirksame Rechte prüfen

   Für diese lokale Wegwerfübung eignet sich workspace-write, sofern verfügbar. Prüfen Sie Genehmigungsanfragen: Das Preset kombiniert workspace-write mit ask; der konfigurierte Executor setzt die Grenze durch. Nicht jeder Schreibzugriff muss ein Dialogfenster öffnen.

4. 04

   Ausführen und beobachten

   Senden Sie den gemeinsamen Prompt. Prüfen Sie Lesezugriffe, Befehle, Änderungen und Testergebnisse. Bei Zugriffen außerhalb der Übung oder sachfremden Installationen stoppen und den Auftrag eingrenzen.

Dieselbe Aufgabe in Pi durchführen

Installieren Sie Pi nach dem offiziellen Schnellstart und wechseln Sie nach harness-lab-pi. Richten Sie über /login und /model ein unterstütztes Modell ein, möglichst dasselbe wie in DSH. Beginnen Sie mit den eingeschränkten Werkzeugen unten. Die optionale Erkennung bleibt aus, damit keine fremden Erweiterungen oder Projektanweisungen unbemerkt hinzukommen.

npm install -g --ignore-scripts @earendil-works/pi-coding-agent
cd ../harness-lab-pi

pi --no-extensions --no-skills --no-prompt-templates --no-themes --no-context-files --tools read,grep,find,ls

Pi hat kein eingebautes Berechtigungssystem für Dateien, Prozesse, Netzwerk oder Zugangsdaten. Die Positivliste begrenzt die angebotenen Werkzeuge, nicht die Betriebssystemrechte des Prozesses. Nutzen Sie für nicht vertrauenswürdige Projekte einen Container, eine virtuelle Maschine oder eine andere geprüfte Systemisolation. Die offizielle Anleitung erläutert, warum eine Umleitung der Werkzeugausführung andere Erweiterungen auf dem Host nicht automatisch isoliert.

pi -c --no-extensions --no-skills --no-prompt-templates --no-themes --no-context-files --tools read,edit,write,bash,grep,find,ls

Beiden Agenten denselben begrenzten Auftrag geben

Behebe in diesem Wegwerfprojekt report.mjs, sodass totalPaid nur paid-Zeilen zählt. Lies zuerst orders.csv und report.test.mjs, führe node --test report.test.mjs aus und beschreibe den ursprünglichen Fehler. Verändere weder orders.csv noch report.test.mjs oder report.original.mjs. Installiere keine Pakete und greife nicht auf andere Verzeichnisse zu. Ändere die Implementierung minimal, wiederhole alle drei Prüfungen und berechne die Summe aus orders.csv. Nenne geänderte Datei, beobachtetes Testergebnis, Summe und Grenzen. Unterscheide einen Umgebungsfehler von einer fehlgeschlagenen Assertion.

Unabhängig von der Abschlussnachricht prüfen

node --test report.test.mjs
node --input-type=module -e "import {readFileSync} from 'node:fs'; import {totalPaid} from './report.mjs'; console.log(totalPaid(readFileSync('orders.csv','utf8')))"
diff -u report.original.mjs report.mjs

Erwartet werden drei bestandene Tests und separat die Summe 2000. Der Diff ersetzt üblicherweise den Filter durch status === 'paid'. Eine andere Lösung ist zulässig, wenn Regel und Tests erhalten bleiben. diff beendet sich bei Unterschieden mit Code 1: Hier ist das erwartet, kein Testfehler. Fehlendes Node oder verweigerte Rechte sind Umgebungsprobleme.

Die tatsächlich nötige Arbeit vergleichen

Gezielt pausieren, fortsetzen und wiederherstellen

Vor dem Stoppen Ziel, geänderte Dateien, genaue Befehle samt Ergebnissen und nächsten Schritt zusammenfassen lassen. In DSH dieselbe gespeicherte Sitzung öffnen und den Arbeitsbereich prüfen. In Pi setzt pi -c im Projekt die letzte Sitzung fort; pi -r lässt wählen. /tree und /fork verzweigen den Verlauf, setzen aber keine Dateien zurück. Bewahren Sie den Versuch auf, bevor Sie nur die Übungsimplementierung wiederherstellen.

cp report.mjs report.attempt.mjs
cp report.original.mjs report.mjs
node --test report.test.mjs

Danach müssen die ursprünglichen zwei Fehler wieder auftreten: Das ist der beabsichtigte Wiederherstellungstest. report.attempt.mjs bleibt zum Vergleich erhalten. Im echten Repository eine saubere Branch oder einen Worktree und eine geprüfte dateispezifische Wiederherstellung nutzen; diese Überschreibbefehle nicht auf andere Arbeit anwenden.

Nach einer vollständigen Prüfung entscheiden

Probieren Sie DSH, wenn eine gemeinsame Web-Arbeitsfläche, sichtbare Sitzungs- und Werkzeugzustände und zusammengesetzte Abläufe passen. Pi eignet sich zum Ausprobieren, wenn Terminalwerkzeuge, expliziter CLI-Start und ein kleiner erweiterbarer Kern passen. Entscheiden Sie nach derselben Aufgabe und dem Lesen des Diffs. Keine Oberfläche garantiert eine richtige Änderung oder macht fremden Code allein sicher.

Harness/Version:
Modell/Anbieter:
Arbeitsbereich und Ausgangsdateien:
Wirksame Werkzeuge/Rechte:
Zusätzliche Prompts und Freigaben:
Tests: anfangs __ fehlgeschlagen; abschließend __ bestanden
Beobachtete Summe:
Geänderte Dateien:
Zeit/gemeldete Nutzung (oder nicht gemessen):
Wiederherstellung:
Verbleibende Grenzen: