Microsoft führt neue Copilot-Akzeptanz-Benchmarks für seine Viva Insights-Plattform ein. Damit können Manager überwachen und vergleichen, wie Teams den Flaggschiff-KI-Assistenten des Unternehmens verwenden.
Die Funktion ermöglicht es Unternehmen, die Nutzung innerhalb ihrer eigenen Abteilungen und anhand anonymisierter Daten ähnlicher Unternehmen zu verfolgen.
Während Microsoft angibt, dass das Ziel darin besteht, das Engagement zu verbessern, weckt das Tool Erinnerungen daran umstrittener „Produktivitätswert“. Diese Funktion wurde im Jahr 2020 als Instrument zur Arbeitsplatzüberwachung heftig kritisiert, bevor sie geändert wurde, um die Privatsphäre der Mitarbeiter zu schützen. Die neuen Benchmarks befinden sich jetzt in der privaten Vorschau, die vollständige Einführung wird noch in diesem Monat erwartet.
Messung der KI-Einführung mit neuen Benchmarks
Die neue Funktion mit dem offiziellen Namen Benchmarks, ist direkt in das Microsoft Copilot Dashboard in Viva Insights integriert. Viva Insights ist die Analyseplattform des Unternehmens, die darauf ausgelegt ist, „Daten aus Mitarbeiteraktivitäten zu schlürfen“, wie es in einem Bericht heißt, und der Führung dabei zu helfen, Muster in der Zusammenarbeit, Effizienz und potenziellem Burnout in der gesamten Belegschaft zu erkennen.
Da Copilot-Lizenzen eine erhebliche laufende Investition für Unternehmen darstellen, bieten diese Benchmarks eine konkrete Möglichkeit für Manager, das Engagement zu messen und die Ausgaben zu rechtfertigen. Das System ermöglicht zwei primäre Vergleichsmodi: interne und externe Analyse.
Intern können Manager verschiedene „Kohorten“ innerhalb ihrer Organisation anhand von Attributen wie Jobfunktion, geografischer Region oder Managertyp vergleichen.
Das Dashboard zeigt wichtige Kennzahlen wie den Prozentsatz aktiver Copilot-Benutzer, Akzeptanzraten innerhalb bestimmter Microsoft 365-Anwendungen und den Prozentsatz wiederkehrender Benutzer an. Eine niedrige Rate wiederkehrender Benutzer könnte beispielsweise darauf hinweisen, dass Mitarbeiter mit der KI experimentieren, aber keinen nachhaltigen Nutzen in ihren täglichen Arbeitsabläufen finden.
Die externe Benchmarking-Funktion führt zu einer Wettbewerbsdynamik, die es einem Unternehmen ermöglicht, seine Akzeptanzraten im Vergleich zu anonymisierten Branchenkollegen zu messen.
Organisationen können sehen, wie ihr Prozentsatz aktiver Benutzer im Vergleich zu den „Top 10 %“ und „Top“ abschneidet 25 %“ ähnlicher Unternehmen oder im Vergleich zum Gesamtdurchschnitt aller Kunden. Dies könnte Teams unter Druck setzen, ihre Nutzung zu erhöhen, um Branchennormen zu erfüllen oder zu übertreffen.
Um Klarheit zu schaffen, bietet Microsoft eine spezifische Definition dessen, was verfolgt wird. Ein „aktiver Copilot-Benutzer“ ist jemand, der „eine absichtliche Aktion für eine KI-gestützte Funktion“ in einer Vielzahl von Produkten durchgeführt hat, darunter Teams, Outlook, Word, Excel, PowerPoint, OneNote und Loop.
Das Unternehmen formuliert den Zweck des Tools positiv und erklärt, dass „diese Erkenntnisse dazu beitragen, Akzeptanztrends zu erkennen und einen breiteren Kontext und neue Möglichkeiten zur Verbesserung des Copilot-Engagements bereitzustellen.“
Déjà Vu? Anklänge an die Kontroverse um den „Produktivitätsfaktor“
Dieser Schritt findet nicht im luftleeren Raum statt. Im Jahr 2020 sah sich Microsoft wegen seines „Produktivitäts-Scores“ in Microsoft 365 mit erheblichen Datenschutzreaktionen konfrontiert. Kritiker und Datenschutzbefürworter kritisierten die Funktion, weil sie die Überwachung einzelner Mitarbeiter ermöglichte, einige nannten sie ein „Überwachungstool am Arbeitsplatz“.
Der ursprüngliche Score konnte Managern namentlich anzeigen, wer in Teams-Kanälen weniger aktiv war oder weniger zu freigegebenen Dokumenten beitrug. Der österreichische Forscher Wolfie Christl twitterte bekanntlich: „Das ist auf vielen Ebenen so problematisch“ und brachte damit die weit verbreitete Sorge zum Ausdruck, dass das Tool ein Schritt in Richtung invasiver algorithmischer Verwaltung sei.
In einer damaligen Erklärung betonte Microsoft, dass „der Produktivitäts-Score kein Arbeitsüberwachungstool ist. Beim Produktivitäts-Score geht es darum, neue Arbeitsweisen zu entdecken und Ihren Mitarbeitern großartige Zusammenarbeit und Technologieerfahrungen zu bieten.“ Der öffentliche Aufschrei war jedoch groß genug, um eine Änderung zu erzwingen.
Nur eine Woche nach der ersten Kontroverse kündigte Microsoft 365 CVP Jared Spataro große Änderungen am Tool an.
Er erklärte: „Wir haben das Feedback gehört und reagieren heute mit Änderungen am Produkt, um den Datenschutz für Kunden weiter zu stärken.“ Er bestätigte, dass Microsoft Benutzernamen entfernen und sich ausschließlich auf aggregierte Daten konzentrieren würde. Diese Geschichte steht im Vordergrund gegenüber den neuen Copilot-Benchmarks.
Datenschutz und anhaltende Bedenken
Microsoft scheint aus seinen Fehltritten der Vergangenheit gelernt zu haben und berücksichtigt von Anfang an Datenschutzaspekte in den neuen Benchmarks. Für externe Vergleiche gibt das Unternehmen an, dass es „randomisierte mathematische Modelle“ verwendet, um sicherzustellen, dass keine Daten eines einzelnen Unternehmens verwendet werden können identifiziert.
Darüber hinaus besteht jede externe Benchmark-Gruppe aus mindestens 20 verschiedenen Unternehmen, was eine weitere Ebene der Anonymisierung darstellt.
Für interne Vergleiche erklärt Microsoft, wie es die erwarteten Ergebnisse berechnet. Nach Angaben des Unternehmens „betrachtet das Kohortenergebnis die Rollenzusammensetzung der ausgewählten Gruppe und erstellt ein gewichtetes durchschnittliches erwartetes Ergebnis basierend auf übereinstimmenden Rollen im gesamten Mieter.“
Trotz dieser Sicherheitsvorkehrungen wirft die bloße Existenz des Tools Fragen auf. Die Hauptbefürchtung besteht darin, dass Manager die Daten falsch interpretieren und eine hohe Copilot-Nutzung mit hoher Leistung gleichsetzen könnten. Dies könnte dazu führen, dass Mitarbeiter „das System austricksen“, indem sie oberflächliche KI-Aktionen durchführen, nur um ihre Kennzahlen zu verbessern.
Dieses Verhalten würde das Ziel echter Produktivitätssteigerungen untergraben und könnte möglicherweise der Arbeitsmoral schaden. Während Unternehmen den KI-Umstieg bewältigen, bleibt die Grenze zwischen der Förderung der Einführung und der Ermöglichung der Überwachung ein kritisches und heikles Thema, das Microsoft sorgfältig bewältigen muss.
