Neues MTR on Windows Release: 4.18.35.0

Vor einigen Tagen hat Microsoft ein fantastisches neues Release für die Microsoft Teams Room on Windows Systeme veröffentlicht. Alles was es zu wissen gilt, wie immer, im folgenden Blog Post 🙂

Microsoft Release Notes

Neuigkeiten / Änderungen in 4.18.35.0
Hinweis: Alle neuen Features sind nur mit Pro-Licensing nutzbar.

• Cloud IntelliFrame
• Intelligent camera support
• Front Row video segmentation with a unified background
• Spatial audio in the Front Row experience

Cloud IntelliFrame

In a nutshell:
Cloud IntelliFrame nutzt Microsoft´s AI Modelle aus der Cloud, um die Meeting Experience für „non-intelligent cameras“ (Kameras ohne eigene Intelligenz für Framing und Tracking) in Focus Rooms und mittleren Konferenzräumen zu verbessern. IntelliFrame nutzt die Raumansicht der Kamera, schneidet dann die einzelnen Personen aus und zeigt diese in separaten Kacheln (analog zu Poly People Framing). Damit werden Meetings „persönlicher“ und Gestik / Mimik der einzelnen Teilnehmer sind besser erkennbar.

Ich habe versucht das Ganze hier sehr einfach in einer Grafik darzustellen:

Good to know:
Intelliframe zeigt den „Smart Feed“ (das zusammengesetzte Bild), wenn sich neun oder weniger Menschen in einem Raum befinden. Es wird automatisch, in Abhängigkeit der Aktivität im Raum (Jemand steht auf, jemand bewegt sich im Raum, jemand verlässt den Raum, … zwischen der Standard-Ansicht des Raum und dem „Smart Feed“ gewechselt.

Die folgenden Kameras werden derzeit unterstützt:

Intelliframe ist für alle Systeme mit 4.18.35.0 bereits im Default aktiviert.
Sofern Sie das Feature deaktivieren möchten (weil Sie vielleicht bereits eine intelligente Kamera besitzen), nutzen Sie eine der folgenden Optionen:

Für Personen im Meetingraum
Personen im Raum können IntelliFrame deaktivieren, indem sie die Meeting-Einstellungen auf der Konsole verwenden. Diese Einstellungen deaktivieren Cloud IntelliFrame und ermöglichen eine Rückkehr zur Standardansicht für den Raum. Alle Online-Teilnehmer würden dann die Standardansicht aus dem Raum sehen. Über den gleich Weg lässt sich das Feature natürlich auch wieder aktivieren.

---

Für Teilnehmer des Meetings auf ihrem Desktop
Personen im Meeting mit dem Teams-Desktop können IntelliFrame auch ein-/ausschalten, indem sie mit der rechten Maustaste auf die Videokachel des Raums klicken und „IntelliFrame deaktivieren“ auswählen. Diese Option schaltet die IntelliFrame-Ansicht nur auf ihrem Teams-Client aus (dies ändert nicht die Einstellung des MTRs oder die Ansicht für andere Meeting Teilnehmer).

---

Für den O365 Admin

Um Cloud Intelliframe für einen Raum abzuschalten, gehen Sie wie folgt vor:
Erstellen Sie ein XML Konfigurationsfile mit dem Namen SkypeSettings.xml mit dem folgenden Inhalt:

<EnableCloudIntelliFrame>false</EnableCloudIntelliFrame>

Legen Sie das File auf Ihrem MTR, angemeldet als Admin, in folgendem Ordner ab und starten Sie das System neu:
„C:\Users\Skype\AppData\Local\Packages\Microsoft.SkypeRoomSystem_8wekyb3d8bbwe\LocalState“

Sollten Sie bei der Erstellung der Datei oder beim Zugriff auf den Ordner Probleme haben, besuchen Sie bitte diesen Blog Post. Er beinhaltet die notwendigen Schritte.
https://aitsc.de/blog/so-konfigurieren-sie-ihr-windows-teams-room-system-mit-einem-eigenen-hintergrundbild/

---

Und warum jetzt noch was Intelligentes kaufen ?

Jetzt könnte sich auf den ersten Blick jemand die Frage stellen, warum man denn eigentlich noch intelligente Kameras wie E70, R30, Studio USB usw. kaufen sollte. Schließlich kommt doch nun „alles“ aus der Cloud. Völlig berechtigte Frage. Die Antwort liegt in der übertragenen Videoqualität.

Es wird bei Cloud Intelliframe ein FullHD Bild des gesamten Raumes (derzeit die maximale Auflösung bei MTR Systemen) in die Teams Cloud gesendet, die einzelnen Teilnehmer im Meetingraum werden von der AI erkannt, ausgeschnitten und in einem neuen Gesamtbild in die Konferenz übertragen – analog zu People Framing auf den Poly Videobars und Kameras.

Die Poly Videolösungen verarbeiten im Gegensatz dazu das Bild bereits lokal, profitieren dabei von der 4K Optik, schicken dann ein FullHD Gesamtbild in die Teams Cloud / Das Team Meeting, erzielen dadurch eine besser Bildqualität.

Als Beispiel:

Eine nicht intelligente Kamera würde das folgende Bild in 1080p in die Teams Cloud senden und die KI muss aus diesem Bild die Personen ausschneiden. Die daraus resultierende Auflösung der Teilnehmer ist faktisch also relativ gering.

Setzen Sie eine intelligente, wie z.B. die Poly Studio E70 ein, übernimmt diese bereits das Framing und schickt das folgende 1080p Bild in die Teams Cloud. Da das Composing bereits auf Basis des 4K Sensors lokal umgesetzt wurde, muss das Bild nicht mehr von der KI bearbeitet werden und die daraus resultierende Auflösung pro Teilnehmer ist höher = besser.

Der direkte Vergleich (ca. 2 Meter Abstand zur Kamera):

Im linken Bild wurde das lokale Group Framing Feature der Videobar genutzt.
Im rechten Bild wurde das lokale Group Framing Feature der Videobar nicht genutzt, sondern Cloud Intelliframe.

Die Erkennung war auf beiden Systemen, sowohl lokal als auch in der Cloud, wirklich schnell. Die Bildqualität weist aber erhebliche Unterschiede auf, was Farben, Schärfe usw. angeht.

Microsoft empfiehlt die Lösung derzeit nicht für größere Konferenzräume, da aufgrund der Entfernung der Teilnehmer zur Kamera, die Teilnehmer hinten im Raum „blurry“ erscheinen würden. Auch in Räumen mit Glaswänden kann das Feature ggf. zu Problemen führen, da Reflektionen / Menschen hinter der Glaswand erkannt werden können.

Ein tolles Feature für Bestandskunden mit nicht-intelligenten Kameras, die nun ohne erheblichen Aufwand auch automatisches Framing aus der Cloud zur Verfügung gestellt bekommen. Derzeit haben allerdings die intelligenten Kameras noch die Nase vorn – sorry Guys 😉

---

Intelligent camera support – Intelliframe

IntelliFrame ermöglicht Multi-Stream-Video, Gesichtserkennung von Teilnehmern im Raum, Erkennung aktiver Sprecher, zugeordnete sprachbasierte Transkription und Panoramavideos von der Front des Raumes (180-Grad-Ansicht) und von der Mitte des Raums (360-Grad-Kameras).

Derzeit sind die folgenden Kameras supported:
– Yealink SmartVision 60
– Jabra Panacast 50 (coming soon)

Good to know / Anforderungen:

• IntelliFrame für Teilnehmer im Raum ist nur für Organisationen mit einer Microsoft Teams Rooms Pro-Lizenz verfügbar. Online-Teilnehmer können IntelliFrame immer erleben, unabhängig von der Lizenz.
• Damit die Kamera ordnungsgemäß funktioniert, muss der Besprechungsraum zur Einladung hinzugefügt werden. Informationen zum Hinzufügen eines Raums zu einer Besprechung aus Teams oder Outlook finden Sie unter Microsoft Teams-Räume (Windows).
• Gelegentlich kann die Kamera unbelebte Objekte als Menschen identifizieren. Dies geschieht wahrscheinlich aufgrund von Bewegungen, entweder durch Erschütterungen des Tisches, durch Schatten oder durch Wind, der ein Objekt im Hintergrund bewegt. Diese Fehlidentifikation sollte aufhören, wenn die Bewegung dies tut.
• Wenn ein Teilnehmer auf dem Bildschirm verschwommen erscheint, versuchen Sie, die Kamera leicht zu drehen.
• Das Framing der Teilnehmer funktioniert am besten, wenn sie mindestens einen Meter voneinander entfernt und weniger als 5 Meter von der Kamera entfernt sitzen.
• Wenn mehr als 64 Personen zu einer Besprechung eingeladen werden, wird IntelliFrame automatisch deaktiviert.
• IntelliFrame unterstützt maximal 12 Personen im Teams-Raum und nicht mehr als insgesamt 64 Besprechungsteilnehmer.

Voice- & Face Recognition mit Intelliframe

Mit der neuen Software und den derzeitig zertifizierten Kameras (siehe oben) kommt nun auch die Möglichkeit Voice- und Face Recognition in Meetings zu nutzen. Somit lässt sich z.B. im Transkript nicht nur sehen, dass jemand gesprochen hat, sondern auch wer. Zusätzlich kann automatisch Ihr Name unter Ihrem Videostream angezeigt werden, wenn Sie einen Termin von einem MTR joinen und Intelliframe aktiv ist.

Das setzt voraus, dass Sie vor Nutzung:

• sicherstellen, dass Ihr Admin dieses Feature aktiviert hat
• Sie einmalig eine Stimmprobe durch Einsprechen eines Textes hinterlegen
• Sie einmalig 9 Fotos von sich im Rahmen des Setups erstellen

Wie Sie diese Profile anlegen können, erfahren Sie auf den Microsoft Seiten unter dem folgenden Link:
https://prod.support.services.microsoft.com/en-us/office/create-recognition-profiles-for-microsoft-intelliframe-f0084478-52a7-4c52-bcdc-9063ed0e0bc0?preview=true

Microsoft gibt übrigens dieses Statement zur Datennutzung

Front Row video segmentation with a unified background

Darauf haben viele Kunden gewartet.
Erinnern Sie sich noch an das Video, das MSFT vor der Einführung von FrontRow geposted hat ? Nein ? Ich versuche Ihnen etwas auf die Sprünge zu helfen …

Mit der 4.18.35.0 ist es nun möglich die Remote Teilnehmer einer Konferenz im FrontRow Layout mit einem einheitlichen Hintergrund zu sehen. Dieser Hintergrund ist nicht konfigurierbar und schwarz. Vergleichbar mit einem virtuellen Hintergrund, den Sie lokal in Ihrem Teams Desktop Client setzen, wird hier dieses Setting aus der Cloud angewendet.
Dies reduziert Ablenkungen und bietet Besprechungsteilnehmern im Raum eine bessere Verbindung zu Remote-Teilnehmern in Teams-Besprechungen. Zusätzlich werden die Bilder der Teilnehmer in der Größe angepasst (jeder soll den gleichen Space auf dem Schirm bekommen) und das Image wird zentriert.

Das Feature ist im Default bereits aktiv. Sollten Ihnen der schwarze Hintergrund nicht zusagen, so können Sie das Setting an Ihrem System als Admin deaktivieren.

Erstellen Sie ein XML Konfigurationsfile mit dem Namen SkypeSettings.xml mit dem folgenden Inhalt:

<IsFrontRowUnifiedBackgroundEnabled>false</IsFrontRowUnifiedBackgroundEnabled>

Legen Sie das File auf Ihrem MTR, angemeldet als Admin, in folgendem Ordner ab und starten Sie das System neu:
„C:\Users\Skype\AppData\Local\Packages\Microsoft.SkypeRoomSystem_8wekyb3d8bbwe\LocalState“

Sollten Sie bei der Erstellung der Datei oder beim Zugriff auf den Ordner Probleme haben, besuchen Sie bitte diesen Blog Post. Er beinhaltet die notwendigen Schritte.
https://aitsc.de/blog/so-konfigurieren-sie-ihr-windows-teams-room-system-mit-einem-eigenen-hintergrundbild/

Spatial audio in the Front Row experience

Teams Spatial Audio gleicht den wahrgenommenen Audiostandort jedes Teilnehmers mit seiner Videodarstellung ab, um es für Benutzer einfacher zu machen, zu verfolgen, wer spricht. Dies reduziert die kognitive Belastung während Meetings und macht die Meetings „more life like“.

Auch hier eine Grafik um das Ganze einfach zu erklären:

Da es zu diesem Thema noch weitaus mehr gehört als nur 2 Lautsprecher, kann man sich hier im Blog von meinem geschätzten Branchen-Kollegen Harald Steindl, noch weiter belesen:
https://www.haraldsteindl.eu/2023/02/spatial-audio-fuer-microsoft-teams-rooms/