XiaomiスマートランプでプレーヤーにAmbilightを追加する

こんにちは！

スマートホームや単に家の技術的な配置に興味を持っている多くの人は、「大気」で非標準の照明システムについて考えたと思います。



映画を見ながらそのような「珍しい」方法で部屋を照らす1つの方法は、ブランドの非常に洗練されたテレビに組み込まれたAmbilightテクノロジーを備えたフィリップスによって提供されます。



この記事では、XiaomiYeelightスマートバルブを使用したAmbilightの実装について説明します。

Ambilightについて

誰も知らない-Ambilightテクノロジーは、TVに組み込まれたバックライトであり、TV画面上のフレームのカラー画像を分析し、TVの周囲に拡散した光を再現します。







Ambilightの長所：

• , ;
• ;
• , .

一般に、Ambilightは非常に興味深いテクノロジーであり、この事実の確認は、インターネット上に提示された、その「職人による」実装のための多数のさまざまなオプションの存在です。しかし、それらはすべて、テレビ/モニター/ラップトップカバーの背面に接着されたアドレス指定可能なLEDストリップの使用に圧倒的に基づいています。このような実装では、少なくともLEDの制御を担当する物理的な外部コントローラーが必要です。これには、そのようなシステムをインストールしたい人からの特定の知識が必要です。したがって、別の方法として、スマートランプを使用したこのようなバックライトの最も「プロジェ」でかなり単純なバージョンを提案します。

これらのスマートランプは何ですか？

このバックライトオプションを作成するには、Yeelightブランドの照明デバイス（Xiaomiの子会社）またはXiaomi（ただし、名前にYeelightが含まれているもののみ）が必要です。これは、デバイスがXiaomiスマートホームエコシステムに組み込まれており、Yeelightアプリを介して制御されることを意味します。







私の意見では、適応型バックライトは、誰かがXiaomiスマートランプを購入するために実行する機能ではありません（ちなみに、かなりの金額で）。しかし、私にとっては、これは自宅の既存のランプの機能を拡張する良い機会です。いずれにせよ、2つのXiaomiランプの所有者として、私はそれらを2ヶ月使用した後、私は楽しい印象しか持っていないと言うことができます。



Yeelightアプリケーションには、開発者モードという1つの便利なパラメーターがあるため、このプロジェクトの実装において重要な役割を果たします。





最新のアップデートでは、「LANControl」に名前が変更されました



最新のスマートホームエコシステムは、wi-fiプロトコルを介したデバイス間のデータ交換に基づいています。各スマートデバイスには、ローカルワイヤレスネットワークに接続できるWi-Fiモジュールが組み込まれています。このおかげで、デバイスはスマートホームのクラウドサービスを介して制御されます。ただし、開発者モードでは、デバイスに割り当てられたIPアドレスにリクエストを送信することでデバイスと直接通信できます（デバイスアドレスはYeelightアプリのデバイス情報にあります）。このモードは、スマートランプと同じローカルネットワークにあるデバイスからのデータの受信を保証します。 Yeelight Webサイトには、開発者モード機能の小さなデモがあります。



このオプションのおかげで、アダプティブライティング機能を実装してオープンソースプレーヤーに埋め込むことができます。

機能定義

エンジニアがそのようなものを設計することを考えているときに直面する可能性のある困難（およびそれらを解決する方法）と、計画の実施における一般的な進捗状況について、さらに投稿します。



既製のプログラムだけに興味がある場合は、「既製のプレーヤーを使いたいだけの人向け」の項目に直接アクセスできます。



まず、開発中のプロジェクトで解決すべき課題を決めましょう。このプロジェクトのTORの要点：

• メディアプレーヤーウィンドウの現在の画像に応じて、スマートランプのパラメーター（rgb LEDのないデバイスを使用する場合は、ライトの色または明るさ/温度）を動的に変更できる機能を開発する必要があります。
• .
• , «» .
• .
• .

,

プロジェクト開発の初期段階は、機能を埋め込むためのプレーヤーと、スマートランプと通信するためのライブラリの定義です。



私の選択はに落ちたvlcjプレーヤーとYAPIのライブラリで書かれ、Javaの。Mavenはビルドツールとして使用されました。



Vlcjは、ネイティブVLCプレーヤーをJavaアプリケーションに埋め込んだり、Javaコードを介してプレーヤーのライフサイクルを管理したりできるフレームワークです。フレームワークの作成者は、VLCプレーヤーのインターフェイスと機能をほぼ完全に繰り返すプレーヤーのデモバージョンも持っています。現時点で最も安定しているバージョンのプレーヤーはバージョン3です。これはプロジェクトで使用されます。





追加のウィンドウを開いたVlcjプレーヤーインターフェイスvlcjプレーヤーの



利点：

• VLCプレーヤーの長年の機能である、サポートされている膨大な数のビデオ形式。
• PLとしてのJava。これにより、多数のオペレーティングシステムでプレーヤーを開くことができます（この場合、Javaアプリケーションと密接にリンクされているVLCプレーヤーの実装によってのみ制限されます）。

短所：

• プレイヤーの時代遅れのデザイン。これは、独自のインターフェースの実装によって解決されます。
• プログラムを使用する前に、VLCプレーヤーとJavaバージョン8以降をインストールする必要があります。これは間違いなく欠点です。

使用YAPIスマートYeelightガジェットと接続するためのライブラリとしては、既製のソリューションの不足により、第二にシンプルで、主に正当化、およびすることができます。現時点では、特にJava言語で、スマートランプを制御するためのサードパーティツールは多くありません。



Yapiライブラリの主な欠点は、そのバージョンがMavenリポジトリに存在しないことです。そのため、プロジェクトコードをコンパイルする前に、Yapiをローカルリポジトリに手動でインストールする必要があります（インストール全体はリポジトリのREADMEファイルに記述されています）。

画像解析アルゴリズム

動的照明の原理は、現在のフレームの定期的な色分析に基づいています。



試行錯誤の段階の結果として、次の画像分析の原則が開発されました。



指定された頻度で、プログラムはメディアプレーヤーのスクリーンショットを撮り、BufferedImageクラスのオブジェクトを受け取ります。次に、最速の組み込みアルゴリズムを使用して、元の画像のサイズを20x20ピクセルに変更します。



これはアルゴリズムの速度のために必要であり、そのために色を決定する際にある程度の精度を犠牲にすることができます。また、画像処理時間の現在のメディアファイルの解像度への依存を最小限に抑えるためにも必要です。



次に、アルゴリズムは、結果の画像を4つの「ベース」ゾーン（左上、左下など）の10x10ピクセルのサイズに分割します。





「基本」ゾーン



このメカニズムは、さまざまな画像ゾーンの独立した分析を提供するために実装されます。これにより、将来、照明デバイスを部屋の特定の場所に配置し、「追跡」する必要のある画像ゾーンを示すことができます。マルチランププログラムで使用すると、この機能により動的照明がはるかに雰囲気のあるものになります。



次に、画像の各領域について、各ピクセルの3つの色成分（赤、緑、青）の算術平均を個別に計算し、結果のデータを単一の色の値に配置することによって、平均色が計算されます。



結果として得られる4つの値のおかげで、次のことができます。

• 5 : , , , ( «» );
• :
  
  

  $$

  $$(r * 0.2126 + g * 0.7152 + b * 0.0722) / 255 * 100$$
  r, g, b – //
• :

  $$

  $$\begin{equation*} \begin{cases} 0, r\le b, \\ (r-b) / 255 * 100, r > b \end{cases} \end{equation*}$$
  r, b – /

画像パラメータを計算する効率的でスケーラブルなメカニズムのために、すべての追加データ（「ベース」ゾーン、温度、色の明るさではない）は「怠惰に」計算されます。必要に応じて。



すべての画像処理コードは、1つのImageHandlerクラスに収まります。

public class ImageHandler {
    private static List<ScreenArea> mainAreas = Arrays.asList(ScreenArea.TOP_LEFT, ScreenArea.TOP_RIGHT, ScreenArea.BOTTOM_LEFT, ScreenArea.BOTTOM_RIGHT);
    private static int scaledWidth = 20;
    private static int scaledHeight = 20;
    private static int scaledWidthCenter = scaledWidth / 2;
    private static int scaledHeightCenter = scaledHeight / 2;
    private Map<ScreenArea, Integer> screenData;
    private LightConfig config;

    //        
    private int[] getDimensions(ScreenArea area) {
        int[] dimensions = new int[4];
        if (!mainAreas.contains(area)) {
            return dimensions;
        }
        String name = area.name().toLowerCase();
        dimensions[0] = (name.contains("left")) ? 0 : scaledWidthCenter;
        dimensions[1] = (name.contains("top")) ? 0 : scaledHeightCenter;
        dimensions[2] = scaledWidthCenter;
        dimensions[3] = scaledHeightCenter;
        return dimensions;
    }

    //    
    private BufferedImage getScaledImage(BufferedImage image, int width, int height) {
        Image tmp = image.getScaledInstance(width, height, Image.SCALE_FAST);
        BufferedImage scaledImage = new BufferedImage(width, height, BufferedImage.TYPE_INT_ARGB);

        Graphics2D g2d = scaledImage.createGraphics();
        g2d.drawImage(tmp, 0, 0, null);
        g2d.dispose();
        return scaledImage;
    }

    // ,   ,   ,   
    private void proceedImage(BufferedImage image) {
        BufferedImage scaledImage = getScaledImage(image, scaledWidth, scaledHeight);

        screenData = new HashMap<>();
        mainAreas.forEach(area -> {
            int[] dimensions = getDimensions(area);
            BufferedImage subImage = scaledImage.getSubimage(dimensions[0], dimensions[1], dimensions[2], dimensions[3]);

            int average = IntStream.range(0, dimensions[3])
                    .flatMap(row -> IntStream.range(0, dimensions[2]).map(col -> subImage.getRGB(col, row))).boxed()
                    .reduce(new ColorAveragerer(), (t, u) -> {
                        t.accept(u);
                        return t;
                    }, (t, u) -> {
                        t.combine(u);
                        return t;
                    }).average();

            screenData.put(area, average);
        });
    }

    public ImageHandler(BufferedImage image, LightConfig config) {
        this.config = config;
        proceedImage(image);
    }

    //       ,  considerRate   (    )
    public int getValue(ScreenArea area, Feature feature, Boolean considerRate) {
        Integer intValue = screenData.get(area);
        if (intValue != null) {
            Color color = new Color(intValue);
            if (feature == Feature.COLOR) {
                return color.getRGB();
            } else if (feature == Feature.BRIGHTNESS || feature == Feature.TEMPERATURE) {
                int value = (feature == Feature.BRIGHTNESS) ? getBrightness(color) : getTemperature(color);
                double rate = (feature == Feature.BRIGHTNESS) ? config.getBrightnessRate() : config.getTemperatureRate();
                value = (value < 0) ? 0 : value;
                if (considerRate) {
                    value = 10 + (int) (value * rate);
                }
                return (value > 100) ? 100 : value;
            } else {
                return 0;
            }
        } else {
            calculateArea(area);
            return getValue(area, feature, considerRate);
        }
    }
   
    //    
    private int getBrightness(Color color) {
        return (int) ((color.getRed() * 0.2126f + color.getGreen() * 0.7152f + color.getBlue() * 0.0722f) / 255 * 100);
    }

    //    
    private int getTemperature(Color color) {
        return (int) ((float) (color.getRed() - color.getBlue()) / 255 * 100);
    }

    //   "" 
    private void calculateArea(ScreenArea area) {
        int value = 0;
        switch (area) {
            case TOP:
                value = getAverage(ScreenArea.TOP_LEFT, ScreenArea.TOP_RIGHT);
                break;
            case BOTTOM:
                value = getAverage(ScreenArea.BOTTOM_LEFT, ScreenArea.BOTTOM_RIGHT);
                break;
            case LEFT:
                value = getAverage(ScreenArea.BOTTOM_LEFT, ScreenArea.TOP_LEFT);
                break;
            case RIGHT:
                value = getAverage(ScreenArea.BOTTOM_RIGHT, ScreenArea.TOP_RIGHT);
                break;
            case WHOLE_SCREEN:
                value = getAverage(mainAreas.toArray(new ScreenArea[0]));
                break;
        }
        screenData.put(area, value);
    }

    //      
    private int getAverage(ScreenArea... areas) {
        return Arrays.stream(areas).map(color -> screenData.get(color))
                .reduce(new ColorAveragerer(), (t, u) -> {
                    t.accept(u);
                    return t;
                }, (t, u) -> {
                    t.combine(u);
                    return t;
                }).average();
    }

    //  rgb  int-  
    public static int[] getRgbArray(int color) {
        int[] rgb = new int[3];
        rgb[0] = (color >>> 16) & 0xFF;
        rgb[1] = (color >>> 8) & 0xFF;
        rgb[2] = (color >>> 0) & 0xFF;
        return rgb;
    }

    // int-     rgb
    public static int getRgbInt(int[] pixel) {
        int value = ((255 & 0xFF) << 24) |
                ((pixel[0] & 0xFF) << 16) |
                ((pixel[1] & 0xFF) << 8) |
                ((pixel[2] & 0xFF) << 0);
        return value;
    }

   //         stream API
    private class ColorAveragerer {
        private int[] total = new int[]{0, 0, 0};
        private int count = 0;

        private ColorAveragerer() {
        }

        private int average() {
            int[] rgb = new int[3];
            for (int it = 0; it < total.length; it++) {
                rgb[it] = total[it] / count;
            }

            return count > 0 ? getRgbInt(rgb) : 0;
        }

        private void accept(int i) {
            int[] rgb = getRgbArray(i);
            for (int it = 0; it < total.length; it++) {
                total[it] += rgb[it];
            }
            count++;
        }

        private void combine(ColorAveragerer other) {
            for (int it = 0; it < total.length; it++) {
                total[it] += other.total[it];
            }
            count += other.count;
        }
    }
}

ランプの頻繁なちらつきが目を刺激するのを防ぐために、パラメータを変更するためのしきい値が導入されました。たとえば、ランプは、映画の現在のシーンが前のシーンより10％以上明るい場合にのみ、輝度値を変更します。

他の分析方法との比較

「画像を2x2ピクセルに縮小して、結果の値を数えないのはなぜですか？」と 質問するかもしれません。 ..。

答えは次のようになります。「私の実験に基づいて、画像（またはそのゾーン）のサイズを縮小して平均色を決定するアルゴリズムは、すべてのピクセルの算術平均を決定するアルゴリズムよりも安定性と信頼性が低いことがわかりました（特に画像の暗い領域を分析する場合）。 "。



画像のサイズを変更するために、いくつかの方法が試されました。openCVライブラリを使用して、イメージをより本格的に処理することは可能でしたが、これはこのタスクでは過剰に設計されていると考えました。比較のために、以下は、BufferedImageクラスの組み込みの高速スケーリングを使用して色を定義し、算術平均を計算する例です。コメントは不要だと思います。

構成

現在、プログラムはjsonファイルを使用して構成されています。JSON.simpleは、構成ファイルを解析するためのライブラリとして使用されました。



Jsonファイルには「config.json」という名前を付け、自動構成検出用のプログラムと同じフォルダーに配置する必要があります。そうしないと、適応輝度機能が有効になっている場合、プログラムはファイル選択ウィンドウを開いて構成ファイルを指定するように求めます。このファイルでは、照明デバイスのIPアドレス、各デバイスの「監視対象」イメージゾーン、明るさと色の温度係数、または自動インストールの期間（次の段落で説明します）を指定する必要があります。 jsonファイルに入力するためのルールは、プロジェクトのREADMEファイルに記述されています。





インターフェイス（ライトボタン）のすべての変更。ボタンを押すと、使用可能な構成ファイルが適用されるか、選択用のウィンドウが開きます。



係数は、ランプをわずかに暗くしたり、逆に明るくしたりするなど、画像分析をより正確に設定するために必要です。これらのパラメータはすべてオプションです。ここで必要な唯一のパラメータは、照明器具のIPアドレスの値です。

オッズの自動設定

プログラムはまた、部屋の現在の照明に応じて係数の自動調整の機能を実装しています。これは次のように発生します。選択した周波数でラップトップのWebサイトが環境の写真を撮り、すでに説明したアルゴリズムに従ってその明るさを分析し、次の式に従って係数を設定します。

$$

$$l = 1 + x / 100$$

ここで、xは現在の部屋の明るさをパーセンテージで表したものです。



この機能は、構成ファイルに特別なタグを書き込むことで有効になります。

機能例

結論

この問題を解決した結果、Yeelightスマートランプをメディアファイルの適応型バックライトとして使用できる機能が開発されました。さらに、現在の部屋の照明を分析する機能が実装されています。すべてのソースコードは、私のgithubリポジトリのリンクから入手できます。



ご清聴ありがとうございました！



PS私は、間違いの追加、発言、および兆候があれば喜んでいます。