貧困を罠にかける隠されたアルゴリズムとの戦争

こんにちはHabr！弁護士のグループが、貧しい人々の住居、仕事、基本的なサービスを拒否する自動化されたシステムをどのように発見し、戦っているのかを説明する投稿をあなたと共有します。アメリカの経験が検討されていますが、ロシアでは、クレジットスコアリングアルゴリズムが私たちの国で積極的に実装されているため、この問題もすぐに関連するでしょう。そして、それらを作成した人々の間ではないにしても、そのようなシステムの倫理の問題を提起する他の場所はどこですか？

---

前書き

ミリアムはニックに会ったとき、たった21歳でした。彼女は写真家で、最近大学を卒業し、テーブルを務めました。彼は16歳の彼女の先輩であり、金融​​のビジネスを所有していました。彼は魅力的でカリスマ的でした。彼女を空想の日に連れて行き、すべての代金を払った。彼女はすぐに彼の影響を受けた。



それはすべて1枚のクレジットカードから始まりました。当時ミリアムと一緒にいたのは彼女だけだった。ニックは事業購入で負債を5,000ドル増やし、翌日すぐに完済しました。離婚手続きを妨害することを恐れて本名を明かさないように私に頼んだミリアムは、ニックのトリックが彼女の信用格付けを押し上げていることに気づきました。低所得家庭で一人のお父さんと一緒に育った彼女は、ニックのノウハウを自分よりも信頼していました。ニックはすぐに彼女をサポートし、彼女は財政を理解していないと言った。彼女は自分の名前で彼のためにさらにいくつかのクレジットカードを開いた。



トラブルは3年後に始まりました。ニックはミリアムに仕事を辞めて彼の仕事を手伝うように頼んだ。ニックは彼女に大学院に行くように言い、彼女が既存の学生の借金を悪化させることを心配しないでください。ミリアムは再びニックに従った。彼はすべての世話をすることを約束し、彼女は彼を信じました。ニックはその後まもなくクレジットカードの請求書の支払いを停止しました。ミリアムのアカウントは衰退し始めました。

それでもミリアムはニックと一緒にいた。彼らは結婚し、3人の子供がいました。そしてある日、FBIエージェントは彼らの家を襲撃し、ニックを逮捕しました。連邦裁判官は、ニックが25万ドル近くの詐欺で有罪であると認定しました。ミリアムは、ニックが彼女の名前で発行した数万ドルの負債額を発見しました。 「彼が刑務所に行った日、私は250ドルの現金、家と車の保釈金、そして3人の子供を持っていました」とミリアムは言います。 「1か月で、私は乳母を雇うことができるようになり、素敵な家に住むことから、そしてそのようなすべての本当の貧困から抜け出しました。」



ミリアムは、彼女が「強制債務」と呼んでいるものを経験しました。これは通常、親しいパートナーや家族によって犯される暴力の一形態です。経済的虐待は長年の問題です。デジタルバンキングにより、口座の開設と被害者の名前での貸し出しが容易になりました、とテキサスリオグランデの法的援助の弁護士であるCarlaSanchez-Adamsは言います。自動化された信用格付けアルゴリズムの時代では、結果ははるかに壊滅的なものになる可能性があります。



クレジットスコアは、何十年にもわたって消費者の信用度を評価するために使用されてきましたが、計算がアルゴリズムに基づいているため、はるかに重要です。クレジットスコアは、量と種類の両方の点で大幅に多くのデータを説明するだけでなく、車を買うか、アパートを借りるか、常勤の仕事に就きます。それらの広範な影響は、あなたが悪い信用を持っている場合、回復することはほとんど不可能であることを意味します。さらに悪いことに、アルゴリズムは、これらのアルゴリズムがどのようにソリューションに到達するかを開示していない民間企業によって所有されています。犠牲者は社会のはしごを降りることができ、時には家を失ったり、虐待者に戻ったりすることがあります。



人々の経済的幸福と基本的なサービスへのアクセスに影響を与えるのは、クレジットスコアリングアルゴリズムだけではありません。アルゴリズムにより、採用される子供、医療を受ける患者、安定した住居にアクセスできる家族が決定されます。手段を持っている私たちの人々は、そのようなことを知らずに私たちの生活を送ることができます。しかし、低所得の人々にとって、急速な成長と自動化された意思決定システムの導入は、相互接続された罠の隠れた網を生み出しました。



幸いなことに、ますます多くの市民弁護士がこの問題を中心に組織しています。犯罪界からリスク評価アルゴリズムとの闘いに関する教科書を借りて、彼らはこれらのシステムを研究し、コミュニティを作り、訴訟における行動のための戦略を開発するよう努めています。「基本的に、すべてのクライアントがこれらのシステムの影響を受けるため、すべての市民弁護士がこの資料を扱い始めます」と、ボルチモア大学の臨床法教授であるミシェル・ギルマンは述べています。-私たちは目を覚まして学ぶ必要があります。私たちが本当に優秀で全体論的な弁護士になりたいのであれば、何が起こっているのかを認識しなければなりません。」

「アルゴリズムを相互に調べますか？」

ギルマンはボルチモアで20年間法律を実践してきました。市民および貧困対策の擁護者としての彼女の仕事は、常に同じことを要約しています。彼女は、住宅、食品、教育、仕事、またはヘルスケアなどの基本的なニーズへのアクセスを失った人々を代表してきました。この種の作業は、政府機関との衝突を意味する場合があります。それ以外の場合は、信用報告機関または住宅所有者です。ますます、クライアントの権利のための闘争は、1つまたは別のアルゴリズムに影響を与えます。



「私たちのクライアントでは、これは徐々に起こります」と彼女は言います。 「彼らは、基本的なサービスの使用を妨げる多くの異なるアルゴリズムと絡み合っています。そして、これらのシステムの多くは目に見えないため、顧客はこれに気付いていない可能性があります。」







低所得の人々にとって、一時的な経済的困難は悪循環につながり、時には破産やホームレスに終わる可能性があります。



ギルマンは、受容性に関するいくつかの決定がアルゴリズムによって行われていることに気付いたときを正確に覚えていません。しかし、この移行が始まったばかりのとき、それが明白になることはめったにありませんでした。ある時、ギルマンは、後援された在宅ケアから不可解に切り離された高齢の障害のあるクライアントを代表しました。 「理由がわかりませんでした」と彼女は回想します。彼女は悪化していました、そして通常、あなたが悪化するならば、あなたはより多くの時間を得るでしょう、より少なくはありません。」



州を代表する証人が政府が新しいアルゴリズムを導入したばかりであると報告したのは、ヒアリングの最中にギルマンと彼女のクライアントが法廷に立ったときでした。目撃者である看護師は何も説明できませんでした。



「もちろんそうではありません—彼らはそれを棚から購入しました[注文しないバルク製品について]」とギルマンは言いました。 「彼女は看護師であり、コンピューター科学者ではありません。彼女は、どのような要因がシステムの動作に影響を与えるのか答えることができませんでした。それらはどのように計量されますか？期待される結果は何ですか？」それで、私は私の法律クリニックにいる私の学生弁護士と一緒にいて、彼は「ああ、私はアルゴリズムを相互に調べるつもりですか？」のようなことを尋ねました。



法律事務所ArkansasLegalAidの弁護士であるKevinDe Libanにとって、この変更は同様に危険でした。 2014年に、彼の州はまた、資金提供された在宅医療を配布するための新しいシステムを導入し、以前はそのような医療を受ける資格があった多くの人々を遮断しました。当時、彼と彼の同僚は、このカットオフの根本的な原因を特定することができませんでした。彼らは何かが変わったことを知っているだけでした。 「20問の紙の質問から283問の電子質問への評価システムの変更があったことを理解できました」と彼は認めます。



わずか2年後、アルゴリズムの欠陥が再び法的措置につながったとき、DeLibanはついに問題の核心に迫りました。彼は、看護師が患者に「まあ、コンピューターがやった-それは私ではなかった」と言っていることに気づきました。



「これが私たちに警告したことです」と彼は言います。「2016年に自分が知っていたことを知っていれば、2014年にはクライアントをよりよく保護できるでしょう」とDeLiban氏は付け加えます。

人は毎日多くのシステムを通過します

それ以来、ギルマンは多くの経験を積んできました。彼女はさまざまな問題を抱えているクライアントを代表して、2つのアルゴリズムネットワークの出現と衝突を監視しました。最初のネットワークは、ミリアムによってトラップされたものと同様のクレジットレポートアルゴリズムで構成されており、車、家、職場などの私物やサービスへのアクセスに影響を与えます。2番目のネットワークには、医療、失業、児童支援サービスなどの公共商品へのアクセスに影響を与える政府機関によって採用されたアルゴリズムが含まれています。



クレジットレポートに関しては、アルゴリズムの成長は、これまでになく簡単に収集および配布できるデータの急増によって推進されてきました。クレジットレポートは新しいものではありませんが、その影響は最近はるかに広範囲に及んでいます。クレジットビューロー、テナント検証会社などを含む消費者報告機関は、公開記録、ソーシャルメディア、Webブラウジング、バンキング、アプリの使用など、さまざまなソースからこの情報を収集します。次に、アルゴリズムは人々に「価値」スコアを割り当てます。これは、貸し手、雇用主、地主、さらには学校によって実行されるバックグラウンドチェックに大いに役立ちます。



一方、政府機関は、システムをアップグレードしたいときにアルゴリズムを採用することを余儀なくされています。 Webアプリケーションとデジタルツールの採用は2000年代初頭に始まり、よりデータ駆動型の自動化システムと人工知能への移行が続きました。そのような変化のために努力する正当な理由があります。パンデミックの間、多くの失業給付制度は、膨大な量の新しい要求に対処するのに苦労し、その結果、大幅な遅延が発生しました。これらのレガシーシステムをアップグレードすると、より高速で信頼性の高い結果が約束されます。



ただし、ソフトウェアの調達プロセスが透過的であることはめったにないため、説明責任はありません。政府機関は、自動化された意思決定ツールを民間ベンダーから直接購入することがよくあります。その結果、システムがうまくいかない場合、影響を受けた人々とその弁護士は暗闇に残されます。 「彼らはどこでもこれについて警告しません」と、法律事務所フィラデルフィア法務支援の弁護士であるジュリア・サイモン・ミシェルは不平を言います。 「これがマニュアルやヘルプに書かれることはめったにありません。私たちは不利な立場にあります。」



公的な監視が欠如しているため、アルゴリズムはエラーを起こしやすくなっています。最もひどい問題の1つは、2013年にミシガンで発生しました。州の失業給付制度を自動化するための多大な努力の後、アルゴリズム34,000人以上を詐欺師と誤って表示しました。 「これにより、メリットが大幅に失われました」とSimon-Michel氏は言います。 -破産がありました、残念ながら、自殺がありました。それは完全な混乱でした。」







ギルマンは、コロナウイルス関連の債務と追放がクレジットスコアにコード化され、人々が仕事、アパート、ローンを取得することを永遠に困難にすることを恐れています。



低所得の人々は、アルゴリズムへの移行の矢面に立たされています。これらは、消費者レポートに体系化されている一時的な経済的困難に対して最も脆弱な人々、および利益を必要とし、求めている人々です。何年にもわたって、ギルマンはクライアントが悪循環に入るリスクがあるケースをますます見ています。 「人は毎日多くのシステムを経験します」と彼女は言います。 -私はそれがすべての人に起こることを意味します。しかし、その結果は貧しい人々や少数派にとってはるかに悪いものです。」



彼女は例として彼女の法務クリニックでの現在のケースを引用します。ある家族は、パンデミックのために職を失い、自動化されたシステム障害のために失業給付を奪われました。その後、家族は家賃の支払いをやめ、家主が彼らを追放のために訴えました。病気の管理と予防のモラトリアムのため、追放は合法ではありませんが、クレームは引き続き公に記録されます。これらの記録は、テナント選択アルゴリズムで使用できるため、家族が将来安定した住宅を見つけることが困難になる可能性があります。家賃や公共料金を支払うことができないことも、クレジットスコアに打撃を与え、結果をもたらす可能性があります。「人々が携帯電話を使用したり、ローンを組んだり、車を購入したり、仕事に応募したりしようとすると、これらの連鎖的な波及効果が発生します」とギルマン氏は言います。

すべての人間の状況はアルゴリズムの状況に変わります

9月、現在データ社会研究所で働いているギルマンは、貧困弁護士が直面する可能性のあるすべてのアルゴリズムを概説したレポートを発表しました。「Algorithmspoverty」（Poverty Lawgorithms）と呼ばれるレポートは、現場の弁護士のためのガイドとして設計されています。レポートは、消費者法、家族法、住宅法、公共財などの特定の実務分野に分かれています。講演では、既存の法律の中でアルゴリズムやその他のデータ駆動型テクノロジーによってもたらされる課題に対処する方法について説明します。



たとえば、信用格付けが低いためにクライアントがアパートの購入を拒否した場合、レポートでは、スコアリングシステムに入力されたデータが正確であるかどうかを弁護士が最初に確認することを推奨しています。公正信用報告法の下では、報告機関は情報の正確性を確保することが義務付けられていますが、常にそうであるとは限りません。誤った主張に異議を唱えることは、クライアントの信用を回復し、住宅へのアクセスを回復するのに役立ちます。ただし、レポートは、既存の法律がこれを達成するのに役立つだけであることを認めています。埋める必要のある規制のギャップはまだあります、とギルマンは言います。



ギルマンは、この報告が目覚めの呼びかけとなることを望んでいます。彼女の同僚の多くはまだ何が起こっているのか理解しておらず、アルゴリズムを発見するための適切な質問をすることができません。問題を認識している人々は米国中に散らばっており、問題を研究し、問題のポイントに向かい、アルゴリズムとだけ戦っています。ギルマンは、それらをまとめて、互いに助け合うことができる人々のより広いコミュニティを作成する機会を見ています。 「私たちは皆、法律だけでなく、システム自体の観点からも、もっと学び、もっと学ぶ必要があります」とギルマンは言います。結局、すべての人間の状況がアルゴリズムの状況に変わるように見えます。」



長期的には、ギルマンは刑事司法の世界でインスピレーションを求めています。刑事弁護士は「時代の先を行く」と彼女は言います。彼らは自分たちをコミュニティに組織し、判断を定義するリスク評価アルゴリズムと戦い、実装を遅らせました。ギルマンは、市民の弁護士にも同じことをしてもらいたいと考えています。クライアントが直面するアルゴリズムの隠されたネットワークに、より多くの公的な監視と規制をもたらす運動を生み出すことです。 「場合によっては、システムを公平にする方法がないため、システムをシャットダウンする必要があります」と彼女は言います。



ミリアムに関しては、ニックの有罪判決の後、彼女は永遠に去りました。ミリアムと彼女の子供たちは新しい州に移り、強制債務と家庭内暴力の生存者を支援する非営利団体に連絡しました。組織の助けを借りて、ミリアムは彼女の財政を管理する方法を教えるためにいくつかのコースを受講しました。この組織は、ミリアムが多くの強制債務を解消し、クレジットアルゴリズムについてさらに学ぶのを支援してきました。彼女がスポンサーになった父親の助けを借りて車を買いに行ったとき、彼女の信用格付けはほとんど最低に達しませんでした。それ以来、彼女の絶え間ない車の支払いと学生の借金は着実に彼女のクレジットスコアを増やしています。



ミリアムはまだ目を光らせている必要があります。ニックは彼女の社会保障番号を持っていて、彼らはまだ離婚していません。彼女はニックが他の口座を開設し、彼女の名前で新しいローンを組むのではないかと常に心配しています。しばらくの間、彼女は自分のクレジットカードの明細書に詐欺がないか毎日チェックしました。しかし今、彼女は先を見据えています。60代のミリアムの父親は引退して引っ越したいと思っています。どちらも現在、家を購入する準備に焦点を合わせています。「私はこれに非常に興奮しています。私の目標は、年末までに700人にすることです」と彼女はクレジットスコアについて語っています。「そうすれば、間違いなく家を購入する準備が整います。」「私は自分の家に住んだことがありません」と彼女は付け加えます。「父と私は、自分の家でお金を節約するために一緒に働いています。」

バナーの割引に10％を追加 するプロモーションコードHABRを忘れないでください。

• Data Science
• Data Analyst