Làm thế nào dữ liệu bẩn dữ liệu của Cameron từ vi phạm quyền dân sự dẫn đến chính sách dự đoán xấu
Một báo cáo mới điều tra làm thế nào 13 khu vực pháp lý, bao gồm Chicago và New Orleans, đã cung cấp dữ liệu cho các hệ thống được cung cấp bởi các điểm dừng, tìm kiếm và bắt giữ sai lệch về chủng tộc.
Làm thế nào dữ liệu bẩn dữ liệu của Cameron từ vi phạm quyền dân sự dẫn đến chính sách dự đoán xấu
[Ảnh: chủ nghĩa châm biếm người dùng Flickr ]
BỞI DJ PANGBURN5 PHÚT ĐỌC
Vào tháng 3 năm 2015, Liên minh Tự do Dân sự Hoa Kỳ (ACLU) Illinois đã công bố một báo cáo về các hành vi ngăn chặn và nhanh chóng của Sở Cảnh sát Chicago (CPD). Sau khi xem xét các hồ sơ từ năm 2012, 2013 và bốn tháng dữ liệu thẻ liên lạc từ năm 2014, ACLU của Illinois đã kết luận rằng nhiều điểm dừng CPD và frisks là bất hợp pháp và cư dân da đen bị nhắm mục tiêu không tương xứng. Báo cáo cũng lưu ý những thiếu sót trong thực hành thu thập dữ liệu và dữ liệu của CPD, bên cạnh các thực tiễn và thủ tục khác, được giám sát độc lập như một phần của thỏa thuận giải quyết tháng 8 năm 2015.
Nhưng ACLU không đơn độc trong phát hiện của mình về các chính sách dữ liệu CPD. Một cuộc điều tra kéo dài hàng năm của Bộ Tư pháp Hoa Kỳ (DOJ) về vụ bắn chết người Laquan McDonald đã tìm thấy một mô hình thu thập dữ liệu kém để xác định và giải quyết các hành vi trái pháp luật, trong số các vấn đề khác. Trong khi đó, CPD đã sử dụng hệ thống kiểm soát dự đoán của riêng mình, tồn tại dưới một hình thức nào đó kể từ ít nhất năm 2012. Được tài trợ bởi một khoản trợ cấp DOJ và được phát triển bởi Viện Công nghệ Illinois, Danh sách chủ đề chiến lược (SSL) là một đánh giá tự động công cụ sử dụng một số bộ dữ liệu để phân tích tội phạm, cũng như xác định và xếp hạng các cá nhân có nguy cơ trở thành nạn nhân hoặc người phạm tội trong một vụ nổ súng hoặc giết người. Yêu cầu Đạo luật Tự do Thông tin năm 2017 tiết lộ rằng bộ dữ liệu bao gồm 398.684 cá nhân, với nhiều thông tin phải làm với các vụ bắt giữ,
Chicago, nghiên cứu trường hợp đầu tiên của báo cáo, đặc biệt quan tâm đến cuộc tranh luận về chính sách dự đoán. Ví dụ của thành phố cũng được bao gồm trong một báo cáo mới được công bố bởi AI Now, một trung tâm nghiên cứu liên ngành tại Đại học New York tập trung vào ý nghĩa xã hội của trí thông minh nhân tạo, về dữ liệu bẩn bẩn từ các vi phạm quyền dân sự dẫn đến việc kiểm soát dự đoán xấu.
Báo cáo, được công bố vào tuần trước, điều tra cách 13 khu vực pháp lý đã sử dụng, đang sử dụng hoặc lên kế hoạch thực hiện các hệ thống kiểm soát dự đoán đang cung cấp dữ liệu cho các hệ thống này bởi các điểm dừng vi hiến và phân biệt chủng tộc, tìm kiếm và bắt giữ, cũng như sử dụng quá mức của lực lượng và vi phạm sửa đổi đầu tiên, trong số các vấn đề khác. Các khu vực pháp lý, bao gồm New Orleans; Hạt Maricopa, Arizona; Milwaukee; và các thành phố khác, tất cả đã tham gia vào các nghị định đồng ý đáng chú ý (các khu định cư giữa hai bên) với Bộ Tư pháp, hoặc một số khu định cư khác do tòa án liên bang giám sát đối với các hành vi tham nhũng, sai lệch chủng tộc, hay nói cách khác là bất hợp pháp.
Các công cụ tự động được sử dụng bởi các cơ quan công cộng để đưa ra quyết định trong tư pháp hình sự, y tế và giáo dục thường được mua và phát triển trong bóng tối. Tuy nhiên, các nhà hoạt động, luật sư và các nhà lập pháp đang nỗ lực nâng cao nhận thức về các thuật toán này, với một nỗ lực lớn hiện đang diễn ra tại bang Washington, nơi các nhà lập pháp hiện đang tranh luận về một dự luật trách nhiệm giải trình thuật toán sẽ thiết lập các hướng dẫn minh bạch. Nhưng một lĩnh vực trong cuộc tranh luận chưa nhận được nhiều sự chú ý là dữ liệu bẩn bẩn của Google được sử dụng bởi các hệ thống kiểm soát dự đoán.
Báo cáo lưu ý rằng dữ liệu của cảnh sát có thể bị sai lệch theo hai cách riêng biệt. Đầu tiên, dữ liệu cảnh sát phản ánh các thực tiễn và chính sách của cảnh sát, và nếu một nhóm hoặc khu vực địa lý là mục tiêu không phù hợp cho các liên hệ và hành động của cảnh sát không chính đáng, thì nhóm hoặc khu vực này sẽ được trình bày trong dữ liệu, theo cách thường gợi ý tội phạm lớn hơn. Một kiểu thiên vị khác xảy ra khi các sở cảnh sát và các hệ thống trị an dự đoán có xu hướng tập trung vào các tội phạm bạo lực, đường phố, tài sản và chất lượng cuộc sống, trong khi các tội phạm cổ trắng mà một số nghiên cứu cho rằng xảy ra với tần suất cao hơn các tội phạm đã nói ở trên Thông tin tương đối bị điều tra và bỏ qua trong báo cáo tội phạm.
Rashida Richardson, giám đốc nghiên cứu chính sách của AI Now, nói với Fast Company rằng việc tìm hồ sơ công khai về hành vi sai trái của cảnh sát trong các khu vực pháp lý được nhắm mục tiêu là tương đối dễ dàng. Tuy nhiên, thông tin liên quan đến thực tiễn chia sẻ dữ liệu của cảnh sát, dữ liệu nào và dữ liệu nào được chia sẻ cùng với các khu vực pháp lý khác cũng như thông tin về các hệ thống kiểm soát dự đoán. Các trường hợp khác tồn tại khi bằng chứng không thuyết phục về mối liên hệ trực tiếp giữa thực tiễn kiểm soát và dữ liệu được sử dụng trong hệ thống kiểm soát dự đoán.
Chúng tôi không phải thực hiện [Yêu cầu về quyền tự do thông tin] hoặc bất kỳ yêu cầu hồ sơ công khai chính thức nào, ông nói. Một phần của phương pháp đã cố gắng dựa hoàn toàn vào những gì đã có sẵn công khai vì lý thuyết cho rằng đây là loại thông tin mà công chúng nên có quyền truy cập.
Một số khu vực pháp lý có nhiều sự đồng ý gần đây đã phê chuẩn các tổ chức đó là Milwaukee, Baltimore và Chicago, điều đó khó hơn một chút vì thiếu thông tin công khai, cô nói thêm. Nhiều người trong số các phi công kiểm soát dự đoán hoặc các trường hợp sử dụng thường được tài trợ thông qua đô la liên bang, do đó, đôi khi có hồ sơ thông qua DOJ rằng họ đã cấp một quyền tài phán, nhưng sau đó không có tài liệu nào khác ở cấp địa phương về cách sử dụng tiền đó .
Richardson nói rằng HunchLab và PredPol là hai hệ thống kiểm soát dự đoán phổ biến nhất trong số 13 khu vực pháp lý. IBM và Motorola cũng cung cấp một số loại hệ thống kiểm soát dự đoán, trong khi các khu vực pháp lý khác phát triển nội bộ của riêng họ. Hiện tại vẫn chưa biết mức độ phổ biến của các hệ thống tự động này ở Hoa Kỳ.
Richardson nói rằng một phần lý do của việc này là sự thiếu minh bạch xung quanh việc mua lại và phát triển các công nghệ này bởi các khu vực tài phán. Nhiều hệ thống như vậy được mua lại hoặc phát triển bên ngoài quy trình mua sắm thông thường; nghĩa là, từ các khoản tài trợ của liên bang hoặc bên thứ ba từ các tổ chức cảnh sát hoặc các tổ chức phi chính phủ quan tâm đến việc thực thi pháp luật. Chẳng hạn ở New Orleans, Palantir đã tặng hệ thống [dự đoán chính sách] như một món quà bằng hiện vật cho sở cảnh sát.
Nói rằng, nó đã không trải qua quá trình lập pháp. Đây chỉ là do một số vụ kiện tụng và báo chí điều tra mà chúng ta có một số nắm bắt về mức độ phổ biến của nó.
Để có những hệ thống kiểm soát dự đoán không thiên vị, ông Richardson nói rằng phải có cải cách cả về chính sách và hệ thống tư pháp hình sự. Nếu không, sẽ rất khó để tin rằng thông tin đến từ cái mà cô gọi là hệ thống bị hỏng của Google có thể được thực hiện theo cách không phân biệt đối xử.
Một ngày nào đó trong tương lai, có thể sử dụng loại công nghệ này theo cách không tạo ra kết quả phân biệt đối xử, theo ông Richardson. Nhưng vấn đề là có rất nhiều vấn đề được nhúng trong chính sách và rộng hơn, trong tư pháp hình sự, nó sẽ có nhiều thay đổi cơ bản, không chỉ trong thực tiễn dữ liệu mà cả cách các hệ thống này được triển khai để có sự công bằng kết quả
Làm thế nào dữ liệu bẩn dữ liệu của Cameron từ vi phạm quyền dân sự dẫn đến chính sách dự đoán xấu
[Ảnh: chủ nghĩa châm biếm người dùng Flickr ]
BỞI DJ PANGBURN5 PHÚT ĐỌC
Vào tháng 3 năm 2015, Liên minh Tự do Dân sự Hoa Kỳ (ACLU) Illinois đã công bố một báo cáo về các hành vi ngăn chặn và nhanh chóng của Sở Cảnh sát Chicago (CPD). Sau khi xem xét các hồ sơ từ năm 2012, 2013 và bốn tháng dữ liệu thẻ liên lạc từ năm 2014, ACLU của Illinois đã kết luận rằng nhiều điểm dừng CPD và frisks là bất hợp pháp và cư dân da đen bị nhắm mục tiêu không tương xứng. Báo cáo cũng lưu ý những thiếu sót trong thực hành thu thập dữ liệu và dữ liệu của CPD, bên cạnh các thực tiễn và thủ tục khác, được giám sát độc lập như một phần của thỏa thuận giải quyết tháng 8 năm 2015.
Nhưng ACLU không đơn độc trong phát hiện của mình về các chính sách dữ liệu CPD. Một cuộc điều tra kéo dài hàng năm của Bộ Tư pháp Hoa Kỳ (DOJ) về vụ bắn chết người Laquan McDonald đã tìm thấy một mô hình thu thập dữ liệu kém để xác định và giải quyết các hành vi trái pháp luật, trong số các vấn đề khác. Trong khi đó, CPD đã sử dụng hệ thống kiểm soát dự đoán của riêng mình, tồn tại dưới một hình thức nào đó kể từ ít nhất năm 2012. Được tài trợ bởi một khoản trợ cấp DOJ và được phát triển bởi Viện Công nghệ Illinois, Danh sách chủ đề chiến lược (SSL) là một đánh giá tự động công cụ sử dụng một số bộ dữ liệu để phân tích tội phạm, cũng như xác định và xếp hạng các cá nhân có nguy cơ trở thành nạn nhân hoặc người phạm tội trong một vụ nổ súng hoặc giết người. Yêu cầu Đạo luật Tự do Thông tin năm 2017 tiết lộ rằng bộ dữ liệu bao gồm 398.684 cá nhân, với nhiều thông tin phải làm với các vụ bắt giữ,
Chicago, nghiên cứu trường hợp đầu tiên của báo cáo, đặc biệt quan tâm đến cuộc tranh luận về chính sách dự đoán. Ví dụ của thành phố cũng được bao gồm trong một báo cáo mới được công bố bởi AI Now, một trung tâm nghiên cứu liên ngành tại Đại học New York tập trung vào ý nghĩa xã hội của trí thông minh nhân tạo, về dữ liệu bẩn bẩn từ các vi phạm quyền dân sự dẫn đến việc kiểm soát dự đoán xấu.
Báo cáo, được công bố vào tuần trước, điều tra cách 13 khu vực pháp lý đã sử dụng, đang sử dụng hoặc lên kế hoạch thực hiện các hệ thống kiểm soát dự đoán đang cung cấp dữ liệu cho các hệ thống này bởi các điểm dừng vi hiến và phân biệt chủng tộc, tìm kiếm và bắt giữ, cũng như sử dụng quá mức của lực lượng và vi phạm sửa đổi đầu tiên, trong số các vấn đề khác. Các khu vực pháp lý, bao gồm New Orleans; Hạt Maricopa, Arizona; Milwaukee; và các thành phố khác, tất cả đã tham gia vào các nghị định đồng ý đáng chú ý (các khu định cư giữa hai bên) với Bộ Tư pháp, hoặc một số khu định cư khác do tòa án liên bang giám sát đối với các hành vi tham nhũng, sai lệch chủng tộc, hay nói cách khác là bất hợp pháp.
Các công cụ tự động được sử dụng bởi các cơ quan công cộng để đưa ra quyết định trong tư pháp hình sự, y tế và giáo dục thường được mua và phát triển trong bóng tối. Tuy nhiên, các nhà hoạt động, luật sư và các nhà lập pháp đang nỗ lực nâng cao nhận thức về các thuật toán này, với một nỗ lực lớn hiện đang diễn ra tại bang Washington, nơi các nhà lập pháp hiện đang tranh luận về một dự luật trách nhiệm giải trình thuật toán sẽ thiết lập các hướng dẫn minh bạch. Nhưng một lĩnh vực trong cuộc tranh luận chưa nhận được nhiều sự chú ý là dữ liệu bẩn bẩn của Google được sử dụng bởi các hệ thống kiểm soát dự đoán.
Báo cáo lưu ý rằng dữ liệu của cảnh sát có thể bị sai lệch theo hai cách riêng biệt. Đầu tiên, dữ liệu cảnh sát phản ánh các thực tiễn và chính sách của cảnh sát, và nếu một nhóm hoặc khu vực địa lý là mục tiêu không phù hợp cho các liên hệ và hành động của cảnh sát không chính đáng, thì nhóm hoặc khu vực này sẽ được trình bày trong dữ liệu, theo cách thường gợi ý tội phạm lớn hơn. Một kiểu thiên vị khác xảy ra khi các sở cảnh sát và các hệ thống trị an dự đoán có xu hướng tập trung vào các tội phạm bạo lực, đường phố, tài sản và chất lượng cuộc sống, trong khi các tội phạm cổ trắng mà một số nghiên cứu cho rằng xảy ra với tần suất cao hơn các tội phạm đã nói ở trên Thông tin tương đối bị điều tra và bỏ qua trong báo cáo tội phạm.
Rashida Richardson, giám đốc nghiên cứu chính sách của AI Now, nói với Fast Company rằng việc tìm hồ sơ công khai về hành vi sai trái của cảnh sát trong các khu vực pháp lý được nhắm mục tiêu là tương đối dễ dàng. Tuy nhiên, thông tin liên quan đến thực tiễn chia sẻ dữ liệu của cảnh sát, dữ liệu nào và dữ liệu nào được chia sẻ cùng với các khu vực pháp lý khác cũng như thông tin về các hệ thống kiểm soát dự đoán. Các trường hợp khác tồn tại khi bằng chứng không thuyết phục về mối liên hệ trực tiếp giữa thực tiễn kiểm soát và dữ liệu được sử dụng trong hệ thống kiểm soát dự đoán.
Chúng tôi không phải thực hiện [Yêu cầu về quyền tự do thông tin] hoặc bất kỳ yêu cầu hồ sơ công khai chính thức nào, ông nói. Một phần của phương pháp đã cố gắng dựa hoàn toàn vào những gì đã có sẵn công khai vì lý thuyết cho rằng đây là loại thông tin mà công chúng nên có quyền truy cập.
Một số khu vực pháp lý có nhiều sự đồng ý gần đây đã phê chuẩn các tổ chức đó là Milwaukee, Baltimore và Chicago, điều đó khó hơn một chút vì thiếu thông tin công khai, cô nói thêm. Nhiều người trong số các phi công kiểm soát dự đoán hoặc các trường hợp sử dụng thường được tài trợ thông qua đô la liên bang, do đó, đôi khi có hồ sơ thông qua DOJ rằng họ đã cấp một quyền tài phán, nhưng sau đó không có tài liệu nào khác ở cấp địa phương về cách sử dụng tiền đó .
Richardson nói rằng HunchLab và PredPol là hai hệ thống kiểm soát dự đoán phổ biến nhất trong số 13 khu vực pháp lý. IBM và Motorola cũng cung cấp một số loại hệ thống kiểm soát dự đoán, trong khi các khu vực pháp lý khác phát triển nội bộ của riêng họ. Hiện tại vẫn chưa biết mức độ phổ biến của các hệ thống tự động này ở Hoa Kỳ.
Richardson nói rằng một phần lý do của việc này là sự thiếu minh bạch xung quanh việc mua lại và phát triển các công nghệ này bởi các khu vực tài phán. Nhiều hệ thống như vậy được mua lại hoặc phát triển bên ngoài quy trình mua sắm thông thường; nghĩa là, từ các khoản tài trợ của liên bang hoặc bên thứ ba từ các tổ chức cảnh sát hoặc các tổ chức phi chính phủ quan tâm đến việc thực thi pháp luật. Chẳng hạn ở New Orleans, Palantir đã tặng hệ thống [dự đoán chính sách] như một món quà bằng hiện vật cho sở cảnh sát.
Nói rằng, nó đã không trải qua quá trình lập pháp. Đây chỉ là do một số vụ kiện tụng và báo chí điều tra mà chúng ta có một số nắm bắt về mức độ phổ biến của nó.
Để có những hệ thống kiểm soát dự đoán không thiên vị, ông Richardson nói rằng phải có cải cách cả về chính sách và hệ thống tư pháp hình sự. Nếu không, sẽ rất khó để tin rằng thông tin đến từ cái mà cô gọi là hệ thống bị hỏng của Google có thể được thực hiện theo cách không phân biệt đối xử.
Một ngày nào đó trong tương lai, có thể sử dụng loại công nghệ này theo cách không tạo ra kết quả phân biệt đối xử, theo ông Richardson. Nhưng vấn đề là có rất nhiều vấn đề được nhúng trong chính sách và rộng hơn, trong tư pháp hình sự, nó sẽ có nhiều thay đổi cơ bản, không chỉ trong thực tiễn dữ liệu mà cả cách các hệ thống này được triển khai để có sự công bằng kết quả
Nhận xét
Đăng nhận xét