Всё начинается безобидно, с реестра "социально-значимых интернет ресурсов" опубликованных Минкомсвязи [1].
А закончится фильтрацией Рунета по "белому списку".

В списке нет пары десятков тысяч сайтов органов власти на федеральном и региональном уровне, сайтов муниципальных образований и ещё много чего.

Ну да, какая такая социальность. Слов нет

Ссылки:
[1] https://digital.gov.ru/uploaded/files/perechen-k-prikazu-148.pdf

#opengov #runet

В Пакистане запустили панель с визуализацией данных [1] и возможностью их выгрузить с детализацией до страны и отдельных штатов.

Вся визуализация выполнена в Google Data Studio, можно смотреть ретроспективные данные и выгружать их в форматах CSV и XLSX.

Google, также, начали публиковать данные в из Google Trends по статистике поиска по коронавирусу по странам [2]

Эти данные и другие материалы собраны в проекте covid19faq.ru, в разделе "Открытые данные" [3].

Если знаете какие-либо полезные источники данных, присылайте и их, и вопросы которые возникают и на которые пока нет ответов.

Ссылки:
[1] http://covid.gov.pk/stats/pakistan
[2] https://googletrends.github.io/data/
[3] https://covid19faq.ru/l/ru/article/f3sw02fiup-data

#opendata #covid19 #coronavirus

Визуализация данных и выгрузка в статистике Пакистана http://covid.gov.pk/stats/pakistan

Правительство Нового Южного Уэльса, штата Австралии, публикует актуальные данные по заболеванию COVID-19 на своём портале открытых данных [1] и сразу появились общественные проекты по визуализации данных, например, в разрезе районов [2].

Активисты извлекли данные о мобильности граждан [3] из Google Mobility Reports, отчётов компании Google которые компания выложила временно и в PDF форматах [4]. Всё ещё остаются вопросы почему компании такие как Google и умеющие работать с данными, тем не менее отдают вместо этого PDF файлы, впрочем вопросы эти риторические.

База выданных в Великобритании грантов для противодействия COVID-19 опубликована [5] в проекте 360 Giving, агрегирующем грантовую информацию на основе разработанного ими стандарта.

Портал данных, визуализации и каталог дашбордов [6] от UN Stats, статистического подразделения ООН.

Все ссылки на базы данных по COVID-19 команда Инфокультуры собирает на портале covid19faq.ru, в разделе "Открытые данные". Если Вы знаете официальные ресурсы, в особенности, раскрывающие данные по России, пишите нам, интегрируем в общий реестр.

Ссылки:
[1] https://data.nsw.gov.au/nsw-covid-19-data
[2] https://covid19nsw.ethan.link/
[3] https://github.com/vitorbaptista/google-covid19-mobility-reports
[4] https://www.google.com/covid19/mobility/
[5] https://covidtracker.threesixtygiving.org/
[6] https://covid-19-data.unstatshub.org/

#opendata #opengov #covid19

Случилось чудо (с) Сбербанк вернул раздел "Открытые данные" на свой сайт [1].
Новость несомненно хорошая, но, раздел то они вернули, а данные там в последний раз обновлялись за январь 2019 года. А ведь вот сейчас как никогда была бы интересна статистика потребления и вообще статистика которую Сбербанк публиковал.

Может они всё же догадаются не только раздел вернуть, но и данные обновить?

Ссылки:
[1] https://www.sberbank.com/ru/analytics/opendata

#opendata #sberbank

Как влияет коронавирус на экономику? Как понять восстанавливается ли экономическая активность? Во многих странах и регионах спешно создают панели по мониторингу экономических индикаторов.

На Гавайях (штат США) создали COVID-19 & Hawaii’s Economy [1] панель с индикаторами на сайте Департамента бизнеса, экономического развития и туризма. Мониторят:
- число пассажиров ежедневно
- запросы на пособия по безработице
- заявления о банкротстве
- налоговые поступления
- число вакансий по отраслям

Федеральный резервный банк Сэнт-Луиса публикует COVID-19 Economic Data Tracking [2] панель мониторинга с такими показателями как:
- запросы на пособия по безработице
- среднее число рабочих часов в неделю у всех частных работников
- всего сотрудников
- уровень безработицы
и ещё множество индикаторов

Deloitte в Канаде сделали панель индикаторов COVID-10: Economic recovery dashboard [3] на базе Tableau Public в следующих разрезах
- Health
- AI Monitor
- Financial
- Economy

А также:
- Coronavirus Impact Dashboard [4] от Criteo
- Canadian Economic Dashboard and COVID-19 [5] от Statistics Canada
- Economic Indicators for CoronaVirus [6]

Ссылки:
[1] https://dbedt.hawaii.gov/economic/covid19/
[2] https://research.stlouisfed.org/dashboard/49765
[3] https://public.tableau.com/views/DeloitteCOVID-19EconomicRecoveryDashboard/DeloitteCOVID-19Analysis?:showVizHome=no&:embed=true
[4] https://www.criteo.com/coronavirus-impact-dashboard/
[5] https://www150.statcan.gc.ca/n1/en/catalogue/71-607-X2020009
[6] https://bber.unm.edu/covid19

#opendata #dataviz #dashboard

Я напомню что в @infoculture (Инфокультуре) ведётся публичный проект по тщательно выверенным сведениям по коронавирусной инфекции.

Собрано вручную: источники данных о коронавирусе в России и мире 🗄

Составили для вас список источников информации и данных о распространении нового коронавируса COVID-19 в России и мире. Данные собраны как официальными исследовательскими сообществами и статистическими службами, так и неформальными группами активистов.

Подробнее: https://covid19faq.ru/l/ru/article/smgcguuguh-hand-collected-coronavirus-data-sources

Apple опубликовали их мониторинг самоизоляции в виде mobility reports [1] только по всему миру.
На что надо обратить внимание:
1. У Apple искажённая аудитория, в первую очередь из-за стоимости устройств
2. Apple куда более data-friendly и отдают данные в CSV форматах. В отличие от Яндекса (не отдают данные) и Google (отдают в PDF'ах).


Ссылки:
[1] https://www.apple.com/covid19/mobility

#opendata #apple #covid19

Если Минцифра не следит за тобой, это не значит что ты не должен следить за Минцифрой (с)

Тем временем граждане целенаправленно ненавидят новое приложение от Минцифры по цифровым пропускам.

Вчера одновременно Ведомости [1] и Коммерсант [2] написали о системе Сбербанка "Гостех". С одной стороны я, слишком давно слышу разговоры о том что Гостех необходимо создавать, и не только в форме того что хочет сделать Сбербанк, а с другой стороны слишком мало знаю об этой системе, потому как больше знаю о реально работающих продуктах, а не о пилотных внедрениях.

Вне зависимости от того Сбербанк ли это или какой-либо другой консорциум на базе которого создавался бы этот Гостех, там логика и проблемы понятны с самого начала.

Логика в том чтобы объединить все информационные системы (как минимум ключевые) под единого оператора. Проблема в том что не просто так каждое ведомство много лет создавало и углубляло свою "цифровую песочницу". ИТ бюджеты и принятие решений в ФОИВах устроены так что все органы власти где работа с ИТ более менее отстроена, стараются иметь собственную инфраструктуру внутри ведомства. Например, Гособлако (ГЕОП) не то чтобы стало или претендует на то чтобы стать чем-то реально востребованным для органов власти. Потому что многие органы власти потратили уже миллиарды рублей на совершенно другие технические решения.

И это мы ещё говорим про создание госмонополии на *условный* хостинг. А когда дело доходит до внедрения, то там ключевая проблема - это "управление сложностью". Государственное ИТ, даже только на федерльном уровне - это огромный зоопарк. Но если в корпорациях его можно изменить решением совета директоров/гендира, то с государством куда сложнее. Этот зоопарк обложен со всех стороны нормативными документами, регламентами, услугами для граждан и тд., что оставляет много пространства для манёвра чтобы мешать внедрять любые централизованные решения.

Переводя с русского на русский, единое решение не заработает пока внутри Пр-ва не будет консолидированной позиции и готовности его внедрять.

И, конечно, важно помнить что в России до сих пор отсутствует внятная госполитика по открытости кода государственных информационных систем, открытости алгоритмов. Недостаточная политика в части открытости данных.

Приведёт ли создание Гостеха к формированию культуры открытости в государственном ИТ или нет - вот мой главный критерий оценки будущего этой инициативы.

Ссылки:
[1] https://www.vedomosti.ru/technology/articles/2020/04/17/828356-sistema
[2] https://www.kommersant.ru/doc/4325787

#opengov #opendata #govtech

Большая волна поднимает все корабли, но кто-то должен поднять эту большую волну.

Майкрософт объявил о старте кампании Closing the Data Divide: The Need for Open Data [1] (Закрывая неравенство в данных: Потребность в открытых данных) по популяризации открытости данных и по глобальному продвижению этой концепции. На фоне того что открытость данных, открытость государств начала отступать в мире, того что правительства стали если не отказываться, то забывать про обязательства открытости, инициатива со стороны одной из крупнейших цифровых корпораций - это, безусловно, хорошая новость.

И хороша она не только тем что именно Microsoft его запускает, а тем что Microsoft, Google, Amazon и другие цифровые лидеры умеют договариваться когда им это выгодно, и очень хочется надеяться на то что они сформируют собственное партнёрство по продвижению открытых данных.

Подробнее в блоге Microsoft [2]

Ссылки:
[1] https://news.microsoft.com/opendata/
[2] https://blogs.microsoft.com/on-the-issues/2020/04/21/open-data-campaign-divide/

#opendata #microsoft

Пара разработчиков из Samsung AI Center в Москве, Али Алиев и Карим Искаков сделали забавную программу avatarify [1] по созданию аватаров для видеочатов Skype, Zoom и Slack, где можно выбрать себе аватара и он будет двигаться сообразно вашей мимике.

Проект с открытым кодом, требует немного допиливания при установке, но весьма смешон и я даже не сомневаюсь что он очень скоро породит новую культуру видео-мемов, в том числе политических, с известными личностями и персонажами.


Ссылки:
[1] https://github.com/alievk/avatarify

#opensource #ai #funny

Для тех кто интересуется то как национальные парламенты работают в ситуации коронавируса, большой обзор по парламентам стран в публикации [1] Inter-Parliamentary Union (IPU).

У них же, кстати, есть портал открытых данных [2] с данными по парламентам разных стран, возможностями для сравнения и выгрузки данных.

Ссылки:
[1] https://www.ipu.org/country-compilation-parliamentary-responses-pandemic
[2] https://data.ipu.org/

#opendata #covid-19 #parliament

«Должен ли «Яндекс» предупредить о ваших планах ограбить банк?» Иван Бегтин об открытых данных, авторском праве и приватности

«Роскомсвобода» взяла интервью у, пожалуй, главного эксперта и евангелиста в области открытых данных в России.

Почему проект «Открытое правительство» провалился? Где проходит граница в использовании камер видеонаблюдения? Этично ли интернет-компаниям предупреждать власти о чьих-то планах неправомерных действий и что делать с презумпцией невиновности? «Роскомсвобода» побеседовала с одним из ведущих российских экспертов в области открытых данных и открытого государства. Иван Бегтин (@begtin) — ИТ-специалист, генеральный директор АНО «Информационная культура» и руководитель проектного направления «Открытые данные» в Счетной палате.

➡️ https://roskomsvoboda.org/57568

Transparency Deserts (Пустыни прозрачности) [1], статья Christina Koningisor о том как устроены законы о прозрачности в США на уровне отдельных штатов и муниципалитетов. Статья весьма интересная, много конкретных кейсов и разборов подходов по обеспечению открытости, а также примеров недостаточных или плохих практик.

Для тех кто исследует то как обеспечивается открытость государства - это полезный материал.

Ссылки:
[1] https://scholarlycommons.law.northwestern.edu/cgi/viewcontent.cgi?article=1409&context=nulr

#opengov #transparency

Как работает защита приватности в странах где есть сдержки и противовесы в парламентской демократии.

В Израиле правительство изначально разрешило использовать данные сотовых операторов для трекинга контактов в период COVID-19, но на ограниченное время. Сейчас парламентская надзорная группа кнессета заблокировала инициативу правительства по продолжению использования этих данных. О чём пишет BBC [1] и у них же немало других актуальных публикаций о приватности при COVID-19 [2], например, о том как Google и Apple мешают правительствам нарушать приватность [3] и давление правительства Франции на них к примеру.

И там же об масштабном производстве и внедрении трекеров движения с мониторингом температуры [4]

У Privacy International появился большой раздел на сайте посвящённых нарушениям приватности при COVID-19 [5].

Apple и Google разрабатывают стандарт трекинга людей с соблюдением приватности [6].

Большой раздел по приватности при COVID-19 появился на сайте Совета Европы [7]

Ссылки:
[1] https://www.bbc.com/news/technology-52395886
[2] https://www.bbc.com/news/topics/cz5jl9ydykpt/privacy
[3] https://www.bbc.com/news/technology-52415020
[4] https://www.bbc.com/news/technology-52409893
[5] https://privacyinternational.org/campaigns/fighting-global-covid-19-power-grab
[6] https://www.apple.com/covid19/contacttracing
[7] https://www.coe.int/en/web/data-protection/covid-19-data-protection-resources

#privacy #covid19 #democracy

Ранее я писал про то что такое альтернативные данные [1] и как они используются. Главное и основное применение - это хэдж фондами и другими игроками на биржах. Альтернативные данные поставляются чаще чем отчетность компаний и позволяет делать выводы о их успехах, иногда, значительно раньше.

Я буду делать регулярные обзоры компаний и продуктов создающих подобные альтернативные данные. Сегодня краткое описание 3-х из них: SatScout, Kpler, Ursa Space Systems

SatScout
—
Мониторинг нефтяных скважин в США от Westwood Global Energy Group. Отличается тем что осуществляется в реальном времени и с помощью спутниковых снимков, машинного обучения и команды аналитиков. Они умеют определять когда скважину начинают бурить, когда консервировать и так далее. Иначе говоря узнавать об активностях нефтяных компаний до того как они об этом сообщат в своих отчётах.

Ключевые особенности:
- мониторят 22 000+ нефтяных скважин с периодичность в 2-3 дня
- 2,1 миллиона спутниковых снимков обработали машинным обучением и вручную
- в 2,5 раза точнее выявляют гидроразрывы в отличие от отчетности компаний

Стоимость продукта начинается от 10 тысяч долларов США в месяц, агрегированные данные по некоторым месторождениям они публикуют у себя на сайте

Kpler

Спутниковый мониторинг морских грузоперевозок. Они используют официальные госданные, данные от перевозчиков, портовых служб и изображения со спутников для отслеживания судов, рыночных отчетов, мобильного приложения для отслеживания в реальном времени и так далее.

Компания существует с 2009 года и, судя по запускаемым ими продуктами и числу вакансий, активно развивается.

Ursa Space Systems

Вот это уже полноценный стартап, с раундами инвестиций и последним раундом в 15 миллионов долларов. Их фокус в измерении заполненности нефтехранилищ в мире и из общедоступных продуктов можно посмотреть на их панель загруженности нефтехранилищ.


Ссылки:
[1] https://publielectoral.lat/begtin/1480

Тот момент когда международные корпорации веду себя значительно более ответственно чем национальные правительства некоторых стран. Обе компании, Google и Apple пообещали отключить функции отслеживания контактов, которые они разработали, сразу после того как пандемия будет взята под контроль [1]. Они создали раздел вопросов и ответов на сайте инициативы. [2]


Ссылки:
[1] https://www.theverge.com/2020/4/24/21234457/apple-google-coronavirus-contact-tracing-tracker-exposure-notification-shut-down
[2] https://covid19-static.cdn-apple.com/applications/covid19/current/static/contact-tracing/pdf/ExposureNotification-FAQv1.0.pdf

#privacy #google #apple

Мне тут надо написать несколько текстов, но идёт очень тяжело, так что попробую отрефлексировать одну давнюю мысль.

Многие ИТ специалисты столкнувшиеся с законами и прочими нормативными документами давно уже говорят, пишут, рассуждают на тему того что надо сделать "Git для законов". Для тех кто не из ИТ мира поясню.

Git - это такая система управления версиями кода и текстов в которой всё устроено через патчи к предыдущим версиям. На самом деле также устроено и во многих других системах контроля версий, но я буду использовать Git как базовый пример. Потому что такие размышления уже публиковались неоднократно [1] [2]

Основной тезис тут в том что с законами можно работать как с кодом. Это как devops - программирование инфраструктуры сложно это код или dataops - программирование систем управления данными словно это код и вот lawops - программирование законов словно это код.

Концепция непростая, но, как ни странно не невозможная. Ключевое в ней - это преодоление приоритета бумаги над цифрой. Бумага, в данном случае, момент признания нормативного правила/обязательства/права и форма его выражения. Если сейчас первичная "бумага", а то есть например, распоряжение о назначении или снятии кого-то вначале подписывается на бумаге и лишь потом реализуется через систему управления кадрами (если вообще есть такая система), то в случае приоритета цифры возникают "учётные действия" от которых уже порождаются документы "на бумаге".

Есть действия которые касаются простых понятий и показателей. Назначить, уволить, создать, ликвидировать, ратифицировать, изменить общий значимый параметр (МРОТ, ставка налога и тд). Если говорить про Россию то таких учётных действий до 90% всех подписываемых документов.

Всё это требует создания этой самой системы нормативных действий. Причём она должна иметь принципиально иные характеристики, как минимум, в части уведомления субъектов регулирования о появлении новой нормы. Это уже не классические нормативно-правовые системы, а вполне машиночитаемые уведомления на платформах любого типа.

Однако, именно нормативные документы являются основой госуправления. Изменить природу появления норм - это изменить и структурировать природу управления государством или даже чуть меньшей структурой (регион, муниципалитет, корпорация).

Такие изменения возможны только если "есть этого слона по частям", а то есть разделять НПА на блоки. Например, вначале распоряжения о назначении/увольнении, далее распоряжения награждении, далее распоряжения о ратификации, далее постановления по установлению базовых параметров, далее в части НПА идущих по короткому пути - ведомственные приказы, далее законы идущие по короткому пути, на каких-то этапах, и далее уже всё целиком.

На самом деле всё подобное возможно, и отнюдь не геймифицирует госуправление, а задаёт множество ограничительных рамок и значительно упрощает инструменты не только принятия решений, но и прогнозирования.

Более того, в некоторых направлениях эти изменения сильно прогрессируют. Например, закон о бюджете на федеральном уровне это давно уже не закон в привычном понимании, а сложный, автоматизированный процесс, а сам бюджет уже не документ, а "слепок в системе".

Я, при этом, не считаю что подобное "обесчеловечивания" будет просто внедрить. Слишком активна и влиятельна прослойка лиц находящихся между инициативой НПА и постановкой последней подписи и автоматизация этого процесса может лишить этих посредников заработка.

Но тренд на подобное совершенно ясно присутствует и я берусь предсказать что в течение 10-15 лет именно так всё и будет.

P.S. Хочу на эту тему большую международную дискуссию или хотя бы статью написать на английском. Пока делюсь мыслями тут


Ссылки:
[1] https://blog.abevoelker.com/gitlaw-github-for-laws-and-legal-documents-a-tourniquet-for-american-liberty/
[2] https://sunlightfoundation.com/2014/06/25/opengov-voices-how-gitlaw-turns-the-french-parliamentary-process-into-open-data/

#thoughts #discuss #law #lawtech #lawops