Ivan Begtin
8.03K subscribers
1.75K photos
3 videos
101 files
4.45K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Тем временем выяснилось что Apple использует проверку ключей разработчиков для отслеживания информации о том какие приложения есть на устройствах пользователей с помощью протокола ocsp [1] используемого для верификации сертификатов.
Может это и не отслеживание каждого запуска каждого приложения, но вполне себе слежка за тем что они установлены и используются.

А также, это важно отметить, поскольку все запросы в протоколе ocsp выполняются через http, то это отслеживание может осуществлять не только Apple, но и Ваш домашний провайдер, Ваш работодатель и Ваш дружелюбный сосед человек-паук хакер из соседнего подъезда прослушивающий Вашу сеть.

Если сервис отслеживания ещё не появился в системах мониторинга трафика, то почти наверняка скоро появится.

Ссылки:
[1] https://blog.jacopo.io/en/post/apple-ocsp/

#privacy #security #apple
Свежее исследование Gartner "Debunking Myths and Misconceptions About Artificial Intelligence, 2021" доступно для скачивания у них на сайте [1] и на ресурсах их партнеров и игроков рынка AI, вроде DataIku [2]


Ссылки:
[1] https://www.gartner.com/en/doc/724462-debunking-myths-and-misconceptions-about-artificial-intelligence-2021
[2] https://content.dataiku.com/gartner-debunking-ai-myths/gartner-debunking-myths-about-ai-2021

#ai #gartner
Нынешнюю деятельность Минцифры России я критикую меньше чем других органов или их же деятельность в предыдущем составе. Это не значит что там всё хорошо, просто:
a) Не доходят у меня руки.
б) Во многих других органах власти ситуация значительно хуже.

Пока приведу несколько примеров в моей области, того что они могли бы исправить быстро и что относится скорее к общей организации работ:
1. Реестр аккредитованных организаций в сфере ИТ ведётся как-то уж очень неаккуратно. Открытые данные не публиковались с 2016 года [1]. По хорошему надо бы обновить
2. Тот же реестр публикуемый на сайте Минцифры содержит не менее 119 некорректных реквизитов организаций [2], кодов ОГРН и ИНН. В код ИНН ещё и вписывается предыдущий код ИНН в случаях если одна организация наследует у другой. Что это означает? Это означает что любая аналитика по ИТ рынку на основе этого реестра имеет минимальную погрешность окого 1% (119 записей из 12 тысяч записей всего) и реальную погрешность пока трудно оценить потому что вес разных ИТ компаний в рынке разный.
3. Реестр отечественного ПО в принципе не публикуется ни как открытые данные, ни как Excel файл, а доступен только в форме веб-сайта с поиском и просмотром [3]
4. В реестр удостоверяющих центров [4] включены юридические лица прекратившие своё существование ещё в 2018 году и ранее. Некоторые были закрыты относительно недавно в 2020 году. Например это такие организации как: ООО "КРИПТОАНАЛИТИКА", ООО "ГСЦ", ООО Компания "Эксклюзивные решения" и другие. Весь список не привожу только из лени, проверять каждую организацию долго, но автоматизировать можно. Что важно - у всех из них на сайте корневого УЦ указано что их лицензии действующие.

В целом ничего из этого чем-то критичным не является. Но качество данных складывается из их доступности, своевременности, открытости, пригодности к машинной обработки и доверительности. А доверительность складывается из регулярных проверок данных на полноту и точность.

Ссылки:
[1] https://digital.gov.ru/opendata/7710474375-registergosaccred/
[2] https://digital.gov.ru/ru/activity/govservices/1/
[3] https://reestr.digital.gov.ru/
[4] https://e-trust.gosuslugi.ru

#data #digital
Я ранее писал про бюджетно-простой инструмент визуализации связей между людьми/организациями и просил присылать мне ссылки. Много ссылок было полезных, а вот все забыли или быть может не вспомнили про Oligrapher [1] (да и я сам про него вспомнил только сегодня и неожиданно). Это инструмент на Javascript по построению графов влияния, так называемый influence mapping. Сделала его команда проекта LittleSis [2], большой открытой базы власть имущих и окружающих их членов семьи, соратников, лоббистов и других участников государственной деятельности.

Проект, создан в США, а пользуются им многие общественные группы для вылавливания разного рода связей между лоббистами и решениями государственных органов.

Не хочу гадать возможен ли в нашей стране такой проект, но не могу не отметить что многое из его кода доступно в том числе как раз этот инструмент Oligrapher [3]

Ссылки:
[1] https://littlesis.org/oligrapher
[2] https://littlesis.org
[3] https://github.com/public-accountability/oligrapher

#visual #lobbists
Мне честно говоря хотелось сегодня дописать очередное письмо в рассылку с долгими рассуждениями на тему качества данных, но поскольку самая злободневная тема сейчас - это реформа госуправления анонсированная председателем Правительства, то я поддамся хайпу и немного опишу как я это всё вижу практически со стороны (я давно стою в одном шаге от госслужбы, но всё ещё не там).

Для разнообразия, писать буду простым русским языком:
1. Не открою большого секрета что из всех статей расходов органов власти самые исполняемые (осваемые) расходы - это фонд оплаты труда. Тут нет срыва контракта, недоведения субсидии и так далее. Даже средства выделенные под вакантные должности до конца года могут быть распределены. Поэтому сокращение вакансий - это, конечно, сокращение премиального фонда, но реально органы власти "зашевелились" бы только в случае прямого директивного сокращения ФОТ. Предусматривается ли сокращение ФОТ вот в чём вопрос?
2. История про сокращение численности ОИВ не нова. За последние лет 15 органы власти более чем эффективно переводили своих сотрудников в бюджетные, автономные и казённые учреждения, а также унитарные предприятия и делали они это именно под таким давлением с требованиями сокращения штата. На что это повлияло? Только на рост числа таких учреждений, торможение приватизации ФГУПов (ну, там много причин).
3. Со временем Минфин стал указывать на то что такая практика есть и что "мы всё видим, не жухлюйте" ну и в принципе госучреждения - это, конечно, полегче чем госслужба, но многих работников творческих профессий и в них не упихнёшь да и 44-ФЗ и 223-ФЗ тоже радости не доставляют. Поэтому пошла мода на массовое создание подведомственных НКО (АНО и Фондов).
4. Подведомственные НКО не надо путать с термином GONGO (Government Oriented NGO). GONGO называют организации НКО зависящие от господдержки и проводящие госполитику из-за этой зависимости. А подведомственные НКО - это когда, например, Правительство РФ переводит Аналитический центр при нём же в статус АНО или как ДИТ Москвы учреждает АНО по Цифровой трансформации. Я писал об этом большую колонку в РБК [1]
5. АНО и Фонды не единственные, но наиболее популярные формы замещения госслужбы с сохранением значительной части административного ресурса и возможности выплаты условно любого размера денежного вознаграждения.
6. К чему приведет текущая реформа сокращения госаппарата? К росту ФОТ в подведомственных госучреждениях и появлению десятка новых НКО созданных органами власти.

А теперь вопрос: Что с этим делать?

Если исходить из текущей парадигмы реформы госаппарата про сокращение денег, то:
1. Приравнивание сотрудников госНКО к госучреждениям.
2. Единый реестр госслужащих и сотрудников бюджетных учреждений (включая сотрудников госНКО).
3. Мониторинг фактического изменения оргструктуры и коллективов (и нормальный учёт вакансий).

Но, скажу честно, важнее знать причины роста госаппарата. И тут мы возвращаемся к росту нормативно-правовой базы. Новые законы, Постановления Правительства и Указы Президента формируют органам власти новые полномочия и очень редко убирают старые. Новые государственные информационные системы - это не ИИ заменяющий оператора, а это новые сотрудники, новые бюджетные расходы и ещё много чего.

Потому что, да простят меня многоуважаемые коллеги, девиз госслужбы и по сей день во многих странах мира - это "не подпалить задницу и расширить штат".

Что могло бы быть настоящей хардкорной реформой?
1. Упразднение территориальных управлений ФОИВов. Частично возврат полномочий субъектам федерации, в остальном перевод взаимодействия онлайн везде где это возможно.
2. Создание в России аналога американского General Services Administration (GSA), это Министерство государственного управления РФ. Передать ему _все без исключения_ хозяйственные службы ФОИВов, перевести туда весь административный персонал. И через него осуществлять закрытие вакансий.

Ссылки:
[1] https://www.rbc.ru/opinions/politics/13/03/2020/5e69e70a9a7947737fc79cf3

#reflection #thoughts
В International Budget Partnership (IBP). выпустили первое исследование о высших органах аудита (supreme audit institutions) о том как устроена их работа [1], также это исследование можно прочесть в кратком изложении [2]

Отчет состоит из анализа шести компонент:
1. Институциональная рамка
2. Публичный внешний отчет от Органа высшего аудита
3. Парламентский надзор
4. Реакция исполнительной власти
5. Независимые последующие шаги
6. Общественное участие

Про Россию отдельно там ничего нет, оценок по странам тоже, есть только сводные графики по группам стран по блокам EUROSAI, ASOSAI и тд.

Эта работа совместная IBP и INTOSAI Development Initiative [3]

В отчёте также много рекомендаций по открытости органов высшего аудита, о них я напишу отдельно.

Например, рекомендации для органов высшего аудита в краткосрочном периоде относятся к публикации всех отчетов, обязательного публичной проверки исполнялись ли рекомендации, коммуникации с организациями гражданского общества при подготовке планов проверок и оценка собственной независимости в соответствии с лучшими мировыми практиками.

И многое другое.

На них же можно смотреть и для построения внутристрановой оценки открытости органов парламентского аудита по субъектам федерации в России.

Ссылки:
[1] https://www.internationalbudget.org/publications/all-hands-on-deck-harnessing-accountability-through-external-public-audits/
[2] https://www.internationalbudget.org/oversight-systems-exec-summary/
[3] https://www.idi.no/

#open #sai #accountingchamber
Аналогичное нужно и по локальным рынкам, вроде российского. Сколько собирает Яндекс, сколько Аэрофлот и тд
Forwarded from Инфографика
Какие компании собирают больше всего персональных данных.
Исторические документы о деятельности гос-ва моя слабость. То что Минфин их публикует - это великолепная новость. Ещё бы Росстат публиковал архивные стат сборники
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Более 1000 документов доступны в Цифровом архиве Минфина России.

В начале ноября заметила [1], что в разделе "Исторический бюджет" на сайте Минфина России перестали отображаться исторические документы.

Пишу апдейт: Данные снова стали доступными на следующий день после публикации поста и отправленного в Минфин запроса. Но это еще не все. Из ответа на запрос (полученного, кстати, через две недели, а не через месяц как раньше), узнала о существовании нового и хорошо спрятанного раздела "Исторические документы", в котором можно познакомиться с содержанием 1186 оригинальных исторических документов на русском и иностранном языках, изданных в период с 1667 по 1917 годы [2].

В этом разделе можно, например, найти:

- Роспись расходов на 1866-1917 годы, в т.ч. с объяснительными записками Министра финансов;
- Государственные бюджеты СССР и Роспись общегосударственных расходов РСФСР;
- Историю всемирной торговли 1876 года;
- Основные элементы политической экономики 1902 года;
- Справочный коммерческий словарь, собранный и изданный Иваном Вавиловым;
- О прошлом и настоящем русской администрации 1913 года;
- и многое другое.

Пока архив представлен в виде сканов документов хорошего качества, но, надеюсь, Минфин России на этом не остановится и данные о бюджетах, расходах и доходах переведет в машиночитаемый вид. Минфин России, если вам нужна в этом помощь - пишите, подумаем, чем можем помочь в рамках проекта "Госзатраты" ^_^

[1] https://publielectoral.lat/ahminfin/292
[2] https://minfin.gov.ru/ru/ministry/museum/historylib/
Подготовил очередное письмо в рассылку "#8. Качество данных и всё что с ним связано" [1]

Среди многочисленных тем связанных с данными одна является одной из наиболее актуальных и значимых и тем сложнее к ней подступаться чтобы хотя бы начать. Это тема качества данных (data quality). Эта тема очень большая, входящая в тему управления данными (data governance) и охватить её разом не получится, поэтому я сейчас скорее “пробегусь по верхам“, а далее уже в отдельных рассуждениях в следующих письмах буду писать про отдельные её области.

Ссылки:
[1] https://begtin.substack.com/p/8-

#dataquality #data
Наконец-то можно анонсировать. Аналитический доклад "Работа с открытыми данными: особенности публикации и использования в российском правовом поле" [1] он завершён и доступен. Читайте, распространяйте, задавайте вопросы и предлагайте примеры.

Ссылки:
[1] https://opendatareview.infoculture.ru/

#opendata #infoculture
Forwarded from Ах, этот Минфин (Olya Parkhimovich)
Ровно год назад, 18 ноября, мы запустили в Счетной палате проект «Госрасходы»!

Сложно было представить, что в мае 2019 года, через год после упразднения Открытого Правительства (полномочия которого, как мы все знаем, до сих пор никому не переданы), будет запущена разработка нового государственного проекта по открытым данным. Ещё и на домене spending.gov.ru, к которому мы, честно говоря, давно присматривались.

Мы более пяти лет работаем с открытыми данными, но опыт создания «Госрасходов» все равно нас многому научил:

1. Оказалось, что делать проект внутри госоргана - не так уж и страшно. Нам удалось с этим морально смириться на старте, и мы очень довольны тем, как все идёт. Правда, в этом и большая заслуга модернизирующейся Счетной Палаты - не уверена, что такое же впечатление было бы в другой госорганизации.

2. Мы всего за год смогли адаптироваться к рискам, связанным с использованием открытых государственных данных в госпроекте. Мы не аггрегируем данные о поставщиках (их качество недостаточно для использования в госпроекте), ловили некорректные обновления дампов данных и научились быстро откатываться к предыдущим версиям (например, один из дампов реестра субсидий пришёл без информации о ГРБС, получателях и финансировании и «обнулил» половину страниц на сайте проекта), столкнулись с тем, что в один день нам пришлось закрыть треть сайта из-за приостановки публикации данных на сайте Электронного бюджета.

3. Наша команда аналитиков и разработчиков научилась быстро и качественно составлять методики для расчётов всевозможных индикаторов и рейтингов, учитывающих не только сложную область госфинансов, но и особенности и качество данных (мы до сих пор открываем в них что-то новое).

4. Мы поработали с совершенно новыми данными о нацпроектах и теоретически готовы к тому, что в ближайшие месяцы нам придётся все переделывать из-за их перезапуска. Мы добрались до данных о госпрограммах (не буду ничего спойлерить) и приступаем к долгожданной обработке данных о бюджете.

6. У нас появились новые внешние партнеры, специализирующиеся на фирменном стиле проекта, интерактивной инфографике и SEO (готовы поделиться контактами, если вам нужны специалисты в этих отраслях).

7. Нас научили поисковой оптимизации и мы теперь радостно наблюдаем растущие графики из метрики и вебмастера. Кстати, на этой неделе нам удалось восстановить те позиции, которые у нас были до трехнедельного отключения субсидий на сайте проекта, и продолжить рост.

8. Не могу не отметить, что у нас отличная, развивающаяся и увеличивающаяся команда проекта (и мы, по-прежнему, будем рады новым аналитикам и разработчикам).

До конца года мы еще опубликуем новый функционал и аналитические материалы, и задумки по проекту на следующий год уже сформированы.

Отдельно хочу отметить, что мы сейчас находимся на той стадии развития открытых данных, когда уже не «ура, что-то открыли», а «спасибо, что еще не закрыли», но даже в этой ситуации у нас, как мне кажется, не так плохо получается развивать проект.

Спасибо команде нашего проекта и отдельно спасибо коллегам из Счетной Палаты!
Для тех кто ещё не устал читать доклады и аналитику, на сайте Счетной палаты опубликована экспертная записка про ИТ расходы государства [1] [2] где Альбертом Бертяковым очень подробно разобрано то как государство тратит деньги на ИТ и как оно учитывает потом эти траты. Заодно это будет полезно почитать всем тем кто ранее на портале Госрасходы [3] читал про рейтинг ИТ расходов органов власти [4]

Хотите знать о госИТ больше? Не проходите мимо.

Ссылки:
[1] https://ach.gov.ru/news/eksperty-sp-itbyudzhety-rastut-bystree-obshchikh-raskhodov-organov-vlasti
[2] https://ach.gov.ru/upload/pdf/Zapiska_IT_budgets.pdf
[3] https://spending.gov.ru
[4] https://spending.gov.ru/analytics/ratings/it/

#data #spending #it
Слишком часто меня в последнее время просят комментировать инициативы Минцифры. То же ожидаемое приложение "Стопкоронавирус - Контакты" [1]. А мне и прокомментировать, на самом деле, нечего комментировать пока оно не появится, а когда появится то желающих его разобрать по кусочкам и написать про то какое оно плохое или хорошее будет много.

Пока тезисами:
1. Существует список официальных приложений сделанных органами власти в разных странах на базе API уведомлений от Google и Apple [2]. Приложения появляются буквально каждую неделю их уже десятки
2. Из всех механизмов слежки и уведомлений - этот, пока, наиболее приватный.
3. Всё зависит от того как Минцифры сделают своё приложение, но им в любом случае надо провести его через ревью Google и Apple, то есть больше шансов на приватность.
4. Есть подробности о том как API будет работать [3], многое будет зависеть от пользователя который будет давать разрешение приложениям на доступ к информации.

Что вызывает куда большую тревогу у меня лично - это то с какой скоростью ДИТ Москвы (в лице ГКУ Информационный город) плодит мобильные приложения. Их уже 18 штук только в Google Play [4].

И там всё такое вкусное:
- Электронный дом Москва [5] для жителей многоквартирных домов
- Учет посещаемости [6] для выполнения учета посещаемости участников занятий, проводимых в рамках программы Московское Долголетие

и ещё много всего другого. Стоит посмотреть внимательнее.

Так что берегите себя и близких и не забывайте следить за правительством Москвы, потому что оно об этом никогда не забудет.

Ссылки:
[1] https://www.kommersant.ru/doc/4575726
[2] https://www.xda-developers.com/google-apple-covid-19-contact-tracing-exposure-notifications-api-app-list-countries/
[3] https://www.xda-developers.com/google-apple-contact-tracing-coronavirus/
[4] https://play.google.com/store/apps/developer?id=%D0%98%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9+%D0%B3%D0%BE%D1%80%D0%BE%D0%B4+%D0%93%D0%9A%D0%A3
[5] https://play.google.com/store/apps/details?id=ru.mos.ed
[6] https://play.google.com/store/apps/details?id=com.dit.mosdollet

#apps #privacy #covid19 #security
Какой, оказывается, законопроект по привязке IMEI телефона к ЕСИА запланировали депутаты [1].

Идеи благие, но, к сожалению, в России, от права до обязанности - один шаг. Тревожно, впрочем как обычно.

Ссылки:
[1] https://sozd.duma.gov.ru/bill/1058353-7

#privacy
Для тех кто работает с открытыми данными и хочет оценить рынок, масштаб и особенности открытых данных, я собрал подборку исследований и публикаций, а также примеров.

Международные публикации
- Open Data Goldbook for Data Managers and Data Holders [1] "золотая книга" по открытым данным подготовленная Capgemini Consulting для Еврокомиссии.
- Open Data Impact Case Studies [2] коллекция примеров успешного применения открытых данных в общественных, государственных и коммерческих проектах.
- Open Data Global Impact [3] доклад The GovLab о глобальном эффекте открытости данных
- Open Data Barometer, отчёты за 2013 год [4], 2014 год [5], 2015 год [6], 2016 год [7] и 2017 год [8] в подробностях оценки и сравнение стран
- The State of Open Data 2019 [9] об открытых данных с точки зрения цифровой науки
- Open Data: The Researcher Perspective [10] доклад Elsevier с перспективами открытых данных в научном применении. 2017 год
- Open Government Data Report [11] доклад ОЭСР за 2018 год об открытых данных государств входящих в ОЭСР
- Open Data Maturity Report 2019 [12] доклад Евросоюза о зрелости открытых данных
- Open data: Unlocking innovation and performance with liquid information [13] доклад McKinsey Global Institute с оценкой что открытые данные создают экономику в 3 триллиона долларов.
- Open data. Driving growth, ingenuity and innovation [14] публикация Deloitte 2012 года

Российские материалы:
- Открытые данные. Годовой отчет, 2015 год [15] доклад АНО Инфокультура 2015 года об открытых данных
- Экспертный доклад. Открытость государства в России за 2019 [16] и 2020 [17] годы от Счетной палаты РФ
- Оценка открытости государственных информационных систем в России Аналитический доклад [18] от Счетной палаты РФ
- Open Data Review. Работа с открытыми данными: особенности публикации и использования в российском правовом поле [19] свежий доклад АНО Информационная культура совместно с Центром цифровых прав

Российские материалы (ретроспективно):
- Доклад о реализации концепции открытых данных, 2013 год НИУ ВШЭ и Инфокультура [20]
Ссылки:
[1] https://www.europeandataportal.eu/sites/default/files/european_data_portal_-_open_data_goldbook.pdf
[2] http://odimpact.org/
[3] http://odimpact.org/key-findings.html
[4] http://opendatabarometer.org/doc/1stEdition/Open-Data-Barometer-2013-Global-Report.pdf
[5] https://opendatabarometer.org/assets/downloads/Open%20Data%20Barometer%20-%20Global%20Report%20-%202nd%20Edition%20-%20PRINT.pdf
[6] https://opendatabarometer.org/doc/3rdEdition/ODB-3rdEdition-GlobalReport.pdf
[7] https://opendatabarometer.org/doc/4thEdition/ODB-4thEdition-GlobalReport.pdf
[8] https://opendatabarometer.org/doc/leadersEdition/ODB-leadersEdition-Report.pdf
[9] https://digitalscience.figshare.com/articles/The_State_of_Open_Data_Report_2019/9980783
[10] https://www.elsevier.com/__data/assets/pdf_file/0004/281920/Open-data-report.pdf
[11] https://read.oecd.org/10.1787/9789264305847-en?format=pdf
[12] https://www.europeandataportal.eu/sites/default/files/open_data_maturity_report_2019.pdf
[13] https://www.mckinsey.com/business-functions/mckinsey-digital/our-insights/open-data-unlocking-innovation-and-performance-with-liquid-information
[14] https://www2.deloitte.com/content/dam/Deloitte/uk/Documents/deloitte-analytics/open-data-driving-growth-ingenuity-and-innovation.pdf
[15] http://datango.infoculture.ru/dataset/309b3ad7-e530-4de4-927a-6a8cfac25114/resource/9ea74080-9fa0-4218-9c31-16e3f1199e30/download/annual_report_2015.pdf
[16] https://www.infoculture.ru/wp-content/uploads/2019/06/Otkrytost-doklad.pdf
[17] https://ach.gov.ru/upload/pdf/Otkrytost-2020.pdf
[18] https://ach.gov.ru/upload/pdf/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0%20%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D0%BE%D1%81%D1%82%D0%B8%20%D0%B3%D0%BE%D1%81%D1%83%D0%B4%D0%B0%D1%80%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%8B%D1%85%20%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D1%8B%D1%85%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%20%D0%B2%20%D0%A0%D0%BE%D1%81%D1%81%D0%B8%D0%B8.pdf
[19] https://opendatareview.infoculture.ru/
[20] http://gos.hse.ru/downloads/2013/DokladOPENDATA2013.pdf

#opendata #reports #review
28 ноября на ОГФ большая совместная площадка с Роскомсвободой. Не проходите мимо, будем говорить про открытость и приватность и всё с этим связанное