В продолжение прошлой публикации я таки закончил форму заявки на архивацию сайтов - ее можно заполнить по ссылке https://docs.google.com/forms/d/e/1FAIpQLSesJ-9BQieL9k6s7WeVX6dQgAwcpo81-gfDS8I7VZzNZkhHbw/viewform

Специально для тех кто регулярно сталкивается с тем что информация может исчезнуть и не факт что останется в Интернет-архиве. Сейчас это обобщенная заявка, без наполнения конкретных коллекций, в первую очередь хочется понять кому нужна архивация сайтов и кто готов участвовать в этой работе хотя бы давая ссылки на ресурсы которые могут быть потеряны.

#opendata #governmentarchives #archives

С 2016 года США потеряли статус "full democracy" (полной демократии) и получили статус "flawed democracy" (демократия с искажениями). В индексе демократий мира от The Economist Intelligence Unit отдельно темой проходит "Brexit, Trump and the 2016 revolt against the elites".

Бунт против элит как бунт против демократии - это не новое явление. Много лет уже идут разговоры о том что классическая демократия в эпоху масс-медиа перестала быть универсальным способом управления государством. Но, как и много веков назад, объективно и тщательно проработанных альтернатив нет и по сей день.

Доклад полностью доступен на сайте EIU [1] и, конечно, охватывает гораздо больше вопросов чем избрание Трампа президентом.

Ссылки:
[1] http://pages.eiu.com/Jan-2017-Democracy-Index_reg.html

#opendata #opengovernment

На ОТР (Общественное телевидение) в передаче отражение вчера я выступал примерно полчаса про госзакупки и их прозрачность. Подробнее можно прочитать и увидеть тут [1]

Не удивляйтесь только опечатке в моей фамилии. Обещают исправить.

Ссылки:
[1] https://otr-online.ru/programmi/segodnya-v-rossii-27580/goszakupki-pitayutsya-vivesti-64679.html

#opendata #opengov #procurement

Страхи того что администрация Дональда Трампа может закрыть многие данные оказались небезосновательны.
Его администрация потребовала от агентства по защите окружающей среды в США публиковать данные только после их анализа политическими сотрудниками администрации. Об этом пишет The Guardian в статье "Trump administration: EPA studies, data must undergo political review before release" [1]

В другой статье The Guardian упоминается что сотрудникам EPA запретили публиковать данные и пользоваться социальными сетями [2]

В CNN пишут о том что администрация Трампа запретила отправлять твиты национально
й парковой службе [3] и похожая история происходит в Департамента транспорта [4].

А в HuffingtonPost вышла заметка о том что всех федеральных служащих обязали приостановить активность в соц сетях [5].

Сейчас рано говорить, какие шаги Дональда Трампа пойдут на благо США, какие приведут к усилению внутреннего протеста в госаппарате, но точно видны шаги идущие против долгосрочного тренда на открытость власти.

Ссылки:
[1] https://www.theguardian.com/environment/2017/jan/25/donald-trump-epa-gag-order-political-review
[2] https://www.theguardian.com/us-news/2017/jan/24/epa-department-agriculture-social-media-gag-order-trump
[3] http://edition.cnn.com/2017/01/21/politics/trump-national-park-service-tweets/index.html
[4] http://www.politico.com/story/2017/01/transportation-department-social-media-on-hold-234044
[5] http://www.huffingtonpost.com/entry/trump-communication-freeze_us_58878b3ae4b0441a8f7114e

#opendata #opengov #EPA #trump

National Consortium for the Study of Terrorism and Responses to Terrorism (коротко - START) опубликовали на Kaggle базу 150 000 террористических атаках за 49 лет [1]. В общей сложности - это 27 мегабайт ZIP файл. Опубликовали относительно недавно, в июле 2016 года, а на днях вышла заметка [2] Erin Miller с подробностями о том как работать с этими данными.

Обратите внимание на системный подход при формировании этой базы. На ее сайте [3] размещена полная методология сбора и со множеством пояснений [4], разработан образовательный курс [5] и доступны множество публикаций [6] команды работающей с этими данными.

Ссылки:
[1] https://www.kaggle.com/START-UMD/gtd
[2] http://blog.kaggle.com/2017/01/26/open-data-spotlight-the-global-terrorism-database/
[3] http://www.start.umd.edu/gtd/
[4] http://www.start.umd.edu/gtd/downloads/Codebook.pdf
[5] http://www.start.umd.edu/education/using-global-terrorism-database
[6] http://www.start.umd.edu/publications

#opendata #opengov #datasets

Прокуратура Казахстана переходит в цифровой формат [1] - это новость телеканала Мир с выступлением Генпрокурора Казахстана, который, кстати, упоминает и предсказание преступлений, и big data, и многие другие инновации в правоохранительной сфере.

О том же на первом канале Казахстана [2] и о том же в выступлении Ергали Мабиева, Заместителя председателя Комитета правовой статистики ГП РК [3] гораздо подробнее.

Еще раньше ГП РК представила систему "Зандылык" в виде информационно-аналитической системы надзора за уголовными делами и не только.

От себя я могу добавить что Казахстан с их сервисом правовой статистики [4] уже сейчас предоставляет цифровых услуг и данных больше чем многие другие страны мира.

Например, в Казахстане есть публичные карты преступности [5] с детализацией до каждого преступления и до каждого дома.

Если бы мы проводили наши хакатоны в рамках проекта "Открытая полиция" там, то у нас бы точно были данные. Но пока получается что данные у нас появятся только когда Генпрокуратура в России будет публиковать аналогичную информацию на российском портале Crimestat.ru [6].

Четыре месяца назад я писал об этом портале и всей российской ситуации в статье в Форбс "Почему в России недоступна информация о преступлениях" [7].

Приятно наблюдать что открытость в Казахстане активно развивается и очень хочется, вот действительно очень, чтобы прогресс был бы и в России.

Ссылки:
[1] http://mir24.tv/news/society/15640947
[2] https://1tv.kz/?p=16935
[3] http://24.kz/ru/tv-projects/intervyu/item/158784-intervyu-ergali-mabiev
[4] http://service.pravstat.kz/portal/page/portal/POPageGroup/MainMenu
[5] http://infopublic.pravstat.kz/crime/
[6] http://crimestat.ru
[7] http://www.forbes.ru/mneniya/siloviki/327227-pochemu-v-rossii-nedostupna-informatsiya-o-prestupleniyakh

#opendata #opengov #crimestat

Мои предсказания на 2017 год
В России:
- Начнут блокировать все мессенжеры без полной идентификации пользователя
- Запретят и начнут блокировать Tor
- Государство попытается залезть в конечные устройства потребителей - государство озаботится мобильным приложением для госуслуг и будет навязывать его для "базовой" конфигурации всех продаваемых в России устройств на базе Androin и IOS
- некоторые министерства и другие федеральные органы перестанут существовать. Я ставлю на исчезновение 2-х ФОИВов до конца года.

В США:
- США выйдут из Open Government Partnership и свернут финансирование значительной части международных инициатив и проектов не несущих экономического смысла
- Устроят импичмент Дональду Трампу до конца года или хотя бы очень попытаются. Тут будет все - митинги, петиции конгрессменам, попытки отозвать несогласных конгрессменов, а у сторонников разочарованный лозунг "Make Trump Great Again"

В мире:
- Блокчейн перестанет быть мантрой, произойдет 2-3 события которые приведут к большей сдержанности его сектантов
- Произойдет хотя бы один крупный теракт с применением бытовых дронов
- Бытовых дронов используют в преступных целях, помимо скрытой видео-фотосъемки. Они начнут фигурировать в уголовной хронике.
- Глобальная фрагментация Интернета продолжится и тренд здесь сохранится.
- Новости о том что искусственный интеллект лишает работы людей будут все чаще.
- Борьба за личный контроль за своими личными данными станет эпической. Обязательно дойдет до ООН и попыток принять международную декларацию
#futures

Давно хочу написать о проекте OpenFoodFacts [1] - это открытая база данных по продуктам питания собираемая через краудсорсинг. Ведется она французской НКО с аналогичным названием Open Food Facts [2], публикует все данные в форматах CSV, RDF, JSON API и дампы MongoDB [3] и включают в базу записи по 117581 продуктам по всему миру [4].

Глядя на этот проект я понимаю что, в каком-то смысле, его автор, Stéphane Gigandet, проделал большую работу над тем чтобы помочь тысячам людей любящим не просто еду, но хорошую еду. А в Вики проекта можно узнать подробности по тому как он организован, как работать с его данными и API [5]

Конечно же, открытый исходный код всего проекта и под проектов [6] позволяет использовать его API для Python, Ruby или любого другого языка, для многих из которых уже готовы библиотеки для легкого подключения.

По России в проекте собрано 1196 продуктов [7], но ничто не ограничивает нас с вами добавлять туда новые описания.

Сейчас авторы запустили еще один проект "Open Beauty Facts" [8] где собирают базу космететических товаров и их ингредиентов.

Все это - пример успешного краудсорсингового проекта по созданию баз данных силами тысяч добровольцев. Они много меньше чем Википедия или OpenStreetMap, но может стать сравнимым с ними по значимости.

Глядя именно на эти проекты я и утверждаю что открытые данные не связаны и не зависят от государства. Однако именно таких проектов нам в России и не хватает, тех которые создают данные, а не только потребляют. Те которые формируют сообщество и существуют вне зависимости от чьей-то политической воли или ее отсутствия.

Ссылки:
[1] https://www.openfoodfacts.org/
[2] https://ru.openfoodfacts.org/legal
[3] https://ru.openfoodfacts.org/data
[4] https://world.openfoodfacts.org/
[5] https://en.wiki.openfoodfacts.org/Main_Page
[6] https://github.com/openfoodfacts/
[7] https://ru.openfoodfacts.org/
[8] https://world.openbeautyfacts.org/

#opendata #crowdsourcing

Для всех кто интересуется тем как устроен государственный заказ изнутри вышла первая из серии заметок на портале Госвопрос про то как оно все "на самом деле" http://www.gosvopros.ru/job/professionalnye-navyki/goszakupki-1/

Название статьи, конечно, вызывающее, но пусть останется таким какое оно есть;) Открытость и прозрачность в этой области, действительно, внедрялись так чтобы нанести больше вреда чем пользы.

Это не последняя статья, будут и продолжения там же на ГосВопрос. Вопросы задавать можно мне на канале https://publielectoral.lat/begtinchat

#opendata #opengov #procurement

Новости дайджестом

Подразделение WPP "The Government & Public Sector Practice" выпустило доклад "The future of government communication". Доклад сжатый и больше ориентированный на продажу их услуг, но там есть интересные цифры из опыта анализа 40 стран и их практик коммуникаций с гражданами. Подробности тут http://wpp.com/govtpractice/leaders-report (требует регистрации)

Петиция о запрете государственного визита Дональда Трампа в Великобританию собрала 1 миллион 772 тысячи подписей (на 1 февраля). 20 февраля Парламент Великобритании будет ее рассматривать. Подробнее - https://petition.parliament.uk/petitions/171928/ Кстати, посмотрите на замечательные карты которые показывают сколько избирателей отдало голос за петицию http://petitionmap.unboxedconsulting.com/?petition=171928
А вот параллельно идущая петиция о том что, наоборот, Трампа надо приветствовать в Великобритании собрала всего 187 тысяч подписей - https://petition.parliament.uk/petitions/178844 и тоже будет рассматриваться 20 февраля парламентом.

В блоге UK Government Digital Services заметка о том как важно собирать и предоставлять данные опираясь на потребности потребителей, о пользе метаданных и об открытых реестрах. Подробнее https://gds.blog.gov.uk/2017/01/31/what-you-can-learn-from-making-data-user-centred/

Команда 18F пишет о том что делают новый проект с избирательной комиссией США по тому чтобы их данных были бы удобны. Напомню что 18F - это внутренний стартап в агентстве общего управления Правительства США. Подробнее о проекте - https://18f.gsa.gov/project/fec-gov/

#opendata #opengov #digitalgov

Напомню что в ближайшие субботу и воскресение в Москве пройдет хакатон по культурным данным организованным Министерством Культуры РФ, Факультетом медиа и коммуникаций НИУ ВШЭ, АНО Инфокультура, Social Data Hub и многими другими партнерами.

Подробнее о хакатоне - http://data.socialdatahub.com , регистрация на таймпаде - https://hakaton-kultura-v-sovreme.timepad.ru/event/435460/

Я лично буду на хакатоне рассказывать про открытые данные (как всегда), но в культурном плане. Тема "Тайны данных в лабиринтах культуры" специально нестандартная, чтобы у меня не было соблазна взять свою привычную презентацию. Буду рассказывать о том о чем раньше не рассказывал.

И я лично буду ментором на хакатоне.

#opendata #opengov

Для тех кто любит визуализировать данные и не хочет разбираться в очень сложных движках - еще один сервис Raw Graphs сильно облегчит жизнь - http://rawgraphs.io/

Умеет визуализировать таблицы и Excel файлами многими разными способами

Рекламировать его не жалко, потому как у него и код открыт и онлайн его можно опробовать.

#opendata #dataviz

Сразу две новости про госзакупки которыми я занимаюсь в основное время (да - открытые данные это форма общественной деятельности).

1. Для всех кто хочет лучше знать о том как устроены закупки рекомендую вторую заметку по теме в журнале "Госвопрос" http://www.gosvopros.ru/job/professionalnye-navyki/begtin-2/

2. Сегодняшнее утро я провел за модерацией круглого стола про госзакупки. Вот тут видео http://pressmia.ru/pressclub/20170202/951399847.html не могу сказать что модерация - это то что я люблю, болтать я люблю больше, но беседа была насыщенная


#opendata #goszakaz #procurement

One Angry Bird [1] - прекрасный проект по визуализации эмоций последних 10 инаугурационных речей президентов США. Группа исследователей из Periscopic [2] проанализировали видео выступления на инаугурации президентов и зафиксировали эмоции и аплодисменты.

Для распознавания эмоций использовали Microsoft Emotion API [3] и анализ вручную для апплодисментов.

На мой взгляд совершенно прекрасный проект. Политика - есть, контекст - есть, новые технологии - есть, сложные алгоритмы - есть.

Может быть когда-нибудь кто-нибудь додумается, например, использовать технологии распознавания лиц при анализе видео заседаний российского правительства - автоматически создавая базу того кто как сидит. Или, наконец-то, хоть кто-то создаст базы вокабуляров публичных персон выступающих регулярно.

Ссылки:
[1] http://emotions.periscopic.com/inauguration/
[2] http://periscopic.com/
[3] https://www.microsoft.com/cognitive-services/en-us/emotion-api

#opendata #hightech #recognition #emotions

Примеры визуализации данных опроса на сайте опроса учителей в школах штата Теннеси - http://educatorsurvey.tnk12.gov/

Довольно простая, но качественная визуализация, возможность просмотреть результаты опроса до каждой школы и экспорт данных.

А делалось это все той же командой Periscopic о которой я писал ранее.

#dataviz

Для тех кто задается вопросами о том как устроены госзакупки в России и кроме тех материалов на сайте Госвопрос которые Вы уже читали. Здесь будет множество ссылок на мои публикации разных лет.

В 2011 году в ЖЖ тезисами про устройство госзаказа - http://ivbeg.livejournal.com/438154.html

В 2011 году о проблемах гражданского контроля http://ivbeg.livejournal.com/351597.html

О том чем я занимался в 2011 году - http://ivbeg.livejournal.com/378570.html

Слепые закупки https://clearspending.ru/media/analytics/Open%20data%20as%20a%20tool%20for%20civil%20society%20and%20expert%20control%20in%20public%20procurement.pdf

Многие другие материалы уже просто недоступны. А про многие рассказывать долго и, кое-где, придется сбиваться на политику.

Но я то все очень хорошо помню как какие законы вносились и принимались. О очень хорошо помню как поправки в 94-ФЗ в 2009 году это был ФЗ N 93-ФЗ от 08.05.2009 для создания единого портала проходили без обсуждений, без ФЭО и спрятанными под проведение форума АТЭС.

Там вообще столько всякой пакости творилось что я на несколько лет перестал что-то серьезное делать в госзакупках потому что было элементарно противно.

Кстати, я тему открытых данных раскручивал в 2010-2012 годах пользуясь темой госзаказа.

Чувствую, мне надо книгу воспоминаний писать. "Государство как моя личная боль".

#goszakaz

Все больше и больше про госзакупки, на сей раз на Радио Медиаметрикс
http://radio.mediametrics.ru/vse_za_laiki/47557/

Тема стала все более актуальной и я ней возвращаюсь после очень долгого перерыва, но вот видимо давно уже пора.

#goszkaz