⚡️Statement of Roskomsvoboda:

Sanctions of foreign IT-companies against Russian users only help censorship

❗️ Access to the Internet and electronic means of communication is vital, because only this helps Russians to receive objective information and make the right decisions. The exclusion of Russians from the global Web deprives of reliable external information and in the long run will become an obstacle to the peaceful resolution of the humanitarian crisis.

Today, many technology companies located in the jurisdictions of the US, EU and other countries are carrying out mass shutdowns of Russian user accounts. This process involves domain registrars, software developers, gaming platforms, cryptocurrency exchanges, backbone providers, cloud and other digital services.

Such actions will not improve in the situation in Ukraine, but will significantly worsen the situation with respect for fundamental human rights in the Russian Federation.

➡️ https://roskomsvoboda.org/post/zayavlenie-protiv-otklyuchenia-rf-akkov

➡️ Roskomsvoboda’s statement is available here in Russian, English and French.

Для тех у кого нет возможности выкачать архив сайта Эха Москвы который мы ранее выкладывали, мы сейчас ведем выгрузку mp3 файлов отдельных передач радиостанции, они пока ещё доступны онлайн по прямым ссылкам.

Сейчас это 37277 ссылок из которых скачано 4167 файла и выгрузка продолжается.

Тем кто хочет успеть сохранить конкретные передачи, список всех выкладываем пока ещё активные ссылки.

В файле echomskru_mp3_urls.zip - все пока ещё работающие ссылки на mp3 файлы которые мы успели собрать с сайта радиостанции.

В файле echomskru_lists.zip - те же ссылки разбитые по названиям программ.

Ссылки ведут на CDN сервер Эха Москвы, он пока ещё доступен за пределами России, для выгрузки, Вам, возможно потребуется VPN подключение.

Списки можно загружать в любую программу поддерживающую выгрузку файлов списками, например Persepolis, бесплатная программы для выгрузки с открытым кодом [1].

Ссылки:
[1] https://persepolisdm.github.io/

#webarchives #archives #echomskru

Я постепенно буду возвращаться к регулярным публикациям в канале про то о чём писал раньше - данных, технологиях, государстве. Насколько возможно буду писать про открытость, хотя и места у неё теперь многократно меньше в "текущей политической ситуации".

Из общественной деятельности у меня не вызывает сомнений в востребованности и актуальности только цифровая архивация, о которой я буду писать больше здесь и в телеграм-канале @ruarxive. Цифровые архивы актуальны как никогда.

Гораздо сложнее будет рассказывать о зарубежных стартапах и коммерческих продуктах, поскольку я писал о них изучая рыночные ниши в Modern data stack, новом подходе к архитектуре приложений на данных, а сейчас, если делать дата-продукты в России то это совсем другая экосистема, другие продукты да и многое совсем другое.

Даже если делать сильный акцент на продуктах с открытым кодом - это, всё равно, совсем всё по другому.

#blogging #data

Как устроены общественные проекты по цифровой архивации в мире

В мире существует много инициатив по цифровой архивации, это могут быть целевые проекты по архивации данных и кода, библиотек сканов старинных книг и многое другое. Чаще всего такие проекты инициируются государством или являются проектами госархивов и национальных библиотек. Но есть множество проектов которые созданы волонтерами для решения срочных задач, вот некоторые из них.

Climate Mirror (http://climatemirror.org/)
Зеркало данных о изменении климата. Данные собирались сообществом после прихода к власти Трампа и анонса удаления данных с государственных сайтов в США.

DataRefuge (https://www.datarefuge.org/)
Проект по сбору данных о изменении климата и состоянию окружающей среды. Также возник после действий администраций Трампа, включает архивацию данных, каталог, хакатоны по сбору данных и многое другое

End of term web archive (http://eotarchive.cdlib.org/)

Проект The End of Term Web Archive создан в Калифорнийской цифровой библиотеке при Университете Калифорнии и включает слепки всех государственных сайтов США за каждый выборный цикл: 2008, 2013, 2017 годов.

SUCHO (https://sucho.org)
Свежий проект по архивации объектов цифрового культурного наследия Украины, создан участникам из нескольких университетов в США, работает как волонтерский проект.
—
А также, конечно, важный проект ArchiveTeam (https://archiveteam.org) сообщества архивистов-активистов срочно архивирующих сайты, в первую очередь, крупнейших закрываемых проектов, например, соцсетей или сервисов коротких ссылок. Это особенно большой проект, о нем ещё напишу отдельно.

Важно то что все эти проекты основаны на открытости результатов, архивы не закрыты, не спрятаны, не складированы в неизвестном месте, а доступны для выгрузки.

#ruarxive #archives #webarchives #digitalpreservation

Хорошая краткая заметка о том как использовать недокументированные API - How to use undocumented web APIs [1] в данном случае про то как это делается с помощью Chrome developer tools и curl. Довольно коротко и неплохо. Я довольно много писал ранее про недокументированные API государственных информационных систем, но и не только. Можно делать это разными способами, не только Chrome + curl, но и Firefox + httpie + Postman и многими другими инструментами. Важнее то что недокументированного API ну очень много.

Ben Stancil пишет про покупку сервиса Streamlit за 800 миллионов USD компанией Snowflake [2]. Одно из крупных поглощений на рынке данных. Особенность Streamlit в том что это сервис по созданию data apps (приложений на данных) и тут важно, конечно, помнить что Streamlit - это open source продукт и весьма успешный.

В блоге Bit.io заметка про доступ к их сервису через шаблон Jupyter Notebook [3] хорошая идея, надо бы аналогичное нам в Datacrafter. Jupyter Notebook всё таки стандарт де-факто для data science.

На сайте The Open Data Institute свежее исследование Measuring the impact of data institutions [4] о том как институты развития по помогают развитию рынков и сообществ данных. Неплохо подобранные кейсы, в основном из Великобритании.

P.S. Как я писал ранее, я постепенно буду возвращаться к регулярной ленте заметок и новостей по работе с данными. Невозможно забрасывать профессиональную деятельность даже несмотря на творящийся апокалипсис.

Ссылки:
[1] https://jvns.ca/blog/2022/03/10/how-to-use-undocumented-web-apis/
[2] https://benn.substack.com/p/the-data-app-store?s=r
[3] https://innerjoin.bit.io/automate-jupyter-notebooks-on-github-9d988ecf96a6
[4] https://theodi.org/article/measuring-the-impact-of-data-institutions-report/

#opendata #opensource #startups

A different way to "bundle" Data Platforms [1] заметка от Petr Janda о другом подходе к категоризации современного стека данных. К существующим категориям Ingestion, Storage, Transformation, Virtualization, он добавляет кросс-категории перекрывающие эти: Provisioning, Scheduling, Access Management, Logging, Alerting.
Классификация вполне полезная, покрывающая многие задачи решаемые этими инструментами и то какие возможности ожидаются от продуктов.

Команда продукта Atlan по каталогизации данных привлекла $50M инвестиций в его развитие. По многим критериям это один из наиболее интересных продуктов по data lineage, отслеживания происхождения данных и каталогизации данных и метаданных [2].

Canner, тайваньский продукт построения data mesh, получил $3.5M инвестиций [3]. Они обещают, по сути, единую платформу с интеграцией с десятком видов хранилищ данных и с инструментами для потребления данных. Странно что при этом инвестиции невелики, впрочем это серия A инвестиций. Плюс вся документация на китайском языке [4]. Общедоступного продукта у них нет, только по запросу. Но документация весьма подробна.

Ссылки:
[1] https://petrjanda.substack.com/p/data-platform-bundle
[2] https://humansofdata.atlan.com/2022/03/atlan-raises-series-b/
[3] https://cannerdata.com/product
[4] https://docs.cannerdata.com/

#data #startups #moderndatastack

Как обещал я время от времени буду писать про общественный проект который сейчас даже более остроактуален чем просто работа над открытыми данными

Новости проекта на начало недели

Начата архивация издания Бумага (paperpaper.ru) в связи с его блокировкой в России и возможной приостановкой деятельности в будущем, поскольку как минимум домен издания находится в зоне .ru и может быть разделегирован.

Идёт перенос медиа-архива записей на Эхе Москвы в облачное хранилище и дополнительных мест для его хранения. Это порядка 465GB файлов mp3 около 20тысяч записей передач. К сожалению сохранить удалось не всё.

Идет работа над обновлением сайта проекта и созданием интерфейса над последними созданными архивами. Вначале хотя бы в самом базовом виде, так чтобы можно было посмотреть архивные материалы по коллекциям и скачать файлы архивов.
Ранее собранные архивы можно посмотреть в таблице "Планы архивации" на Airtable.

—
Если Вы знаете сайты и иные цифровые ресурсы которые могут исчезнуть в ближайшее время, напишите в чате @ruarxhivechat или заполните форму.
Напомню что ключевые критерии сохранения сайта/цифрового ресурса в нашем архиве:
1) Цифровой ресурс представляет общественную ценность даже для небольшой группы людей
2) Цифровой ресурс имеет существенные риски исчезновения в ближайшее время, от дней до месяцев.

#ruarxive #news #archives

Я ранее писал неоднократно что с момента моего ухода из проектов Счетной палаты РФ я занимаюсь проектом Datacrafter (data.apicrafter.ru) - это крупнейший каталог данных с технологиями идентификации данных, обработки данных, их сбора, построения схем и ещё многое другое. А также проектом APICrafter через который мы предоставляем API к крупным базам данных таким как госконтракты, госзакупки, реестры юридических лиц и многое другое.

Изначально продукт создавался как сервисные API, постепенно мы его перестраивали в платформу для работы с данными.

Конечно, текущий гуманитарный апокалипсис ему также сильно повредил. Проект делался под привлечение инвестиций, а поиск инвестиций в проекты на данных в России теперь сильно усложнены. Но проект продолжается, в этом волноваться не стоит. Возможно он частично перейдет в открытый код.

А пока в ближайшее время мы переносим проект на другой хостинг, поэтому временно не будет работать обновление данных и в какие-то дни он может быть временно недоступен. Как только миграция на новый хостинг завершится, мы вернемся к регулярному обновлению данных и продолжим загрузку новых данных которых тоже много накопилось.

Больше новостей проекта в отдельном телеграм канале @apicrafter

#data #opendata #apicrafter

Прокуратура блокирует сайты быстрее чем я их архивирую (с)

А если серьёзно, то риски исчезновения цифрового контента в мире существовали всегда. Раньше главным "злодеем" была компания Yahoo, которые безжалостно закрывали огромные проекты вроде хостинга Geocites и многого другого. В чистом виде были корпоративные злодеи. Но они, как бы, распоряжались собственными проектами. И закрытие проектов цифровыми корпорациями раньше было основной причиной смерти контента, наряду с разделегированием доменов, сломанными дисками, взломом хакеров, смертью или недееспособностью создателей личных сайтов и многого другого.

Ещё очень часто сайты/контент исчезали при ликвидации организаций. Я помню как пару лет следил за тем как ЦБ ликвидирует банки. После анонса ликвидации сайта банка исчезал где-то через 2-4 часа. В 9:00 пройдет новость, а в 11:00 вместо сайта уже заглушка. Кто-то скажет что ну и что такого, но это просто пример. Эхо Москвы тоже пример одномоментного исчезновения огромного объёма контента.

А сейчас в рисках для российских медиа появилась блокировка Роскомнадзора - это риск исчезновения из сети, но есть нюансы. Издания у которых домены, адреса вне зон .ru, .рф, .su, нет рисков что их домены могут быть разделегированы. У изданий у которых нет юр лиц в России нет рисков что против этих юр. лиц могут применяться административные меры воздействия. В результате когда сейчас Роскомнадзор блокирует сайты в зоне .ru или сайты относящиеся к российским юр. лицам - риски исчезновения этих сайтов усиливаются.

Мне, как цифровому архивисту, это совершенно не нравится и, конечно, архивировать такие ресурсы надо по повышенному приоритету.

А ещё одна причина исчезновения цифрового контента сейчас - это невозможность владельцами оплачивать их хостинг в евро или долларах. Трудно пока предсказать сколько всего будет исчезать через 1-2 месяца по этой причине.

Если Вы знаете цифровые ресурсы под угрозой исчезновения и имеющие общественную ценность - пишите мне или в чат @ruarxivechat

#digitalpreservation #archives #webarchives

Правительство тут регулярно вводит те или иные меры экономической поддержки в России. Иногда читаешь и думаешь, вот люди, вот молодцы, вот заботятся наконец-то о нас простых предпринимателях, но, честно говоря, все этим меры совсем не кажутся чем-то реально помогающим.

Я не могу не перечислить то что делать надо и надо было ещё очень давно, вне зависимости от степени экономической катастрофы в России:
1. Резкое сокращение госаппарата
В 2-3 раза начиная с вице-премьеров, министров и их заместителей. Как минимум необходимо:
- сократить число вице премьеров до 2-х. Сейчас их 10
- сократить число ФОИВов в 2 раза. Сейчас их более 60, а достаточно будет 20-30
- сократить число заместителей министров до 2-х. Сейчас кое-где их 9 [1], а кое-где 7 [2]
и так далее.

2. Бессрочная отмена всех контрольных и надзорных мероприятий
Не на 1-2-3 года, а бессрочно отмена вместе с ликвидацией надзорных и контрольных органов. Какое-то время будут проблемы и много жалоб на нарушения, и там где их будет много там и восстанавливать госнадзор. С нуля и только там где это будет остро необходимо.

Не буду объяснять почему эти меры не будут приняты. И так всё понятно.

У меня ещё много разных идей с тем что можно сделать чтобы выправить текущую ситуацию, но большая их часть ограничена свежими и несвежими федеральными законами о-том-о-чём-нельзя-говорить.

Ссылки:
[1] http://government.ru/gov/persons/#vice-premiers
[2] https://minfin.gov.ru/ru/ministry/
[3] https://minstroyrf.gov.ru/about/structure/

#economy #sanctions

Анонсировано закрытие сервиса coub.com с 1 апреля 2022 года [1]. Coub это развлекательный сервис, из зацикленных отрывков видео с наложенными на них музыкальными дорожками. С одной стороны это развлекательный контент, а с другой стороны.

Для Coub существует несколько инструментов выгрузки контента, один из самых продвинутых - это CoubDownloader [2], а также есть какое-то количество других на Github.

Мы сейчас запустили архивацию наиболее популярных Coub'ов, из категории "Hot", постараемся сохранить и другие по возможности, но в первую очередь оцениваем ожидаемые объёмы требующие сохранения. Также пока до конца неясен масштаб общественной ценности этого контента, в ближайшее время делать такую оценку.

Если у Вас есть списки Coub'ов имеющих общественную ценность, присылайте их в чат к каналу https://publielectoral.lat/ruarxivechat.

А также если Вы планируете сохранить какие-либо coub'ы по категориям самостоятельно, пожалуйста, поделитесь итоговыми результатами.

Ссылки:
[1] https://coub.com
[2] https://github.com/HelpSeeker/CoubDownloader

#archives #videoarchive #coub #webarchive

Важное и про данные и про необходимость заменять коммерческие продукты по работе с данными на их аналоги с открытым кодом в заметке The Rise of Open Source Challengers [1]. Акцент именно на продукты на данных и том как открытый код заменяет коммерческие продукты в принципе. Такой тренд действительно есть.

Оказывается Runa Capital ещё пару месяцев назад подготовили подробный список инструментов замены коммерческих корпоративных продуктов на open source [2]. Список полезный тем кто меняет корпоративный стек технологий прямо сейчас и в срочном порядке.

Обзор DagsHub [3] аналога Github для ML/AI, Data Science. Пока на самом раннем старте, но сделан максимально Github-like. По ощущениям может иметь перспективу в будущем как Github для данных тоже. Основан на Git и на DVC (система контроля версия для данных) [4] Применение в России весьма туманно, оплата там только в USD по картам, но это сейчас будет касаться всех стартапов без исключения.

Краткий и полезный обзор о том как собирать данные Data Collection is Hard. You Should Try It. [5] с рефлексией автора о том как правильно сбор данных организовывать. В ответ на другую заметку другого автора о проблемах сбора данных [6]

Ссылки:
[1] https://rajko-rad.medium.com/the-rise-of-open-source-challengers-4a3d93932425
[2] https://github.com/RunaCapital/awesome-oss-alternatives
[3] https://towardsdatascience.com/dagshub-a-github-supplement-for-data-scientists-and-ml-engineers-9ecaf49cc505
[4] https://dagshub.com/
[5] https://www.georgeho.org/data-collection-is-hard/
[6] https://counting.substack.com/p/go-collect-some-and-data?s=r

#startups #data #opensource

Мне как и многим задают вопросы о том что да как, я не могу отвечать за других, отвечу за себя, чуть разбавив личным профессиональное:
1. Я не планирую в ближайшее время уезжать из России, а если и буду, то только по медицинским показаниям в климатическую зону где нет берёз на которые у меня устойчивая аллергия, но не слишком жарко. Планы у меня такие были давно, но скорее про то чтобы жить там какую-то часть времени в некоторые сезоны. Кроме того в моих предках есть амшенские армяне и Турция и Армения для меня две давние прародины, наряду с Россией, конечно.

2. Архивация деятельность не только личная, но и профессиональная. Иногда я Чувствую себя весьма странно, так как архивирую то что воо\бще никак не вяжется с моими интересами/воззрениями, но то что несомненно является частью современной цифровой культуры. Но это скорее возрастное когда форматы вроде Coub'ов воспринимаются сложнее. Тем не менее цифровая архивация - самая актуальная некоммерческая деятельность из всего чем я лично и наша команда занималась много лет.

3. Я не могу не напомнить что у нас крутая команда с большим опытом работы с открытыми данными и данными вообще. Мы делаем от технических проектов до исследований в этой области. Особенно много знаем о том где какие данные есть и как с ними работать. А в текущей ситуации расширяем пул заказчиков и продуктов, так что пишите если есть интересные задачи на данных и с данными связанные.

#thoughts #team #archives

Новости проекта на 17 марта 2022 года

- Начата работа над базой знаний, вскоре анонсируем репозиторий на Github к наполнению которого можно будет присоединится.
- Мы продолжаем работать над обновлённым сайтом, пока самые актуальные новости будут в этом телеграм канале
- Идёт работа по загрузке копии материалов Эха Москвы в Интернет Архив, она займет ещё какое-то время поскольку параллельно идет архивация многих цифровых ресурсов в зоне риска.

Архивация сайтов заблокированных ресурсов

Продолжается архивация сайтов издания: Colta, Tjournal, The Insider, Бумага. Начата архивация Костромского Форума Костромских джедаев (заблокирован Роскомнадзором, закрывается). В общей сложности собрано 50GB материалов, архивация продолжается.

Сделана копия сайта издания DOXA, готовится к загрузке в общедоступное хранилище.

Архивация Coub
- отправлены письма владельцам сайтам с просьбой передать в архив накопленные у них данные. Если у Вас есть прямые контакты владельцев и Вы можете им написать/спросить, это оказало бы большую помощь.
- выгружены 1952 ролика из раздела Hot, общий объём 55GB
- идёт выгрузка данных с сайта через общедоступное API по каждой категории. Это до 5000 роликов в категории. Следующим шагом будет сбор данных о всех роликах признанных лучшими
- идет подбор дополнительного хранилища для хранения больших объёмов данных из Coub
- запланирована архивация всех роликов которые можно будет успеть сохранить до конца марта.
—
Если Вы знаете что-то о сайтах и иных цифровых ресурсах которые могут исчезнуть в ближайшее время, пишите нам в чате, поставим их на первоочередную загрузку. Также мы готовы принимать любые в дар любые жесткие диски, системы сохранения, архивы с данными на любых цифровых носителях.


#digitalpreservation #archives #news

В рубрике интересные продукты с открытым кодом Grist, открытая альтернатива Airtable, инструмент работы с таблицами [1].
Функции очень похожи:
- быстро и с нуля построить базы данных (аналог Access, только в вебе)
- гибкое управление правами доступа к данным
- визуализировать данные, строить отчеты
- делиться данными с другими

Ну и конечно замена Excel во всём что касается редактирования таблиц. Авторы также подготовили обзора сравнений в Airtable [2] и кроме открытого кода предлагают облачный сервис GetGrist [3] где можно его потестить. Конечно из России использовать облако затруднительно, оплата там в долларах США.

Из больших плюсов продукта поддержка формул на Python с полной поддержкой Python’s standard library [4]

Ссылки:
[1] https://github.com/gristlabs/grist-core
[2] https://www.getgrist.com/blog/grist-v-airtable/
[3] https://www.getgrist.com/
[4] https://support.getgrist.com/formulas/#python

#data #tools #spreadsheets #opensource

Для тех кто работал/работает с данными в России и не могут найти данные портала федерального портала data.gov.ru поскольку он недоступен напомню что у нас есть полная архивная копия данных собранное на 2 февраля 2022 года [1]. 13ГБ архив и 29ГБ после распаковки. Не бог весть какие ценные там данные, но могут быть полезны тем кому они могут быть полезны.

Ссылки:
[1] https://hubofdata.ru/dataset/datagovru-20220202

#opendata #data #datagovru #russia