Ivan Begtin
8.03K subscribers
1.75K photos
3 videos
101 files
4.45K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech
Download Telegram
Уже почти год Австралийская комиссия по делам конкуренции и потребителей ведет расследование платформ цифровой рекламы и 28 января опубликовали промежуточный отчет [1] с анализом устройства рынка рекламы, какие компании и в каком объёме на нём представлены, как реально устроены процессы размещения и управления рекламой на платформах, у потребителей, в системах подготовки рекламных кампаний и так далее. Это огромный содержательный и подробный отчет на 222 страницы с акцентом австралийский цифровой рынок, но актуально и для других стран, во многих случаях картина идентичная.

Это исследование закончится к августу 2021 года и можно ожидать нового регулирования AdTech индустрии не только в Австралии, но и в мире, поскольку законодатели по всему миру смотрят друг на друга и на то у кого же получится регулировать цифровые корпорации и каким образом.

Ссылки:
[1] https://www.accc.gov.au/system/files/Digital%20Advertising%20Services%20Inquiry%20-%20Interim%20report.pdf

#privacy #dmp #adtech #australia
Парламент Австралии принял в окончательной редакции закон регулирующий ссылки на новостные сайты [1] в ответ на который Google (Alphabet) грозился отключить поиск, а Facebook превентивно заблокировали возможность публиковать новости на австралийские новостные сайты.

В итоге обе компании договорились с Правительством Австралии о "значительной финансовой поддержке" индустрии медиа в Австралии и том что обе компании пошли по пути заключения соглашений с австралийским медиа-бизнесом. Переговоры с Facebook'ом при этом шли около 11 часов, как пишет, Bloomberg.

Но, с принятием закона, компании, компании "остаются на крючке". Если Правительство Австралии в какой-то момент сочтет что Google и Facebook недостаточно поддерживают местную новостную индустрию, то оно может применить положения закона против компаний.

Теперь можно ожидать в самое ближайшее время аналогичного регулирования в других странах.

Ссылки:
[1] https://www.bloomberg.com/news/articles/2021-02-24/australia-passes-law-forcing-facebook-google-to-pay-for-news

#adtech #tech #regulation #australia
В Австралии, при офисе комиссара по данным (National Data Commisioner) создается проект по Dataplace [1] для запросов на данные к органам власти и госструктурам. Обратите внимание что это не запросы на доступ к информации в классическом понимании (FOI), а именно data requests. Обещают сделать beta версию к концу 2021 года и релиз в 2022 году.

Там же анонсировали проект всегосударственного каталога данных [2] и пилотных проектов по инвентаризации данных. Обратите внимание - это общедоступный каталог всех данных, основная его идея в том что чтобы понять что должно быть открыто вначале необходимо понять, а что есть и метаданные, сведения о наборах данных и базах данных, должны быть общедоступны. Пока же с 2022 по 2024 годы в Австралии будут инвентаризировать данные небольшими командами в рамках этого пилотного проекта.


Ссылки:
[1] https://www.datacommissioner.gov.au/media-hub/creating-human-centric-government-data-request-process
[2] https://www.datacommissioner.gov.au/media-hub/new-pilot-program-deliver-government-wide-data-catalogue

#opendata #data #australia #datacatalogs
В Австралии офис уполномоченного комиссара по данным запустил два новых проекта.

Dataplace [1] - унифицированный сервис запросов данных у государства, как раз в соответствии с моделью Publish with the purpose, а то есть общественный или коммерческий интересант размещает запрос на данные и его получают и рассматривают все data custodians (хранители данных). Запросы рассматриваются на основании принципов обмена данными ранее разработанными в офисе уполномоченного [2]

Второй проект Data Inventories Pilot Program [3] сфокусирован на сборе метаданных о базах данных 20% органов власти в Австралии. По каждому набору данных собираются Core Metadata Attributes, специально сформированный перечень атрибутов для описания содержимого набора данных и его ключевых характеристик. Немного удивляет что они придумали собственную систему метаданных вместо DCAT2 [4], поскольку с DCAT/DCAT2 пересечения довольно заметные.

Ссылки:
[1] https://datacommissioner.gov.au/media-hub/dataplace-new-tool-promote-safe-and-effective-sharing-government-data
[2] https://www.datacommissioner.gov.au/data-legislation/assessing-data-requests
[3] https://datacommissioner.gov.au/media-hub/ondc-launches-pilot-project-australian-government-data-catalogue
[4] https://www.w3.org/TR/vocab-dcat-2/

#opendata #australia #datasharing #data
Пока в России обсуждают разные модели импортозамещения ПО, сервисов и так далее, во многих странах есть практика защиты национальных интересов вполне классическими методами сертификацией компаний. Например, в Австралии местное Digital Transformation Agency открыло сайт Hosting Certification Framework [1] как легко догадаться посвящённый сертификации облачных провайдеров, хостеров и датацентров для государственных нужд.

В целом очень простая и очевидная функция государства и, в данном случае, трансформационного органа власти.

Австралийская модель сертификации довольно простая и состоит из 3-х типов провайдеров:
- стратегические (strategic) - наибольший уровень доверия и защищённости
- подтверждённые (assured) - меньший уровень финансовой и инфраструктурной защиты
- несертифицированные (uncertified) - имеющие минимальную защиту, можно использовать только для незначимых данных

Все сертифицированные сейчас сервисы находятся на территории Австралии или имеют датацентры на территории Австралии. Среди них есть облачные провайдеры вроде Amazon и Microsoft, а также датацентры Fujitsu Australia и какое-то число исключительно местных компаний.

Сертификационная логика - самая понятна. В ней нет "надрыва" про импортозамещение, а достаточно четко формируемые требования к сервис провайдерам, корректируемые по мере необходимости. Аналогичная практика есть и в других странах, а Австралию я привожу только как пример такой практики.

Ссылки:
[1] https://www.hostingcertification.gov.au

#government #govtech #cerfitication #australia
Свежий доклад омбудсмена Нового Южного Уэльса (территория Австралии) посвящённый machine technologies [1] машинным технологиям. Это то что в другой литературе называют искусственным интеллектом (arificial intelligence) и системами автоматических решений (automated decision-making).

Доклад весьма подробный с акцентами на том что:
1) Проекты по внедрению таких систем - это не ИТ проекты.
2) В команде внедрения обязательны юристы
3) Подробная документация на работу системы необходима
4) Тестирование и проверка обязательно необходимы
5) Прозрачность (transparency) и объяснимость (explainability) необходимы
6) Контроль за работой системы и обязательные требования.

Документ подробный, охватывает много вопросов, включая роль законодательной власти в этом процессе. А также на сайте опубликован его короткий пересказ для тех кому сложно прочитать его целиком [2]

Ссылки:
[1] https://www.ombo.nsw.gov.au/__data/assets/pdf_file/0005/123629/The-new-machinery-of-government-special-report_Front-section.pdf
[2] https://www.ombo.nsw.gov.au/news-and-publications/news/greater-transparency-needed-for-nsw-governments-use-of-machine-technology-in-decision-making

#privacy #ai #adm #machinetechnologies #nsw #australia
Не стоит полагать что политическая открытость даже в развитых странах даётся легко. В Австралии есть фонд OpenAustralia [1] которые много лет создают и развивают проекты по прозрачности власти. Например, они создали проект They Vote For You [2] с трекингом голосов каждого члена палаты представителя и сенатора.

Один из сенаторов, Andrew Bragg, нанял юристов которые теперь пишут угрозы фонду (юридические угрозы, конечно), а через комиссию по делам НКО и вовсе пытаются его ликвидировать [3]. Причина очень проста, сенатору не нравится то в каких формулировках указываются факты его голосования [4] поскольку в проекте указаны самые разные категории вроде "Creating a federal Anti-Corruption Commission" или "Increasing funding for public schools" и там ещё много другого с формулировками чего сенатор оказался не согласен.

Конечно, это всё проблемы парламентской демократии. В России все подобные проекты исчезли примерно 10 лет назад. Отслеживать голосования депутатов было бессмысленно потому что типовое голосование выглядело так: партия власти, или голосует единогласно за, или единогласно не голосует.

Проектов по парламентской открытости в мире много, ко многим из них часто возникают вопросы их политической ангажированности, но в чём их создатели точно правы - в том что без открытости парламентов доверие к ним сильно ограничено.

Ссылки:
[1] https://www.oaf.org.au
[2] https://theyvoteforyou.org.au
[3] https://www.oaf.org.au/2022/03/14/senator-for-nsw-andrew-bragg-threatens-openaustralia-foundation-with-legal-action/
[4] https://theyvoteforyou.org.au/people/senate/nsw/andrew_bragg

#opengovernment #opengov #australia
Как устроены веб-архивы в мире?

Архив PANDORA [1] был создан при Национальной библиотеке Австралии в 1996 году для архивации сайтов органов власти, культурных учреждений и иных организаций и групп. Для создания архива был разработан программный продукт PANDAS [2].

Архив включает более 70 тысяч предметов хранения, на 26 июля 2020 года его объём составлял 54ТБ․

Стратегия работы этого веб-архива в фокусированной архивации в виде архивационных кампаний. Например, через регулярную архивацию сайтов государственных органов или через архивацию сайтов политиков в рамках избирательных кампаний.

Доступ к архивным сайтам предоставляется через систему Trove, каталог архивных и музейных ценностей Австралии также созданный и поддерживаемый Национальной библиотекой Австралии [3].

Ссылки:
[1] https://pandora.nla.gov.au
[2] https://pandora.nla.gov.au/pandas.html
[3] https://webarchive.nla.gov.au/collection

#webarchives #australia #digitalpreservation
В рубрике как это работает у них Атлас биоразнообразия Австралии [1]

Это большой национальный исследовательский проект по консолидации всех исследовательских данных о флоре и фауне Австралии. Он объединяет данные десятков биобанков страны и на нём опубликовано более 11 тысяч наборов данных [2] большая часть которых - это списки/подборки видов животных и растений по типу и месту.

В атласе собрано уже более 113 миллионов записей и значительная их часть - это материалы собираемые проектами гражданских учёных (citizen scientists) и оцифрованные прямой грантовой поддержкой.

В Австралии существует 644 гражданских проекта сбора информации о животных [3], специальное мобильное приложение BioCollect App [4].

А также ежегодно по грантовой программе можно получить от 20 до 50 тысяч австралийских долларов на оцифровку существующих архивов в рамках Australian Biodiversity Data Mobilisation Program [5]. То есть, если какой-то музей или университет Австралии хочет оцифровать и выложить данные по своей коллекции фотографий кенгуру или записок полевых исследователей, то у них есть возможность претендовать на грант и компенсировать хотя бы часть расходов.

При достаточно простых условиях:
- эти данные уже должны существовать, оплачивается их оцифровка
- они должны быть связаны с национальными приоритетами
- в форме записей о встречаемости видов
- в виде открытых данных и с соблюдением стандарта Darwin Core

Ссылки:
[1] https://www.ala.org.au
[2] https://collections.ala.org.au/datasets
[3] https://biocollect.ala.org.au/acsa#isCitizenScience%3Dtrue%26max%3D30%26sort%3DdateCreatedSort
[4] https://www.ala.org.au/biocollect-mobile-apps/
[5] https://www.ala.org.au/blogs-news/the-ala-australian-biodiversity-data-mobilisation-program/

#opendata #datasets #australia
Австралийская схема данных (DATA Scheme) [1] - это концепция доступа к данным продвигаемая их офисом национального комиссара по данным. В Российской логике наименований это звучало бы примерно как "Уполномоченный по данным", поскольку должность персонализированная.

В основе схемы модель взаимодействия с потребителями данных в части предоставления доступа к чувствительным госданным через аккредитацию сервис провайдеров и пользователей.А также определение списка "дата стражей" (data custodians), органов власти отвечающих за доступ к определенным данным.

Особенность в том что это не открытые данные, а данные доступные на определенных условиях. На каких-то ранних стадиях обсуждалось что доступ будет, также, у бизнеса, но в финальной схеме описывается модель с доступом к данным у органов власти и университетов.

Всё это можно сравнить с российской инициативой НСУД (Национальная система управления данными) с той разницей что в австралийской модели всё происходит через специальную платформу Data Place. Она, фактически, работает скорее по академической модели предоставления доступа к чувствительным данным, запросы и обоснованные отказы или согласия.

При этом, австралийское правительство явным образом обещает что если запрашиваемые данные не будут чувствительными, то они готовы публиковать их на data.gov.au, портале открытых данных Австралии [3]


Ссылки:
[1] https://www.datacommissioner.gov.au/the-data-scheme
[2] https://www.dataplace.gov.au/
[3] https://www.dataplace.gov.au/articles/KA-01031

#opendata #australia #datasharing
Чуть подробнее про Critical Technology Tracker [1] проект австралийского мозгового центра ASPI по отслеживанию ведущих научных центров и исследователей по наиболее значимым (критичным) технологиям.

Сделано в виде красивой интерактивной визуализации, весьма наглядно и можно увидеть рейтинги отдельных исследовательских центров и то как перетекают студенты вузов между странами и далее, кто из них остаётся получать научные степени и работать в индустрии.

На картинках примеры визуализации по России и в области анализа данных, но, сразу скажу, рейтинги России тут невысоки. В большинстве направлений лидируют Китай и США с большим отрывом и ещё где-то присутствуют Индия, страны ЕС, Великобритания и Южная Корея. А по умным материалам ещё и Иран(!) [2]

Методология этого проекта в анализе публикаций исследователей и их цитирования. Кто-то может измерять вклад стран по числу патентов, но важнее понимать что почти все такие сравнения стран показывают лидерство Китая.

Ссылки:
[1] https://techtracker.aspi.org.au/
[2] https://techtracker.aspi.org.au/tech/smart-materials/?c1=ir

#china #technology #australia #data #ratings
Цифровые гуманитарные проекты (digital humanities) - это необязательно древняя история, они могут быть посвящены и самому что ни на есть настоящему. Например, AusStage. The Australian Live Performance Database
[1] австралийский проект живых выступлений австралийских артистов в своей стране и по всему миру.
В базе
- 31 998 событий
- 21 295 организаций
- 20 966 работ
- 76 186 ресурсов
- 12 881 площадок

Самое давнее событие происходило в 1789 году [2] в виде празднования дня рождения короля Георгия II заключёнными в хижине на земляном полу.

Проект научный, поэтому из него экспортируются данные, а информация собирается, в том числе, из архивов и библиотек, где хранятся афишы, билеты, флаеры, обзоры и многое другое.

А самые актуальные вносятся за 2023 год довольно оперативно.

Ссылки:
[1] https://ausstage.edu.au
[2] https://www.ausstage.edu.au/pages/venue/19230

#digitalhumanities #culture #australia #open #digitalpreservation
В рубрике как это устроено у них, экспериментальный австралийский проект их департамента финансов (аналог Министерства финансов в РФ и постсоветских странах) по созданию так называемого финансового графа по органам власти Австралии. С атрибутами, свойствами и характеристиками органов власти с точки зрения их участия в бюджетном процессе. Можно посмотреть вживую на structure.gov.au [1]

В России похожий проект был в виде реестра участников и неучастников бюджетного процесса, но только связанных данных там не было, но информации значительно больше публиковалось и частично публикуется.

В мире такие проекты редкость, сложные формальные реестры - это одна из областей где применение связанных данных оправданно и логично, хотя и от конечного неквалицированного пользователяь оторвано.

Для тех кто любит оперировать смыслами понятий в госуправлении и управлении бюджетными процессами - это сложная и интересная штука.

Ссылки:
[1] https://structure.gov.au/body/department-finance

#opendata #linkedata #govfinances #government #australia
В рубрике *как это работает у них* Национальная карта Австралии [1] позволяет отображать более 13 тысяч наборов геоданных из сотен каталогов данных и геосерверов по всей стране. А также позволяет загружать собственные наборы данных и работать с ними на карте. Поддерживает слои по стандартам OGC (WMS, WFS и др.), слои ArcGIS серверов, порталы данных Socrata, OpenDataSoft, файлы GeoJSON и ещё много чего другого.

Внутри работает на открытом исходном коде TerriaJS [2] созданном командой Data61 [3] национального агентства CSIRO и развиваемом под лицензией Apache 2.0 [4].

Кроме национального портала в Австралии и других странах на базе этого движка существует больше геопорталов, например, таких как:
- Portale del suolo в Италии [5]
- Digital Earth Africa Map [6]
- Digital Earth Australia Map [7]
и многие другие.

А также карта визуализации данных не геоплатформе открытых государственных геоданных США GeoPlatform.gov [8].

TerriaJS и построенные на основе этого фреймворка проекты можно отнести к успешным примерам создания и внедрения открытого исходного кода профинансированного государством. А также примером повторного использования кода созданного по заказу правительств одних стран, другими странами.

Ссылки:
[1] https://nationalmap.gov.au
[2] https://terria.io
[3] http://data61.csiro.au
[4] https://github.com/TerriaJS/terriajs
[5] http://www.sardegnaportalesuolo.it/webgis/
[6] https://maps.digitalearth.africa/
[7] https://maps.dea.ga.gov.au/
[8] https://terriamap.geoplatform.gov/


#opendata #geodata #spatial #dataviz #data #australia #opensource
В рубрике как это устроено у них TERN Data Discovery Portal [1] в Австралии, портал открытых исследовательских данных созданный в рамках проекта Terrestrial Ecosystem Research Network на базе Университета Квинсленда и поддерживаемый в рамках National Collaborative Research Infrastructure Strategy.

На портале не так много данных как на других государственных порталах данных страны, всего 2724 набора данных, но важное его отличие - это проработка профиля метаданных, высокое качество описания всех датасетов и их доступность в специальных научных форматах. Так на портале присутствует 13 фильтров для фасетного поиска, фасетный поиск вообще хорошо годится для поиска по данным и тут он неплох. А также все датасеты публикуются по спецификации Research Object Crate (RO-Crate) [2], похожей на стандарт Frictionless Data, но используемый для научных данных.

Ссылки:
[1] https://portal.tern.org.au
[2] https://www.researchobject.org/ro-crate/

#opendata #data #earthsciences #datacatalogs #australia #tern #geodata