Национальная база данных?

[LuckyOne]

Такс, операционные системы обсудили, предлагаю пофлеймить на тему Национальной базы данных - не очень освещенная СМИ тема. Что сейчас используется дубненцами: MySQL, PostgreSQL, Oracle, Big Table-like, MS-SQL, другое? Что бы можно было порекомендовать правительству и почему?

ЗЫ: то ли у меня нет прав на создание опроса, то ли слеп стал на старости лет..

[Fduch]

Такс, операционные системы обсудили, предлагаю пофлеймить на тему Национальной базы данных - не очень освещенная СМИ тема. Что сейчас используется дубненцами: MySQL, PostgreSQL, Oracle, Big Table-like, MS-SQL, другое? Что бы можно было порекомендовать правительству и почему?

ЗЫ: то ли у меня нет прав на создание опроса, то ли слеп стал на старости лет..

Не не ослеп. У меня тоже нет прав создавать голосовалки.

[DOKA]

Национальная БД - та, которая больше всего подходит к конкретному проекту.
Кому-то надо быть совместимым с каким-то кодом и они выберут MySQL, кому-то там мало возможностей и они выберут Oracle, а кому-то вообще нужна БД, основанная на XML.

[Швейк]

Да эта БД ещё до официального запуска появится на Савёловском рынке.

[LuckyOne]

Уточняю: национальная БД это такая БД, в которой хранятся данные 140М россиян. Суммарный обьем - несколько терабайт (для начала), так что про пиратские DVD и XML можно забыть. Интересно знать, с какими БД дубненским экспертам уже приходилось работать? Средними и большими БД - никаких Hsqldb/Derby, Sqlite и прочих..

Для ориентира:
1. Фейсбук - 600M пользователей, MySQL [SQL];
2. Google - дофига М пользователей, Big Table [NoSQL] + MySQL [SQL];
3. ВКонтакте, ~25M пользователей, MySQL [SQL] + собственная СУБД на C;
... ?

Короче, у нас инновационный наукоград, а про базы спросишь так нет никого?

[DOKA]

Ну, допустим, был я в паре проектов, где MySQL неплохо справлялась. До нагруженности Гугла далековато, но в принципе попадало под категорию "нагруженные".

Понятие "140М" юзеров - очень растяжимое требование при проектировании БД. Одно дело, когда это одна таблица с 140М строк, и совсем другое, когда куча разных таблиц, с высокой сложностью самого легкого запроса по получению сколь-нибудь полезной информации.

Ещё различие - одно дело БД, используемая чиновниками, и совсем другое интернет-проект, куда может присоединиться (с определенным уровнем доступа) хоть чиновник, хоть банковский служащий, хоть гаишник, хоть сам гражданин.

Я бы вот так вслепую в качестве СУБД предложил бы MySQL. В принципе, довольно мощная система. Если при масштабировании потребуется что-то особенное, то проще для этого особенного поставить ещё что-то.

[LuckyOne]

Понятие "140М" юзеров - очень растяжимое требование при проектировании БД. Одно дело, когда это одна таблица с 140М строк, и совсем другое, когда куча разных таблиц, с высокой сложностью самого легкого запроса по получению сколь-нибудь полезной информации.

NoSQL базы типа BigTable, Hypertable, HBase, MongoDB видел же? Нету там "кучи разных таблиц с высокой сложностью запроса" в принципе Для того и создавались.

Ещё различие - одно дело БД, используемая чиновниками, и совсем другое интернет-проект, куда может присоединиться (с определенным уровнем доступа) хоть чиновник, хоть банковский служащий, хоть гаишник, хоть сам гражданин.

Какое дело бэкэнду до того, кем пользователь работает, извиняюсь? В фейсбуке помимо обычных людей полно госслужащих. Чем это интерфейс фейсбука отличен от интерфейсов государственных служб?

[DOKA]

NoSQL базы типа BigTable, Hypertable, HBase, MongoDB видел же? Нету там "кучи разных таблиц с высокой сложностью запроса" в принципе Для того и создавались.

А может, окажется, что надо. Или много мелких связных запросов. Я про сложность логики.

Какое дело бэкэнду до того, кем пользователь работает, извиняюсь? В фейсбуке помимо обычных людей полно госслужащих. Чем это интерфейс фейсбука отличен от интерфейсов государственных служб?

А здесь я про нагрузку говорил, а не про UI.
Очевидно, что если к этой БД будет обращаться вся Россия от госслужащих всех видов до самих граждан, то это будет весьма и весьма немалая нагрузка.

[LuckyOne]

Я про сложность логики

Логика в обоих случаях сложная получается.

А здесь я про нагрузку говорил, а не про UI.
Очевидно, что если к этой БД будет обращаться вся Россия от госслужащих всех видов до самих граждан, то это будет весьма и весьма немалая нагрузка.

Как же я люблю слово "очевидно", еще со времен ночных бдений над Ландау-Лившицем :)
По порядку величины "100 запросов в день от 3М госслужащих" ~= "1 запрос в день от 137М граждан", следовательно служащие отдельно или служащие + граждане = примерно одна и та же нагрузка (пиковые решаются кешированием). На самом деле, не так важен абсолютный порядок нагрузки, как возможности масштабирования базы (horizontal scaling - чёрт знает как это по-русски). Вот это то мне и непонятно: BigTable масштабируется вроде бы получше, но MySQL используется чаще..

[godzilla]

Уточняю: национальная БД это такая БД, в которой хранятся данные 140М россиян. Суммарный обьем - несколько терабайт (для начала), так что про пиратские DVD и XML можно забыть. Интересно знать, с какими БД дубненским экспертам уже приходилось работать? Средними и большими БД - никаких Hsqldb/Derby, Sqlite и прочих..

Для ориентира:
1. Фейсбук - 600M пользователей, MySQL [SQL];
2. Google - дофига М пользователей, Big Table [NoSQL] + MySQL [SQL];
3. ВКонтакте, ~25M пользователей, MySQL [SQL] + собственная СУБД на C;
... ?

Короче, у нас инновационный наукоград, а про базы спросишь так нет никого?

в билайне > 100тб хранилище.
По размерам бд соцсети далеко не первые, если смотреть в разрезе индустрий. Они, один, молодые, два, связанное с один, нет чоткой цели хранения дохера данных и получения из этого бабла. В телекомах и банках и мб ритейлах, типа волмарта, базы больше.

[godzilla]

Уточняю: национальная БД это такая БД, в которой хранятся данные 140М россиян. Суммарный обьем - несколько терабайт (для начала), так что про пиратские DVD и XML можно забыть. Интересно знать, с какими БД дубненским экспертам уже приходилось работать? Средними и большими БД - никаких Hsqldb/Derby, Sqlite и прочих..

Для ориентира:
1. Фейсбук - 600M пользователей, MySQL [SQL];
2. Google - дофига М пользователей, Big Table [NoSQL] + MySQL [SQL];
3. ВКонтакте, ~25M пользователей, MySQL [SQL] + собственная СУБД на C;
... ?

Короче, у нас инновационный наукоград, а про базы спросишь так нет никого?

ну и да, перечисленные базы, это олтп базы для операционного процессинга. Там размерами не меряются. Меряются размерами в хранилищах. В хранилищах mysql не бывает.

[LuckyOne]

ну и да, перечисленные базы, это олтп базы для операционного процессинга. Там размерами не меряются. Меряются размерами в хранилищах. В хранилищах mysql не бывает.

Ну а где я упомянул, что нужно хранилище (data warehouse)? Архивы это всегда доступ с большой задержкой, которую телекомы и банки могут легко себе позволить, и оптимизация под аналитику, а не под пользователя. Хранить экзабайты можно и на лентах, это не интересно. Интересно посмотреть живую базу с быстрым доступом, но универсальную и масштабируемую - чтобы не придумывать одну для ГАИ, другую для налогов, третью для просроченных платежей итд. Короче, есть такой реальный опыт у кого-нибудь в Дубне?

в билайне > 100тб хранилище.

А в любом научном центре средней руки - десятки петабайт, и тоже нормально живут. Ну и? Не, я хочу *живую* базу, на пару десятков миллиардов коротких записей, да еще легко масштабируемую, и с временем отклика в пределах секунды для случайной выборки в тысячу записей. Можно аналог time-series, но специально заточенных не надо.

У MySQL одна проблема - на шардинге становится тяжеловато, когда количество нод растет. У HyperTable мне не нравится время отклика..

[Filimon Кykyev]

Да эта БД ещё до официального запуска появится на Савёловском рынке.

Сдается уже появилась (в продаже), по ящику в кримновостях обрадовали, на жестком диске - 14 килоруб

[Вовка]

Господа, определитесь с терминами. Вы обсуждаете национальную СУБД (MySQL, Posgress, FireBird, Oracle etc) или контент, который появится на Савеловском рынке?

[LuckyOne]

Господа, определитесь с терминами. Вы обсуждаете национальную СУБД (MySQL, Posgress, FireBird, Oracle etc) или контент, который появится на Савеловском рынке?

Пока одни думают над технической стороной дела, другие прорабатывают рынки сбыта - всё нормально, как у белых людей :)

[Filimon Кykyev]

Прально под рынок сбыта и разрабатывают...

[souljah]

Уточняю: национальная БД это такая БД, в которой хранятся данные 140М россиян. Суммарный обьем - несколько терабайт (для начала), так что про пиратские DVD и XML можно забыть. Интересно знать, с какими БД дубненским экспертам уже приходилось работать? Средними и большими БД - никаких Hsqldb/Derby, Sqlite и прочих..

Для ориентира:
1. Фейсбук - 600M пользователей, MySQL [SQL];
2. Google - дофига М пользователей, Big Table [NoSQL] + MySQL [SQL];
3. ВКонтакте, ~25M пользователей, MySQL [SQL] + собственная СУБД на C;
... ?

Короче, у нас инновационный наукоград, а про базы спросишь так нет никого?

data warehouse, например teradata

[godzilla]

он вархаузы уже забраковал

[Швейк]

Все эти национальные базы данных являются предвестниками чипования населения и грядущего Апокалипсиса.