Re: Мусор в Сети

["Dmitry Shkolnikov" <ezh@ezhe.ru>]

Здравствуйте, Михаил, ЕЖЕ!

>  Уже давно читал, что первыми это осознали и использовали в своей
> почте в Гугле. Думаю и в youtube давно применяется сжатие видео
> в общее хранилище.
//Михаил Крайнов

Да, они просто первыми столкнулись с ТАКИМИ объёмами данных и напоролись 
на бигдату -- то количество данных, которое не возможно хранить и 
обрабатывать привычными средствами.

>  Наши в этой алгоритмике отстают, и в том числе потому и
> испытывают нехватку серверов.
>
> Имеет смысл делать не конкретные тематические
> контентные проекты, а услугу упакованного облачного хранения
> информации различных медийных видов и быстрого доступа к ней.
> Возможно где-то в Яндексе или Вк что-то подобное для себя
> уже мутят.
//Михаил Крайнов

Это не совсем так. Во-первых, как ни странно, основная проблема даже не 
в нехватке серверов, а в нехватке помещений, куда эти сервера можно 
поставить. А у помещений проблема в подведнии электричества к машинным 
залам. Конечно, у нас само электричество хотя бы есть в достаточном 
количестве и проблема чисто инженерная -- проложить линии, развести, 
всякую там пром. безопасность доработать Но тем не менее, это бывает 
сложно. А вот самих помещений просто мало, и даже при наличии просто 
денег нельзя вот взять и поставить 40 своих стоек, где хочется.

А с самими технологиями у Яндекса и ВК всё весьма неплохо, вполне на 
уровне с их западными конкурентами. Лет 8 ещё назад (или даже пораньше) 
ВК выступали на Хайлоаде с докладом, как они хранят фотки пользователей, 
в общем-то ничего принципиально с тех пор не изменилось. Опущу 
технические нюансы и детали, объясню идею на пальцах:
фотография загружается в мемкеш (ОЗУ) и реплицириутеся (копируется) на 
парочку машин, чтобы и они могли эту фотографию отдать. Параллельно эта 
фотография кладётся на жёсткий диск. Если фотографию смотрят много и 
часто, её копия находится в мемкеше (ОЗУ) большого количества машин 
(опять-таки, исключительно для скорости обслуживания запросов 
пользователей), а если какое-то время ни одного обращения к фотографии 
не было, то она вообще удаляется из мемкеша, чтобы освободить ценное 
место для более популярных фотографий. Бэкапов нет (это безумно дорого и 
нет мотивации для ВК платить из своего кармана за это), поэтому если 
фотки никто не смотрит, то при поломке жёсткого диска (а это регулярно 
происходит, харды это расходник в таких системах,) фотография пропадёт 
на совсем. Это легко пронаблюдать, полазив по каким-нибудь старым 
профилям ВК, в которые давно никто не заходил -- там не получится 
посмотреть фотки. Соответственно, если фотографию смотрят, то при 
поломке харда копия этой фотографии будет загружена на новый хард из 
мемкеша.
На том же Хайлоаде в этой же секции был и доклад от Фейсбука про то, как 
они хранят фотки, и в общем-то примерно то же самое, но немного другой 
алгоритм (логика и правила) отправки фотографии из мемкеша на хард.

Яндекс тоже не отстаёт и делает у себя аналог гугловского набора 
технологий (который продаётся наружу в виде всяких там Google BigQuery и 
прочих облачных бигдатых штук). Тут вопрос не столько квалификации, 
сколько реальной потребности, всё-таки тот же Гугл обрабатывает 
существенно большие объёмы данных, чем Яндекс, и у них уже и инженерные 
задачи звучат по-другому.
--
Best,
    D.


Оценить письмо Reputatio: http://ezhe.ru/reputatio/49b2a4e1af