Третьего апреля Яндекс пригласил небольшое количество журналистов на семинар “Как работают Яндекс.Новости и Яндекс.Блоги”. Специалисты, ответственные за эти сервисы, рассказали, на каких принципах строится их работа, какие технологии применяются, какие у сервисов есть проблемы и как они решаются, а после этого ответили на вопросы журналистов.

Семинар широко не анонсировался, представителям прессы отправляли личные приглашения. Это было следствием того, что подобные семинары для Яндекса — некая новая форма общения с экспертами и пользователями. Компания планирует проводить такие встречи для более широкой аудитории, но сначала пытается в экспериментальном формате определить, как их лучше всего организовывать.

Причина того, что первая встреча оказалась посвящена новостям и блогам, достаточно прозрачна. Оба сервиса часто становятся объектами для обвинений в манипуляциях со стороны Яндекса и манипулятивности со стороны всех желающих. В блогах то и дело возникают разговоры о том, правит ли Яндекс топ блоговых постов “ручками”, чтобы вытащить туда то, что кому-то нужно, или наоборот убрать. С новостями всё еще острее, ведь здесь работа идёт не с мнениями, а с фактами, событиями, аналитикой. Сформулированный тем или иным образом заголовок новости, попадание или непопадание тех или иных СМИ в сюжет — всё это может вызвать множество вопросов. Яндекс часто на такие вопросы отвечает, но в конце концов пришёл к выводу, что нужно рассказать о технологиях как можно подробнее.

Первый же докладчик заявил, что у Яндекса от прессы секретов нету, что всё рассказанное можно в любом виде выносить.

Говорит ли это о том, что журналистам рассказали не всё, или о том, что Яндекс так устал от обвинений, что готов уже рассказать всё, лишь бы отстали — судить невозможно. Но блокнот и термокружка с лосем по имени Наш Лось редакции нашего блога очень понравились.

Суть блогосферы, по Яндексу, в том, что это — хранилище мнений. Люди читают другие блоги, ищут по ним и смотрят рейтинги для того, чтобы быть в курсе мнений по некоему вопросу.

Цифры Яндекс.Блогов и основные сервисы

• Миллион запиcей и комментариев из блогов и форумов каждый день
• 7 млн. источников индексируется
• индексируется 14 млн. профилей пользователей. Примерно половина пользователей создает блог и не делает там ни одной записи, а, например, использует для комментирования или забрасывает. Отсюда разница.
• всего около миллиарда документов
• блоги — одна пятая Рунета (по количеству элементов для индексации)
• Новые записи индексируются в течении 10 минут на более чем 120 блогхостингах

Яндекс.Блоги состоят из следующих сервисов (в порядке значимости): поиск, темы дня и популярные записи (”топ поиска по блогам”, “ТППБЯ”), рейтинги и пульс блогосферы.

Поиск — это самый нужный для людей сервис по блогам.

Технологии

Однако, многим интернет-маркетологам гораздо интереснее Топ Блогосферы, так что вначале — о нём.

“Популярные записи”, или Топ Блогосферы

Антон Волнухин, ответственный за поиск по блогам, рассказал, что “коммерческой ценности” пребывание в популярных записях не несёт — самый большой возможный трафик оттуда исчисляется единицами тысяч посетителей блога. Накручивают топ обычно те, кто хочет манипулировать мнениями. Именно из-за таких накрутчиков появляются обвинения Яндекса в том, что он редактирует топ вручную — тогда как на самом деле, по словам Антона, формируется он полностью автоматически.

Какова же “формула ранжирования” записей в Топе Блогосферы?

1. Записи сортируются по количеству ссылок на пост за последние три дня.
2. Ссылки учитываются только с блогов, существующих более полугода
3. ссылки за последние 8 часов имеют удвоенный вес — это нужно, чтобы топ чаще “освежался
4. Записи теряют вес каждый час нахождения в топе — с той же целью
5. В топ может попасть одновременно не более 1 записи из 1 блога.
6. Рейтинг пересчитывается каждые 20 минут
7. Чем меньше раз тот или иной блог ссылался на блог, содержащий топовую запись, тем весомее ссылка.

Перед Яндексом, конечно, стоит задача борьбы с накруткой топа. Планируется добавлять больше источников данных для рейтингования — учитывать комментарии и посещаемость. В ближайшее время пользователи смогут посмотреть разные неотфильтрованные срезы по каждому из источников — и накрутки станут видны каждому. Наконец, планируется сделать больше разных рейтингов, отчего уменьшится потенциал влияния на умы каждого из них.

Как работает поиск по блогам

Индексная база ППБ пополняется, во-первых, записями на уже известных поиску блог-хостингах, во-вторых тем, что пришло через форму добавления, и, наконец, источниками из веб-поиска, который обнаруживает в интернете ссылку на новый RSS. Однако, блогом не считается всё то, что отдает RSS. По умолчаню RSS-поток вообще не считается блогом, есть ряд автоматических правил отнесения его к таковым. Ошибки автоматов правят руками контент-менеджеры.

В результате автономный блог на нестандартном, не известным роботам движке, может не попасть в индекс ППБ. Владельцу такого дневника надо писать в блоговый саппорт и просить себя проиндексировать.

Антон Волнухин с прискорбием признал тот факт, что управлять индексированием и участием в поиске своего блога его владелец может только при помощи писем в саппорт. Это никому не удобно, поэтому Яндекс собирается сделать панель управления взаимоотношениями блога и Яндекса, дав каждому блоггеру полный контроль над его присутствием в сервисах для блогосферы. Пока этого нет, многие вопросы решаются не очень удобно для блоггеров потому, что Яндекс хочет сохранить своеобразный дипломатический нейтралитет.

Например, если запись попала в ТППБЯ, а потом исчезла из блога, ссылка из топа начнёт автоматически вести на сохраненную копию записи. Яндекс ведь не знает, почему именно исчезла запись, захотел ли её стереть блоггер или Хакер Хелл, или Abuse Team из ЖЖ.

Основные отличия поиска по блогам от поиска по Вебу состоят в следующем:

• очень быстрая индексация записей. По личному опыту редакции этого блога, в ЖЖ записи индексируются буквально за пять минут.
• в результатах поиска ранжирвание по времени
• поиск обрабатывает большое количество маленьких текстов
• есть возможность учитывать информацию об авторе (соцдем) и его связях внутри социального сервиса. Это позволяет в расширенном поиске задать пол, возраст, место жительства и искать, например, информацию по блогам двадцатилетних москвичек
• данные не переиндексируются каждый раз, а накапливаются в индексе
• RSS не содержит информации об удалении записи, поэтому удаленный пост остается в блоговом индексе, пока автор не напишет в поддержку.

Главные проблемы поиска по блогам — это спам, фильтрация дублей, индексирование удаленных и скрытых записей.

33% записей в блогах являются спамом. Обычно такие записи представляют собой автоматически сгенерированные тексты (записи и комментарии) с нужными ключевыми словами или ссылками, предназначенные для влияния на веб-поиск и рейтинги. Для борьбы со спамом применяются как специальные блоговые технологии, так и Спамооборона. Яндекс считает, что ему удается удерживать уровень спама в поиске и его влияние на рейтинги невысоким.

Проблема дублей состоит в том, что среди одинаковых записей показывается самая поздняя. Из этого вытекает, во-первых, то, что, скопировав запись, можно попасть в поиск вместо её автора, а во-вторых то, что из нескольких трансляций журнала запись показывается в той, в которую позже всего попала. Решение, опять же, одно — писать в саппорт, жаловаться на злостное копирование записей или указывать ту трансляцию, которую хочется видеть в поиске. Аналогично, в порядке переписки с саппортом, убирается из поиска удаленная или скрытая в режим “для друзей” запись.

В своей откровенности Яндекс дошёл до того, что показал схему работы Яндекс.Блогов:

Текущий стабильный релиз: 17.
Поддерживаемые ОС: Windows, Mac OS X.
Движок: WebKit.
Плагины: развитая система дополнений (за счет Chrome Web Store).
Скины: большое количество тем и расширений для работы с темами.
Лицензия: GPL.

Яндекс.Браузер – Chrome со вкусом Яндекса

Успех браузера Chrome, разрабатываемого владельцем крупнейшего поисковика, корпорацией Google, привел к весьма интересной ситуации: многие другие компании стали использовать наработки программистов Google для того, чтобы создать собственные браузеры. Так появилось множество браузеров, в своей основе имеющих код из проекта Chromium, но отличающихся стартовой страницей, поисковой системой по умолчанию и привязками к сервисам той или иной компании. Так появился Хром со вкусом Яндекса, Хром от Рамблера, браузер «Интернет» от Mail.Ru и многие другие.

Несколько месяцев назад представители Яндекса сообщили о ведущейся в недрах компании разработке веб-обозревателя. Однако тогда они не сообщали каких-либо подробностей. И вот, в начале октября компания анонсировала первый выпуск браузера, который, как бы странно это ни звучало, получил название Яндекс Браузер.

Сразу скажу, что Яндекс.Браузер представляет собой еще один проект на основе кода проекта Chromuim, так что он сильно похож на уже давно известный Google Chrome. Давайте посмотрим на то, что программисты Яндекса вложили в приложение своего.

Заявленные уникальные возможности

• Умная строка — дает ответы на вопросы прямо в адресной строке.
• Технология ускоренной загрузки страниц Turbo (от компании Opera).
• Надёжная защита от вирусов — совместное решение Яндекса и антивирусной лаборатории Касперского.
• Умная строка, которая быстрее понимает, что Вы ищете.
• Перевод сайтов с 9 популярных языков.

Поиск от Яндекса, новости от Яндекса, календарь, блоги….

Если вы вдруг являетесь поклонником сервисом отечественного поисковика и одновременно Google Chrome, то Яндекс.Браузер может стать для вас весьма удобным помощником. Более того, Яндекс не позволит пользователям своей программы ни на минуту забыть о том, что они пользуются приложением от Яндекса. Для перехода на Яндекс имеется даже специальная кнопочка на панели веб-обозревателя. Она заменяет кнопку перехода на домашнюю страницу.

Теперь ваша домашняя страница – это Яндекс и только Яндекс. И никаких гвоздей. Впрочем, не вижу никаких проблем, чтобы сделать Яндекс поиском по умолчанию и в стандартном Google Chrome. Менять браузер для смены поиска совсем не обязательно.

Расширения

Самое забавное, что расширения и дополнения для Яндекс.Браузера пользователю необходимо устанавливать из каталога приложений… Chrome Web Store. Забавно, не правда ли? Конечно, представители российского поискового гиганта обещают рано или поздно разработать свой каталог приложений, однако сроки его появления неизвестны. В большинстве своем неопытному пользователю придется обходиться без расширений, если он не догадается об их наличии для Google Chrome.

Что нового?

Разработчики с помпой рассказывали о новом механизме так называемых виджетов, который во-многом дублирует привычный для пользователей большинства популярных браузеров Speed Dial. Иными словам, браузер выносит на первую страницу самые посещаемые вами сайты, чтобы добраться до них можно было быстрее. Яндексоиды с гордостью отмечают, что их дизайнеры вручную отрисовали картинки для 150 самых популярных российских сайтов. Однако и здесь не обошлось без ложки дегтя: совершенно непонятно каким образом можно убрать ненужные сайты и добавить нужные именно вам.

Таким образом, пользователю придется каждый раз при открытии новой вкладки наблюдать «вручную отрисованные» логотипы совершенно ненужных вам сайтов.

Выводы

Яндекс.Браузер – это приложение для человека, который активно пользуется сервисами одноименной корпорации, но при этом не является опытным и активным пользователем других веб-сервисов.

К тому же, браузер, в отличие от своего «прародителя» есть только для операционных систем семейства Windows и Mac OS X, но не Linux. Нет и имеющейся у Google Chrome всеобъемлющей синхронизации, так выручающей меня при смене компьютера.

ClickHouse. Just makes you think faster.

Blazing Fast

ClickHouse’s performance exceeds comparable column-oriented DBMS currently available on the market. It processes hundreds of millions to more than a billion rows and tens of gigabytes of data per single server per second.

ClickHouse uses all available hardware to its full potential to process each query as fast as possible. The peak processing performance for a single query (after decompression, only used columns) stands at more than 2 terabytes per second.

Independent Benchmarks

Linearly Scalable

ClickHouse allows companies to add servers to their clusters when necessary without investing time or money into any additional DBMS modification. The system has been successfully serving Yandex.Metrica, while the count of servers in it’s main production cluster have grown from 60 to 394 in two years, which are by the way located in six geographically distributed datacenters.

ClickHouse scales well both vertically and horizontally. ClickHouse is easily adaptable to perform either on cluster with hundreds of nodes, or on a single server or even on a tiny virtual machine. Currently there are installations with more than two trillion rows per single node, as well as installations with 100Tb of storage per single node.

Hardware Efficient

ClickHouse processes typical analytical queries two to three orders of magnitude faster than traditional row-oriented systems with the same available I/O throughput. The system’s columnar storage format allows fitting more hot data in RAM, which leads to a shorter response times.

ClickHouse allows to minimize the number of seeks for range queries, which increases efficiency of using rotational disk drives, as it maintains locality of reference for continually stored data.

ClickHouse is CPU efficient because of it’s vectorized query execution involving relevant processor instructions and runtime code generation.

By minimizing data transfers for most types of queries, ClickHouse enables companies to manage their data and create reports without using specialized networks that are aimed at high-performance computing.

Fault Tolerant

ClickHouse supports multi-master asynchronous replication and can be deployed across multiple datacenters. Downtime of a single node or the whole datacenter won’t affect the system’s availability for both reads and writes.

Миссия Яндекса — помогать людям решать задачи и достигать своих целей в жизни.

Distributed reads are automatically balanced to live replicas to avoid increasing latency. Replicated data are synchronized automatically or semi-automatically after server downtime.

Feature Rich

ClickHouse features a user-friendly SQL query dialect with a number of built-in analytics capabilities. For example, it includes probabilistic data structures for fast and memory-efficient calculation of cardinalities and quantiles. There are functions for working dates, times and time zones, as well as some specialized ones like addressing URLs and IPs (both IPv4 and IPv6) and many more.

Data organizing options available in ClickHouse, such as arrays, array joins, tuples and nested data structures, are extremely efficient for managing denormalized data.

Using ClickHouse allows joining both distributed data and co-located data, as the system supports local joins and distributed joins. It also offers an opportunity to use external dictionaries, dimension tables loaded from an external source, for seamless joins with simple syntax.

ClickHouse supports approximate query processing – you can get results as fast as you want, which is indispensable when dealing with terabytes and petabytes of data.

The system’s conditional aggregate functions, calculation of totals and extremes, allow getting results with a single query without having to run a number of them.

Success Stories

When to use ClickHouse

For analytics over stream of clean, well structured and immutable events or logs. It is recommended to put each such stream into a single wide fact table with pre-joined dimensions.

Some examples of viable applications:

• Web and App analytics
• Advertising networks and RTB
• Telecommunications
• E-commerce and finance
• Information security
• Monitoring and telemetry
• Time series
• Business intelligence
• Online games
• Internet of Things

When NOT to use ClickHouse

• Transactional workloads (OLTP)
• Key-value access with high request rate
• Blob or document storage
• Over-normalized data

Highly Reliable

ClickHouse has been managing petabytes of data serving a number of highload mass audience services of Yandex, Russia’s leading search provider and one of largest European IT companies. Since 2012, ClickHouse has been providing robust database management for the company’s web analytics service, comparison e-commerce platform, public email service, online advertising platform, business intelligence tools and infrastructure monitoring.

ClickHouse can be configured as purely distributed system located on independent nodes, without any single points of failure.

Software and hardware failures or misconfigurations do not result in loss of data. Instead of deleting «broken» data, ClickHouse saves it or asks you what to do before a startup. All data is checksummed before every read or write to disk or network. It is virtually impossible to delete data by accident as there are safeguards even for human errors.

ClickHouse offers flexible limits on query complexity and resource usage, which can be fine-tuned with settings. It is possible to simultaneously serve both a number of high priority low-latency requests and some long-running queries with background priority.

Simple and Handy

ClickHouse streamlines all your data processing. It’s easy to use: ingest all your structured data into the system, and it is instantly available for reports. New columns for new properties or dimensions can be easily added to the system at any time without slowing it down.

ClickHouse is simple and works out-of-the-box. As well as performing on hundreds of node clusters, this system can be easily installed on a single server or even a virtual machine. No development experience or code-writing skills are required to install ClickHouse.

Quick Start

System requirements: Linux, x86_64 with SSE 4.2.

Install packages for Ubuntu/Debian:

For other operating systems the easiest way to get started is using official Docker images of ClickHouse . Alternatively you can build ClickHouse from sources according to the instruction.

After installation proceed to tutorial or full documentation.

Contacts

Or email ClickHouse team at Yandex directly: turn on JavaScript to see email address, for example if you are interested in commercial support.

Friendly reminder: check out the documentation in English or Russian first — maybe your question is already covered.

Like ClickHouse?

Help to spread the word about it via Facebook, Twitter and LinkedIn!

ClickHouse source code is published under Apache 2.0 License. Software is distributed on an «AS IS» BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

Яндекс.Почта. Вход

Быстрый вход в почту Яндекса

Яндекс.Почта — одна из самых популярных бесплатных почтовых служб. Там можно свободно зарегистрироваться и получить адрес, который заканчивается на @yandex.ru.

Исследования

Почтовая служба Яндекса удобна, проста в использовании и всегда доступна на твоем компьютере, планшете или смартфоне — нужен только доступ в интернет.

Если твоя почта — на Яндексе, то вход на ее сайт нужен каждый день. Легкий вход в почту предоставляет стартовая страница «Вход» — достаточно добавить туда адрес mail.yandex.ru, а саму страницу «Вход» (адрес vhod.cc) поставить стартовой в браузере.

Вход в почту будет всегда под рукой, попасть туда можно буквально одним нажатием:

При первом входе на Яндекс.Почту нужно будет указать свой логин (почтовый адрес) и пароль. Если ты их уже указывал (входил), тогда просто откроется твой почтовый ящик с письмами, и можно будет с ними работать.

И, конечно, если у тебя уже есть почтовый ящик на Яндексе, ты всегда можешь попасть туда с главной страницы Яндекса (ссылка в правом верхнем углу).

Регистрация в почте Яндекса

Чтобы зарегистироваться в Яндекс.Почте (получить свой адрес), можно открыть сайт Яндекс.Почты через стартовую страницу VHOD.cc, как мы только что рассказали, или просто открыть Яндекс и в правом верхнем углу нажать «Завести ящик». Каким бы способом ты ни воспользовался, начнется несложная процедура регистрации. Нужно будет придумать имя ящика (свой адрес, в конце которого будет @yandex.ru, например: ivanova.nina@yandex.ru) и пароль, который необходимо запомнить и держать в секрете. Также потребуется указать основные личные данные.

Обрати внимание, что можно указать свой номер телефона — это очень полезно, если тебе в будущем потребуется восстановить доступ к почте (например, если ты забудешь пароль). Указывай тот номер, которым ты пользуешься и который у тебя всегда при себе. Если ты не укажешь номер, то как вместо этого тебе предложат назначить секретный вопрос, ответ на который знаешь только ты (это нужно для того, чтобы защититься от взлома).

Как войти в почту Яндекса через ВК, Одноклассники, Фейсбук…?

Открыв сайт Яндекса, ты увидишь в углу вход в почту, а там — кнопки для входа через ВК, Фейсбук, Одноклассники и другие сайты. На нашей картинке они подчеркнуты — сначала идет ВК, затем Фейсбук, затем Твиттер. Если нажать на многоточие, то появится вход и через другие сайты, в том числе Одноклассники:

А если ты уже открыл сайт Яндекс.Почты, то ты увидишь похожие кнопки чуть ниже кнопок «Войти» и «Регистрация». То есть, например, если ты хочешь войти в почту через ВК, то тебе не нужно нажимать «Регистрация», а сразу нажать кнопку с буквой «В»:

Как пользоваться Яндекс.Почтой

Итак, если ты уже прошел регистрацию и у тебя есть почтовый ящик. Что делать дальше?

Как посмотреть письмо?

Когда ты входишь на Яндекс.Почту (например, через VHOD.cc), ты попадаешь в свою папку «Входящие». Это письма, которые тебе пришли. Среди них могут быть письма от людей, рассылки, реклама и прочее. На экране видно, сколько у тебя непрочитанных писем и сколько писем всего в этой папке. Например, «Входящие 2 / 99» означает, что у тебя 2 новых письма, а всего в папке — 99.

Вверху показаны самые свежие письма, ниже — более старые. Новые письма выделены жирным шрифтом. Чтобы открыть письмо и прочитать, просто нажми на него! Чтобы вернуться назад, нажми на «Входящие» или перелистни пальцем назад, если ты читаешь письма на телефоне.

Как ответить на письмо?

Открой письмо, на которое хочешь ответить. Внизу будет пустое поле (нужно долистать до конца, если письмо длинное), где можно сразу написать ответ. Когда все готово, нажми «Ответить».

Другой вариант — нажми кнопку «Ответить». При этом способе в окне ответа будет процитировано письмо, на которое ты отвечаешь. Можно просто написать ответ, а можно отвечать на отдельные части письма, вставляя свои ответы между строк. Закончив отвечать, нажми кнопку «Отправить».

Как написать и отправить письмо?

Нажми кнопку «Написать». Там, где пустое поле «Кому», введи адрес получателя (например, petr.smirnov@mail.ru). Желательно также кратко указать тему, чтобы получатель сразу понял, о чем письмо. Ниже напиши само письмо. Когда все готово, нажми «Отправить».

Есть еще вопрос!

Посмотри помощь по Яндекс.Почте — скорее всего, там есть ответ.

Что делать, если Яндекс.Почта не открывается?

Прежде всего воспользуйся стартовой страницей «Вход» для входа в почту.

Возможно, ты входишь куда-то не туда — стартовая страница поможет с этим.

Если почта говорит, что пароль не подходит, скорее всего, ты неправильно вводишь пароль. Даже если кажется, что все правильно. Может быть, включены большие буквы? Или язык не тот? Проверь и попробуй еще раз.

Если же ты забыл пароль или он не подходит, воспользуйся восстановлением доступа — открой страницу входа на Яндекс.Почту и нажми на ссылку «Вспомнить пароль».

Яндекс.Почта на телефоне

У Яндекса есть мобильные приложения Яндекс.Почты, которые позволяют использовать почту прямо на телефоне. Все необходимые функции там есть, сами приложения бесплатны. Есть варианты для Айфона и Андроида (чтобы установить, открой в телефоне Эпп Стор или Гугл Плей и набери там в поиске «яндекс почта»).

Еще один способ установить почту на телефон — зайти с компьютера или планшета на сайт Яндекс.Почты и заказать ссылку на свой телефон (нужно указать номер).

Немного из истории

Яндекс.Почта появилась в 2000 году (сам Яндекс был запущен в 1997). Сейчас почтой Яндекса пользуются около 27 миллионов человек.