(РУКОВОДСТВО) О чем следует помнить при попытке очистить данные

Когда ваша работа включает в себя использование онлайн-сервисов, вы в какой-то момент столкнетесь с ситуацией, когда вам нужно будет парсить данные. В зависимости от выполняемой вами работы это может быть разовая необходимость; альтернативы, которые могут вам понадобиться в рамках текущего рабочего процесса. Какой бы сценарий ни лучше всего подходил для вашей работы, вам нужно будет принять некоторые этические соображения перед парсингом данных. Будут моральные последствия, и вы также должны быть готовы столкнуться с сопротивлением со стороны владельцев рассматриваемых данных.

Это можно сравнить с продолжающейся игрой в кошки-мышки, где действительно довольно сложно решить, кто на самом деле одерживает верх.

Знайте лучший способ получить максимальную отдачу от вашей деятельности

Если вы хотите стать эффективным скребком, вам нужно научиться скрывать свои следы. То же самое можно сказать, даже если у вас вообще нет неэтичных намерений. Что является обязательным в этом сценарии, так это хороший надежный прокси-сервер; если вы ищете дополнительную гибкость, вам следует выбрать ротационный прокси-сервер Selenium. Когда вы выбираете такой сервер, становится проще обойти региональные ограничения, гарантируя, что вы получите доступ ко всему спектру размещаемого контента. Если вы хотите узнать больше о том, как работают селеновые прокси, кликните сюда.

Кроме того, важно, чтобы вы научились разрабатывать свои собственные инструменты. В настоящее время это не вариант; это требование, если вы надеетесь добиться успеха в этой области. Единственное, что действительно соответствует вашим требованиям, — это использование специально написанных, настроенных инструментов.

Предоставление контактной информации

Если ваши причины для очистки не являются незаконными, вы должны предоставить человеку, от которого вы собираете данные, некоторые контактные данные. Хотя это и не является строгим требованием, обычно это делается в заголовке пользовательского агента, поскольку это первое место, которое кто-то обычно проверяет, когда думает, что кто-то пытается очистить его данные. В зависимости от используемой системы, конечно, могут быть другие и более подходящие способы оставить свои данные.

В случае, если с вами связались, не занимайте оборонительную позицию сразу. Если ваша причина для парсинга не является злонамеренной, большинство владельцев сайтов на самом деле будут в порядке с тем, что вы делаете. Тем не менее, вы можете обнаружить, что у некоторых людей будут проблемы с тем, как вы выполняете парсинг. Вы также обнаружите, что обычно можно договориться об ограничениях скорости и других особенностях.

Тонкая грань между парсингом и эксплуатацией

Вам нужно остановиться и подумать о том, как вы получаете данные, которые вам нужны, и о методах, которые вы используете для этого. Если общедоступного API нет, единственный способ сделать это — парсинг. Но будут случаи, когда парсинг заставит вас полагаться на эксплойты, которые присутствуют в целевой системе, как известные, так и неизвестные. Если это так, вы можете быть уверены, что владелец данных будет, мягко говоря, недоволен. Важно, чтобы вы спросили себя, используете ли вы рассматриваемую систему по назначению или нет. Например, если вы попытаетесь обнаружить профили в социальных сетях путем постепенного сканирования идентификаторов пользователей, это вызовет удивление. Если вы действительно не думаете, что у вас должен быть доступ к данным, которые вы пытаетесь очистить, остановитесь и спросите себя, что вы делаете и почему вы считаете, что у вас должны быть данные в первую очередь.

Старайтесь быть этичным

При очистке данных вы всегда должны стараться соблюдать то, что считается этически нормальным. Что это значит? Это означает, что если у вас вообще не должно быть доступа к данным, вам не следует пытаться их очистить. То, что вы собираетесь делать с данными, также имеет большое значение. Если это для вашей личной библиотеки, то все в порядке; это может относиться к данным о знаменитостях, которые вы пытаетесь получить из социальных сетей. Но все меняется, когда вы хотите использовать данные в личных целях, продавая их другим.

Юридические аспекты

Помимо моральных соображений, есть и юридические. Вам разрешено это делать?

Неважно, поддерживаете ли вы парсинг или выступаете против него; это может считаться незаконным, в зависимости от того, какие данные вы пытаетесь очистить. Защита во многих случаях, связанных с законностью парсинга, часто выдвигается компаниями, которые четко заявляют в своих условиях обслуживания, что парсинг данных не разрешен. В этих явных пунктах, которые встречаются в отношении услуг, часто говорится, что вам запрещено выполнять действия, которые вызовут ненужную нагрузку на их сети. Хотя почва для спора существует, вы можете столкнуться с трудной борьбой, когда рассматриваемая компания имеет большое присутствие и даже больше юристов. Когда такая компания подаст на вас в суд, она несомненно выиграет. Но еще хуже, когда они намеренно затягивают судебные дела до такой степени, что вы разоряетесь в финансовом отношении.

Суть в том, что вы всегда должны быть осторожны при проведении парсинга и избегать попадания под прицел таких организаций. Если вы это сделаете, это может оказать негативное влияние на вас и вашу репутацию на всю жизнь, а также последствия на многие годы вперед.

Что делать, если вы обнаружили необычные находки

При очистке данных нередко можно встретить вещи, которые не являются нормальными. Примером этого может быть поиск раздела личных данных пользователей или страниц только для администратора. Если вы обнаружите что-то необычное, этично было бы немедленно уведомить владельца сайта, чтобы он мог решить проблему.